Implantação de Fábrica de Teste:

Transcrição

Implantação de Fábrica de Teste:
desafios, resultados e melhores práticas
Welington Costa Monteiro – Out/2011
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantando a Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas
Apresentação
O palestrante
 Gerente da Fábrica de Software da Prodemge
 Consultor de aquisição habilitado pelo MPS.BR
 Especialista em Qualidade de Software com certificações pela
ALATS e ISQTB
 15 anos de experiência na área de TI
 Graduado em Ciência da Computação
 Pós-graduação em Gerência de Tecnologia da Informação
Apresentação
A Prodemge
Companhia
de
economia
mista, apoia as ações estratégicas
da administração pública mineira
na área de TIC - Tecnologia da
Informação e Comunicação.
1ª maior empresa de TIC de
Minas Gerais em faturamento
(ranking Assespro-MG 2008)
Apresentação
A Prodemge – Produtos e Serviços
Data Center
Finanças
Sistemas de Informação
Gestão
Armazéns de Informações
Serviços de Infraestrutura
Serviços de Rede
Gestão de Conteúdo
Gestão de conteúdo
Segurança Pública
Orçamento e
Planejamento
Recursos Humanos
Certificação Digital
Apresentação
A Prodemge – DDS
Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)
Diretoria de Desenvolvimento de Sistemas
SSC
SSD
SSO
SAS
GSC
GSH
GSS
GPS
GSA
GSM
GSO
GPR
GST
GFS
Apresentação
A Prodemge – A Fábrica de Software
Gerência de Fábrica de Software
Fábrica
Web
Fábrica de
Código
Fábrica de
Teste
Núcleo de
Subcontratação
 A GFS foi criada há quase 4 anos e tem 50 colaboradores. Nos próximos 4 meses, terá
160 colaboradores.
 É segmentada em 3 áreas e um núcleo de subcontratação (núcleo administrativo)
 Atende as demais gerências da empresa (especificação) na construção e testes
sistemas em plataforma baixa (Java, PHP e dot Net) e também na construção de
sítios, intranets e portais corporativos
Apresentação
A Prodemge – A Fábrica de Teste
Gerência de Fábrica de Software
Fábrica
Web
Fábrica de
Código
Fábrica de
Teste
Núcleo de
Subcontratação
 A Fábrica de teste está implantada há quase 2 anos
 Conta atualmente com 20 profissionais, sendo 50% estagiários . Previsão de mais 15
profissionais nos próximos 4 meses;
Capacidade média mensal de 900 PF (2011)
 5 profissionais certificados CFTL e 1 profissional certificado CBTS
 1 profissional habilitado como consultor de implementação do MPT.BR (22.10)
Agenda
• Apresentação
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Conclusão
O cenário inicial dos testes
“Eu já vi este bug antes” – Déjà vu
“A aplicação estava funcionando na versão anterior” – Síndrome do
Casamento
“Eu sempre fiz deste jeito” – Síndrome da Gabriela
“Este bug não é bug! ” – Ser ou não ser ?
“ Não temos tempo para testar tudo mesmo” - Deus Deadline
“ Terei que fazer uma melhoria por causa do teste” - Caso Patológico
Não existia equipe
de teste
independente
• Os testes eram baseados apenas nos requisitos funcionais, e
de forma superficial pelo fato de não ter métricas para
planejar os prazos de testes.
Problemas de
manutenção das
aplicações
• A ausência de uma atividade de teste para avaliar o
funcionamento básico da aplicação não era realizado. Desta
forma no caso de aplicações compiladas, a posterior
manutenção era comprometida pelas “bibliotecas
esquecidas”
Incompatibilidade
de versões de BD
• Em
virtude
do
desenvolvimento
interativo
incremental, ocorriam inúmeros falsos defeitos em virtudes
das versões do banco de dados não estarem compatíveis, ou
seja, foi utilizada a versão X para a construção e a X’ para os
testes.
Inexistência da
Documentação de
Teste
•Os casos de testes eram elaborados de forma
exploratória, sem utilizar metodologias específicas de testes
e isto onerava e muito o prazo do projeto, em virtude da
responsabilidade ser da equipe de especificação.
Falta de
padronização no
relato de defeitos
• Dificuldade de entendimento e de reprodução dos erros, o
que gerava um grande atraso na correção dos defeitos
Ineficiência e baixa
cobertura dos
testes
• Não existia um processo de testes completo, era apenas
uma atividade descrita no processo de desenvolvimento, e
que era executada após o codificação da aplicação.
A execução era somente manual;
Agenda
• Apresentação
• Desafios
• Resultados
• Conclusão
Desafios
A empresa buscava na área de desenvolvimento




Maior agilidade no processo
Cumprir 100% dos prazos acordados
Melhorar a qualidade do software construído
E o cliente?
SIMPLIFICAR O PROCESSO:
Usuário interage com o sistema
Sistema
Desafios
Paradoxo: Simplificar os processos existentes e
Implantar um novo processo de qualidade ?
Qual seria a melhor alternativa?
Os testes
deveriam ser
automáticos
Desafios
Cinco principais ações:
1. Buscar um patrocinador para o projeto de Fábrica de
Teste na empresa, com teria por objetivo atender as
demandas de projetos de plataforma baixa da
Prodemge;
2. Interiorizar a importância dos testes em todo o
processo de desenvolvimento e não apenas como uma
parte do ciclo do mesmo;
Desafios
Cinco principais ações:
3. Implantar um processo de testes compatível com o
processo de desenvolvimento da empresa;
4. Ter capacidade de atendimento de todas as demandas
de plataforma baixa das áreas;
5. Demonstrar o ROI da implantação da fábrica de teste;
Agenda
• Apresentação
• Desafios
• Resultados
• Conclusão
Implantação da Fábrica de Teste
Doze passos para a implantação:
1. Definição de terminologias
2. Identificação dos serviços a serem prestados
3. Definição
de
métricas
dos
serviços
prestados
para
planejamento e acompanhamento de produtividade
4. Especialização dos papéis da equipe
5. Elaboração do processo completo e detalhado
8. Elaboração de Guias para a execução dos procedimentos para
execução das atividades
9. Definição de um ambientes de testes compatível com o
ambiente de homologação
10.Avaliação de ferramentas disponíveis no mercado
11. Elaboração de documentos administrativos para controle
(solicitação, parecer, etc)
12. Definição de indicadores para busca contínua da melhoria do
processo
Definição de Terminologias
GLOSSÁRIO PADRÃO DE TERMOS UTILIZADOS
EM TESTE DE SOFTWARE
(55 páginas)
Versão 1.3br (01 de Julho de 2007)
Produzido pelo “Glossary Working Party”
International Software Testing Qualification Board
Editor Erik van Veenendaal (Holanda)
Notificação do Detentor dos Direitos Autorais
Este documento poderá ser copiado na íntegra ou em
parte desde de que haja menção à sua fonte.
Identificação dos serviços a serem prestados
Fábrica de
Software
Teste
Unitário
Teste
Integrado
Fábrica de
Teste
Checklist de
ERSw
Checklist de
Casos de
Testes
Inspeção de
Código Fonte
Smoke
Test
Teste
Funcional
Área de
Segurança
Teste de
Segurança
Elaboração
de Casos de
Testes
Área de
Produção
Teste de
Desempenho
Automação
de Teste
Teste de
Stress
Teste de
Carga
Definição de métricas dos serviços prestados para
planejamento e acompanhamento de produtividade
Métrica de Produtividade: PF
Taxa de entrega: 90%
Exemplo de cálculo:
Elaboração de casos de testes
Fonte: UNILASALLE - TCC 2009 – Tatiana Brezezinski
Especialização dos papéis da equipe
Gerente de
Testes
Coordenador de
Testes
Teste Líder
Analistas de
Testes
Arquiteto de
Testes
Testadores
Automatizadores
Elaboração do processo detalhado
Elaboração de guias de procedimentos para a
execução das atividades
- Guia para Elaboração de Casos de Testes
- Guia de Configuração de Ambiente
- Guia para Inspeção de Código Fonte
- Guia do Smoke Test
- Guia dos Testes Funcionais
(Padronização de relato de defeito / Testes exploratórios)
- Guia para Automação de Testes
Definição de um ambiente de testes compatível com
o ambiente de homologação
Avaliação das ferramentas disponíveis no mercado
Elaboração de documentos administrativos para
controle
- Solicitação de Testes
- Parecer Smoke Test
- Parecer Teste Funcional
- Check-list ERSw
- Check-list Casos de Testes
Definição de indicadores para busca contínua da
melhoria do processo
INDICADOR
IMPACTO DA FÁBRICA DE TESTE
Qualidade
Maior volume de casos de testes
Prazo
Menor tempo de execução dos testes
Custo
Menor custo de execução dos testes
Eficácia
Maior precisão na detecção de defeitos
Confiabilidade
Menor volume de defeitos “não-procedentes”
Produtividade
Maior volume de testes gerenciados pelos Analistas
Restrição
Menor ciclo de estabilização dos sistemas de negócio
Maturidade
Evolução e amadurecimento da cultura de testes
Agenda
• Apresentação
• Desafios
• Resultados
• Conclusão
Resultados
Na prática
• Aplicações mais estáveis (melhora da qualidade do
produto)
• Diminuição significativa dos defeitos no ambiente de
produção (redução de custos)
• Melhora significativa dos artefatos entregues para o
desenvolvimento dentro dos padrões estabelecidos pelo
processo (Ponto de controle de qualidade)
Resultados
Na prática
• Redução das dúvidas dos desenvolvedores em virtude
dos relatos dos incidentes (tempo de correção dos defeitos)
• Geração de script de testes funcionais para testes de
desempenho (Integração e otimização do processo entre
áreas)
• Automação de aplicações críticas
(redução drástica de
retrabalho)
Resultados
Exemplo de projeto
Projeto em plataforma baixa : 400 PF aproximadamente
Percentual de incidentes encontrados por área
9%
Área de Testes
28%
63%
Área de Especificação
(Negócio)
Cliente
Resultados
O grande resultado
A
Fábrica de Teste tornou-se
fundamental
na
proposta
de
melhoria contínua de qualidade de
software da PRODEMGE.
Agenda
• Apresentação
• Desafios
• Resultados
• Conclusão
Melhores práticas
1. Não testarás sem documentação
2. Honrarás os casos de testes
3. Validarás o banco de dados
4. Realizarás a inspeção de código
5. Controlarás o ambiente de testes
6. Registrarás todos os incidentes
7. Não marretarás os dados dos testes
8. Evitarás reteste manual
9. Nem tudo automatizarás
10.O processo sempre seguirás
Agenda
• Apresentação
• Desafios
• Resultados
• Conclusão
Próximos passos
- Avaliação do MPT.BR (melhoria de processo)
- Adoção da métrica de Ponto de Teste (esforço e cobertura)
- Aquisição de um suíte de teste (integração)
- Execução de teste automatizado programado (sistemas críticos)
- Edital de contratação de fábrica de testes (sazonalidade)
- Teste de Baseado em Risco (estratégia de teste)
- Análise Preditiva de Testes(precisão no prazo do ciclo de teste)
- Teste de Acessibilidade (ampliar atuação)
Agenda
• Apresentação
• Desafios
• Resultados
• Conclusão
Conclusão
“Não se pode enxertar qualidade em um
produto de software mal construído
apenas com teste, mas também não é
possível construir um produto com
qualidade sem teste e análise”
Mauro Pezzè e Michal Young
OBRIGADO !
Welington Costa Monteiro
[email protected]
(31) 3915-4467
welingtonmonteiro

Implantação de Fábrica de Teste:

Transcrição

Documentos relacionados

Cartaz Exposicao FEMINAE

Fábrica de Software

Fábrica Verde transforma computadores velhos em

"Fábrica de concreto", web-arte de Jaime Lauriano e Alexandre

A Fantástica Fábrica de Chocolate

INDÚSTRIAS DE PROCESSO E MANUFATURA

Processo de restauração de fábrica – Hardware

Português

Sobre a INDASA

CIRCULAR Ref. Excursão cultural – Fábrica da Coca