Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse

X Simpósio Brasileiro de Qualidade de Software – X SBQS

Instituto Nokia de Tecnologia
D efeito

QUALIDADE

Data Warehouse
Verificação

SCRUM
gr aç ão
Processo de Teste Iterativo e
Automatizado
Experiência em Data Warehouse

Luana Lobão, Eliane Collins, Ronaldo Martins, Leandro Leão & Vicente Lucena
Curitiba – PR , Jun 2011

Agenda
 Introdução
 Contexto do Ambiente
 Processo de Teste
 Processo Manual
 Processo Iterativo e Automatizado
 Execução
 Resultados
 Conclusão

2 Instituto Nokia de Tecnologia

Introdução

 “Sistema que extrai, limpa, organiza e fornece dados de
uma determianda origem para uma base de dados feita a
partid do modelo dimensional. Em seguida implementa
consulta e análise nos dados a fim de auxiliar á tomada de
decisão”[Kimbal, 2004]

 Manipulação de bases “legadas”;
 Modelagem dimensional;
 Processo de ETL;
 OLAP.

Agenda
 Introdução
 Processo Manual
 Execução
 Resultados
 Conclusão


Contexto do Ambiente
 Maintenance Monitoring Tool – MMT

 Reunir e organizar dados sobre o ciclo de vida de equipamentos de
produção;

 Ambiente de DW da CognosIBM, Oracle 10g;

 Um recurso para execução de testes;

 Sem ferramentas para automação teste, até então;

 Automação de teste solicitada;

 Necessidade de consistência dos dados em todo o fluxo de
desenvolvimento;


 Instituto Nokia de Tecnologia – INdT

 É uma instituição independente e sem fins lucrativos
comprometida com a realização de pesquisa e
desenvolvimento de soluções tecnológicas através do
desenvolvimento de aplicações, novas tecnologias e
conceitos;

 A área onde a experiência foi desenvolvida foi Tecnologias
de Produto e Manufatura (PMT).


 SCRUM
 Metodologia ágil e flexível, centrada no trabalho em
equipe;
 Utilizada para o desenvolvimento incremental e iterativo
de qualquer produto.


Agenda
 Introdução
 Processo Manual
 Execução
 Resultados
 Conclusão


Processo de Teste Manual
 Processo de Teste de DW no PM&T;
 V&V de dados feita manualmente apenas na etapa de
relatórios;


Processo de Teste Iterativo e Automatizado

 Artefatos principais: Plano de Teste, Especificação de
Casos de Teste e Relatório de Execução de Casos de
Teste;

 Testador fazia parte da equipe scrum;

 Aprendizado de ferramentas de ETL da Cognos (Data
Manager);
 Conduzido pelos desenvolvedores.


Processo de Teste Iterativo e Automatizado
 Ciclo de cada Sprint:

 Estudo no Data Manager para automaçao de teste – 1º
sprint e quando era solicitado algo novo teste
 Configuração do ambiente de teste – 1º sprint
 Planejamento dos casos de teste das estórias do sprint;
 Escrever scripts sql de teste automáticos;
 Executar testes automáticos;
 Gerar relatórios de execução de testes;
 Cadastrar defeitos;
 Validar defeitos e executar regressão de testes (suíte
automática.


Agenda
 Introdução
 Processo Manual
 Execução
 Resultados
 Conclusão


Execução – Estratégia de Execução
 Processo de Teste de DW no PM&T;
 V&V de dados feita a cada processo de ETL feito entre
bases;


Execução – Planejamento
 Verificar o mapeamento dos campos presentes entre as áreas de
legado/stage;

 Verificar se houve valores duplicados no processo de ETL de carga de
dados entre as bases (do Legado para stage e do stage para o Data Mart);

 Verificar os tipos de dados dos campos correspondentes nos diferentes
níveis (Legado, stage e Data mart);

 Verificar a quantidade de dados no processo de ETL de carga de dados
entre as bases (do Legado para stage e do stage para o Data mart);

 Verificar se os Jobs (Scripts que controlam a execução da carga, tanto na
stage quanto no Data mart) estavam funcionando de acordo com a
especificação, ou seja, se iniciavam no tempo pré-configurado.


Execução – Automação dos testes
 Exemplo de script SQL de teste;


Execução – Geração dos resultados
 Relatório de execução resumido gerado a cada execução de
script de teste automatizado;

 Cada teste automático atualizava a tabela de resultados, ao final, os
dados desta tabela era exportado e organizado;


Execução – Cadastro de Defeitos
 Feito na ferramenta TRAC:


Agenda
 Introdução
 Processo Manual
 Execução
 Resultados
 Conclusão


Resultados
 80% dos defeitos encontrados foram detectados pelas
execuções automáticas;

 A maior parte do processo de ETL foi testada:
 Na migração de dados do legado para o stage foi alcançada 100% de
cobertura com execuções de teste;
 Dados do stage para o data mart obtiveram 80% de cobertura com
testes automáticos;

 De todos os defeitos encontrados, 15% destes eram defeitos
recorrentes;

 A suíte de teste de todo o Projeto continha 136 casos de
teste. Destes apenas 3% não foram automatizados.

Agenda
 Introdução
 Processo Manual
 Execução
 Resultados
 Conclusão


Conclusão
 Ganhos na qualidade do processo de desenvolvimento e teste;

 Retrabalho de desenvolvimento muito reduzido;

 Correção de bugs ainda no sprint corrente;

 Execução e relatório de execução gerados automaticamente;

 Acurácia dos dados em todo o processo de migração entre as
bases de dados;

 Confiabilidade nas informações geradas nos relatórios de
negócio.


Perguntas ?

Verificação

QUALIDADE DataWarehouse

D efeito
M ig r a ç ã o

SCRUM

Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse

Similaire à Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse (20)

Plus de Luana Lobão

Plus de Luana Lobão (6)

Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse