Data warehousing Universidade federal do amazonas

2. Sumário
 Sistemas de apoio à decisão
 Data Warehouse

3. Sistemas de Apoio à Decisão (SAD)
 Informação
o Recurso mais importante para uma empresa tomar
decisões estratégicas
o Obtida pela análise de dados históricos de
venda, produção, clientes, etc...
 Análise de dados
o Responsável por fornecer as informações vitais para a
empresa
o Pode aumentar a competitividade de uma empresa

4. Sistemas de Apoio à Decisão (SAD)
 Dificuldades para obter informação
o Quantidade de dados a serem analisados cresce com a
expansão do negócio e com o passar dos anos
o Dados conflitantes vindos de fontes diferentes podem gerar
informações desencontradas
o Impossível para um ser humano manter e analisar todos os
dados
o Informação não é mais mantida por gerentes devido à
mobilidade no mercado de trabalho

5. Sistemas de Apoio à Decisão (SAD)
o Usam dados históricos mantidos em um banco de
dados convencional
o Dados históricos são analisados usando técnicas de
mineração de dados para obter informações usadas na
tomada de decisões
o Estatísticas de venda, produção, clientes, etc. podem
ser levantadas e consideradas para tomar decisões
estratégicas de negócio

6.  Benefícios dos Sistemas de Apoio à Decisão
o Determinar o mercado-alvo de um produto
o Definir o preço de um produto, criar promoções e condições
especiais de compra
o Verificar a eficácia de campanhas de marketing
o Otimizar a quantidade de produtos no estoque
o Responder rapidamente a mudanças no mercado e
determinar novas tendências, ganhando eficiência e
lucratividade

7. Sistemas de apoio à decisão
 Problema: dados históricos não são mantidos nos BDs da empresa
o Volume de dados seria muito grande
o Desempenho seria insatisfatório
 Solução: criar um BD exclusivamente para manter os dados históricos
o Especializado para realizar poucas consultas sobre um grande volume
de dados
o Surge o Data Warehouse (DW) e posteriormente o Data Mining (DM)

9. Data Warehouse
 Histórico
o Criado pela IBM na década de 60 com o nome Information
Warehouse
o Relançado diversas vezes sem grande sucesso
o O nome Data Warehouse foi dado por William H.
Inmon, considerado o inventor desta tecnologia
o Tornou-se viável com o surgimento de novas tecnologias para
armazenar e processar uma grande quantidade de dados

10. Data Warehouse
 Conceito
o Sistema que armazena dados históricos usados no processo de tomada
de decisão
o Integra os dados corporativos de uma empresa em um único repositório
 Funcionalidade
o Criar uma visão única e centralizada dos dados que estavam dispersos
em diversos BDs
o Permitir que usuários finais executem consultas, gerem relatórios e
façam análises

11. Data Warehouse
 BDs usados nas aplicações de negócio são chamados BDs
operacionais
 DW é um BD informacional alimentado com dados dos
BDs operacionais da empresa
o Disponibiliza dados atuais e dados históricos
o Dados podem ser sumarizados (condensados) para que sejam
analisados
o Contém também metadados, que são dados sobre os dados
armazenados no DW

12. BD Operacional X Data Warehouse
BD Operacional
Data Warehouse
Usuários
Funcionários
Alta administração
Utilização
Tarefas cotidianas
Decisões estratégicas
Padrão de uso
Previsível
Difícil de prever
Princípio de
funcionamento
Com base em
transações
Com base em análise
de dados
Valores dos dados
Valores atuais
e voláteis
Valores históricos e
imutáveis
Detalhamento
Alto
Sumarizado
Organização dos
dados
Orientado a assunto e
orientado a aplicações
Orientado a assunto

13. Principais Características de um DW
 Para que seja considerado um Data Warehouse, um
banco de dados deve:
o Coletar dados de várias fontes
o Dados coletados devem ser transformados para que haja
uma visão única dos dados
o Dados devem ser usados por aplicativos para obter
informações que dêem apoio à decisão

14. Principais Características de um DW
 Um Data Warehouse também deve ser:
• Orientado a assunto
• Integrado
• Não-volátil
• Variável com o tempo

15. Principais Características de um DW
 Orientação a assunto
o Os dados em um DW são organizados de modo a
facilitar a análise dos dados
o Dados são organizados por assunto e não por
aplicação, como em BDs operacionais

16. Principais Características de um DW
 Integração
o Dados de um DW provém de diversas fontes
o Dados podem ser sumarizados ou eliminados
o Formato dos dados deve ser padronizado
para uniformizar nomes, unidades de
medida, etc.

17. Principais Características de um DW
 Não-Volátil
o Dados não são mais alterados depois de incluídos no
DW
o Operações no DW
• Em um BD operacional é possível incluir, alterar e eliminar
dados
• Já no DW é possível apenas incluir dados
o Garante que consultas subseqüentes a um dado
produzirão o mesmo resultado

18. Principais Características de um DW
 Variável com o Tempo
o Os dados no DW são relativos a um determinado
instante de tempo

19. Arquitetura de um DW
 Principais tarefas efetuadas pelo DW
o Obter dados dos BDs operacionais e externos
o Armazenar os dados
o Fornecer informações para tomada de decisão
o Administrar o sistema e os dados

20. Arquitetura de um DW
 Principais componentes do DW
o Mecanismos para acessar e transformar dados
o Mecanismo para armazenamento de dados
o Ferramentas para análise de dados
o Ferramentas de gerência

21. Arquitetura de um DW

22. Arquitetura de um DW

23. Estrutura Interna de um DW
 Requisitos do DW
o Eficiente
•
•
Grande volume de dados imutáveis
Processamento paralelo e/ou distribuído
o Confiável
•
•
Funcionamento do sistema
Resultado das análises

24. Estrutura Interna de um DW
o Expansível
•
•
Crescente volume de dados
Maior número de fontes de dados

25. Estrutura Interna de um DW
 Em geral são usados BDs relacionais para armazenar os
dados do DW
o Capazes de manter e processar grandes volumes
o de dados
o Otimizados para lidar com dados imutáveis
 As ferramentas de análise empregam:
o Técnicas de mineração de dados
o Inteligência artificial: redes neurais, fuzzy, etc.
o A Internet: Web mining, agentes móveis, etc.

26. Estrutura Interna de um DW

27. Estrutura Interna de um DW
 Obtenção de Dados

28. Estrutura Interna de um DW
 Busca de Informações

29. Estrutura Interna de um DW
 Modelo de Camadas

30. Estrutura Interna de um DW
 Funções das Camadas do DW
o Dados Operacionais/Externos: fontes de dados
o Acesso aos Dados: extrair dados dos BDs
o Data Staging: transformar e carregar dados
o Data Warehouse Físico: armazenar dados
o Acesso aos Dados: localizar dados para análise
o Acesso à Informação: analisar dados
o Troca de Mensagens: transportar dados
o Gerenc. de Processos: controlar atividades

31. Granularidade
 Granularidade
o Nível de detalhe dos dados
o De extrema importância no projeto do DW

32. Granularidade
 Dados x Granularidade
o Dados Atuais
•
•
Refletem acontecimentos recentes
Alto nível de detalhe (baixa granularidade)
o Dados Sumarizados
•
•
Dados históricos condensados
Menor nível de detalhe (maior granularidade)
o Dados Antigos
•
•
Dados históricos mantidos em fita, CD, etc
Alto nível de detalhe (baixa granularidade)

33. Metadados
 Os Metadados são dados sobre os dados
o Para cada atributo mantido no DW há uma entrada no
dicionário de dados
o Os dados são processados, atualizados e consultados
partindo dos metadados
o Usuários ficam conhecendo a estrutura e o significado
dos dados
o No BD operacional, a estrutura e o significado dos dados
estão embutidos nas aplicações

34. Metadados
 Camadas de Metadados
o Metadados Operacionais

Definem a estrutura dos dados operacionais
o Metadados do DW


Orientados por assunto
Informam como os dados do DW foram calculados e como
devem ser interpretados
o Metadados do Usuário


Organizam os metadados do DW com base em conceitos
familiares ao usuário final

35. Metadados
 Classificação em função dos dados descritos
o Metadados de Mapeamento

Como BDs operacionais são mapeados no DW
o Metadados de Sumarização

Como os dados foram sumarizados no DW
o Metadados Históricos

Como a estrutura dos dados vem mudando
o Metadados de Padrões de Acesso

Como os dados do DW vem sendo acessados
o Metadados de Miscelânea

36. Metadados
 Fontes de Metadados
o Código fonte dos SBDs operacionais
o Diagramas CASE de BDs operacionais e do DW
o Documentação dos BDs operacionais e do DW
o Entrevistas com usuários, administradores e
programadores dos BDs e do DW
o O ambiente de DW

Freqüência de acesso aos dados, tempo de resposta, controle
de usuários, etc.

37. Tipos de Data Warehouse
 DW baseado em Servidor
o Mainframe ou servidor de rede local (LAN)
 DW Virtual
o Reúne dados operacionais e dados históricos mantidos
em BDs – não há um DW central
 DW Distribuído
o DW global reúne dados de vários DWs locais
 DW baseado na Web
o Dados provenientes da World Wide Web

38. Etapas de implantação de um Data Warehouse
 A implementação de um projeto de Data Warehouse depende de ações
políticas e técnicas. No campo político, é necessário que exista o
suporte da alta direção da empresa e o comprometimento dos gerentes
e analistas de negócios. No campo técnico existem diferentes
abordagens de implementação que devem ser analisadas para que a
escolha possa ajudar, que os benefícios do projeto possam ser mais
rapidamente visíveis e acelerar o processo de obtenção de apoio
interno.
 Um DW deve estar em consonância com as necessidades de negócio da
empresa. Assim, a área de negócio deve ser a patrocinadora da
iniciativa. Muitos projetos iniciados pela área de sistemas ou de TI
fracassaram por não terem o necessário apoio político da direção da
empresa ou por não terem definido um caso de negócio concreto.

39.  A implantação de um projeto de DW envolve a extração dos
dados, que são provenientes de diferentes fontes, sua
transformação e carga no DW são feitas por processos de
ETL (Extract, Transformation, Load). Estes dados podem
ser inseridos no DW e depois transferidos para os Data
Marts ou os Data Marts podem ser criados antes do
DW, com dados específicos de cada departamento da
empresa.
 O DW, que utiliza uma modelagem
multidimensional, fomenta o OLAP (OnLine Analytical
Processing), ferramenta de análise para apoiar a tomada de
decisão, que, por sua vez, organiza as informações de forma
a permitir que a análise dos negócios da empresa seja
realizada, possibilitando, ao tomador de decisão, respostas
rápidas para as questões relevantes aos negócios.

40.  A primeira fase do processo de data warehousing consiste em
“isolar” a sua informação operacional atual, preservando a
segurança e integridade de aplicações OLTP (OnLine
Transaction Processing) críticas, ao mesmo tempo em que deve
permitir o acesso de forma mais ampla possível à base de dados.
 O DW resultante pode consumir centenas de GigaBytes ou
mesmo TeraBytes de espaço em disco. Desta forma, torna-se
necessário o uso de técnicas eficientes para armazenar e acessar
grandes quantidades de informação. Grandes organizações que
já implantaram DWs, concluíram que somente sistemas de
processamento paralelo podem oferecer largura de banda
suficiente para estas aplicações.

41.  Como já dissemos, o DW acessa dados de uma grande
variedade de bancos de dados heterogêneos. Assim, os
dados são transformados e enviados para o DW em um
modelo seletivo. A transformação de dados e o processo de
movimentação são executados toda vez que uma
atualização nos dados do DW é requerida, logo, deve haver
alguma forma automatizada para gerenciar e executar estas
funções. A informação que descreve o modelo e a definição
dos elementos da fonte de dados é chamada de metadados.
 Os metadados são os meios pelos quais o usuário final
compreende os dados no DW. A limpeza dos dados é um
importante aspecto da criação de um DW eficiente. Devem
ser removidos certos aspectos dos dados operacionais que
podem retardar muitas consultas.

42.  O estágio de limpeza deve ser o mais dinâmico possível para acomodar
todos os tipos de consulta, mesmo aquelas que requerem informações de
baixo-nível. Os dados devem ser extraídos de fontes de produção em
intervalos regulares de tempo e concentrados de maneira central, mas é
importante que o processo de limpeza remova duplicações e normatize as
diferenças entre os atributos dos dados. Somente após o processo de limpeza
é que os dados podem ser transferidos para o DW.
 O DW é tipicamente um grande repositório de dados em um sistema de alta
performance, do tipo SMP - Symmetric Multi-Processingou MPP - Massively
Parallel Processing, ou seja, sistemas multiprocessados ou paralelos.
Somente um sistema com alto poder de computação pode garantir a
eficiência do processo de implantação de um data warehousing, dada a
complexidade envolvida no processamento e consultas e dada a grande
quantidade de dados que geralmente a organização deseja armazenar.

43. Tipos de Implementação de um
Data Warehouse
 Bottom-Up: é a forma de implementação mais barata
e com retorno mais rápido, pois permite a construção
primeiramente dos Data Marts (subconjunto de dados
de um DW) antes mesmo de uma definição da
estrutura do DW, consequentemente se torna a forma
mais rápida de implementação, de fácil manutenção e
monitoração. No entanto, por não ser construído
visando o cenário como um todo, pode acabar gerando
inconsistências nos dados.

44.  Top Down: considerado o modelo padrão, nele todo o
conceito de estruturação terá como base a organização
como um todo e não apenas suprir necessidades de um
determinado departamento, consequentemente deve
ter um esquema padrão e centralizado para todos, a
fim de evitar dados duplicados e integrar as
informações. A razão para o nome deste tipo de
implementação se deve ao seu fluxo, em que o DW
nasce primeiramente e a partir dai as informações são
distribuídas aos Data Marts, tal forma de
implementação acaba sendo mais demorada em
relação as demais.

45.  Combinada (Intermediária): esta forma de
implementação integra os dois modos anteriormente
explicados, em que o planejamento se baseia no Top
Down em razão da modelagem dos dados possuir uma
visão macro, e seu desenvolvimento segue o Bottom
Up ao desenvolver cada Data Mart por vez a partir do
macro modelo do DW. Esta forma de implementação
traz como vantagem a consistência dos dados por
possuir um único modelo no desenvolvimento dos
Data Marts.

46. Caso de uso - Vivo
 Empresa: VIVO S/A
 Problema: Gerenciar informações de seus mais de 46
milhões de clientes

47.  Criada a partir de seis empresas de telecomunicações, a operadora Vivo
se viu diante de um grande desafio no processo de unificação das
companhias: reunir, em um único data warehouse corporativo (ou
repositório de dados), todas as informações de seus mais de 46 milhões
de clientes. O cenário era complexo. As empresas reunidas contavam
com ferramentas de diversos fornecedores de business intelligence
(BI), diferentes processos e mais de mil usuários.
 Tudo isso gerava um tempo de resposta muito alto para a
operadora. Para solucionar o problema, a empresa optou
pela integração de todos os sistemas na plataforma da Teradata. Esta
tarefa envolveu 40 áreas de negócios e 100 usuários concentrados no
projeto, focados em integrar 2 bilhões de registros
diários. Hoje, o tamanho do banco de dados é de 100 terabytes.

48.  Para chegar à receita ideal, a extração e a análise de dados ficou a
cargo de solução da MicroStrategy e todo o processo de
desenvolvimento teve relação estreita com a área de negócios. A
ordem era não implementar nada que não partisse de uma
necessidade dessas áreas. Resultado: uma economia de 28
milhões de dólares.
 Deste valor, 15 milhões de dólares foram economizados
com impostos, segundo Daniela Calaes, gerente de sistemas de
BI da Vivo, que falou em evento da Teradata realizado esta
semana em Washington (EUA). Além disso, ao conseguir obter
um retrato mais fiel dos consumidores com potencial para se
tornarem devedores, a Vivo conseguiu reduzir em 13 milhões de
dólares a receita perdida em situações de clientes devedores.

49.  Outro benefício, de acordo com Daniela, foi a possibilidade de dirigir melhor
campanhas de marketing para incentivar o consumo de diferentes produtos por
clientes com potencial para aumentar gastos. E a própria rede e a cobertura
tiveram melhorias. A partir das ferramentas de análise, a Vivo
avaliou comportamentos atuais e históricos da rede para otimizar seu
uso, identificar falhas e ampliar a infraestrutura onde fosse necessário.
Assim, o custo da manutenção caiu em 20% e a capacidade da rede foi
ampliada.
 Para o futuro, a empresa prepara a integração com a Telemig
Celular, cujaconclusão da compra foi realizada em abril do ano passado, e a
implementação de novos módulos de informações, que já estão sendo
requeridos pelas áreas de negócios. A área de TI da companhia quer também o
aumento da performance do data warehouse, buscando garantir a informação
sempre em tempo real.
 Implementada a ferramenta, a meta agora é transformar o data warehouse na
única fonte de dados da companhia, integrando todas as informações isoladas
que ainda persistem na corporação.

50. Conclusão
 As informações tem sido cada vez mais valiosas nas
organizações, principalmente para o processo de tomada de
decisão. Informações sobre a organização, a quantidade de
vendas e de produtos em estoque são as mais
básicas, porém informações consistentes e precisas sobre o
comportamento de seus clientes e histórico dos últimos 7
anos, por exemplo, só são possíveis com o uso de data
warehouses. Essa tecnologia em banco de dados tem estado
presente em cada vez mais empresas de médio e pequeno
porte devido aos grandes benefícios
proporcionados, dentre eles a possibilidade de se ter uma
visão consistente de toda a organização.

51. Referências
 http://wiki.icmc.usp.br/images/7/73/SCC5911ConceitosArquitetura.pdf
 http://www.dcc.fc.up.pt/~pbrandao/aulas/0203/bdm/pdfs/DataWarehousing.
pdf
 http://www.inf.ufsc.br/~fileto/Talks/IntrodDW-ERBD2009.pdf
 http://www.efagundes.com/artigos/Quais%20as%20estrategias%20de%20impl
ementacao%20de%20um%20data%20warehouse.htm
 http://www.lume.ufrgs.br/handle/10183/25495
 http://www.slideshare.net/julianamarialop/vivo-usando-o-data-warehousepara-tomada-de-deciso
 http://mtc-m19.sid.inpe.br/col/sid.inpe.br/mtcm19/2012/09.25.11.26.39/doc/Leandro%20E%20de%20Oliveira.pdf
 http://dwbrasil.wordpress.com/category/data-warehouse/