Data warehouse 01 introdução

Prof. Rafael Pinheiro – rpinheiro2@gmail.com
DATA WAREHOUSE

ETL / ETC
OLAP

OLTP

Datamining

Data Mart

Cubo de decisão
DW
Dashboard
Data Warehouse

“Eu presto atenção
no que eles dizem
mas eles não dizem nada”
Humberto Gessinger

DATA WAREHOUSE

Dado x Informação x Conhecimento x Sabedoria

O dado é um pingo de água.

Você está andando e sente um pingo,
um segundo pingo, um terceiro pingo.

Aquilo não significa que é uma chuva,
pode ser um ar condicionado, pingando num dia de calor.

DATA WAREHOUSE


No momento em que você olha para o céu e

repara que existem nuvens e

que começa ver os primeiros

raios e sentir mais pingos,

complementa aquele conjunto de dados e

chega a uma informação: vai chover!

DATA WAREHOUSE


O conhecimento é quando você percebe

que com a chuva você vai se molhar e

não poderá ir a um compromisso ou poderá ficar resfriado.

Então, isso é um conhecimento.

DATA WAREHOUSE


A sabedoria é o que vai fazer com tudo isso.

Se você vai continuar andando no meio da chuva e

se molhar todo, ou vai se proteger em um abrigo e

deixar a chuva passar.

DATA WAREHOUSE


Dado: Conjunto símbolos e sinais

Informação: É a interpretação de um conjunto de
dados

Conhecimento: Modelo da realidade, construído
através da experiência, aprendizado e
comunicação

Sabedoria: Meta-conhecimento, ou seja, um conhecimento sobre o próprio
conhecimento.

DATA WAREHOUSE


Dado: Sinal verde; Motoqueiro aproximando
Informação: Sinal verde posso passar; Motoqueiro tem que parar
Conhecimento: Motoqueiros apressados costumam não parar
Sabedoria: É melhor esperar o motoqueiro parar ou passar para depois eu
atravessar

DATA WAREHOUSE

¿ E no mundo computacional ?
• Geralmente nossos dados estão em sistemas,
banco de dados, planilhas, arquivos, etc.

• Mais comum: banco de dados relacional

DATA WAREHOUSE

¿ Onde estão meus dados ?

DATA WAREHOUSE

OLTP – Online Transaction Processing
(Processamento de transações Online)

• Sistemas que registram transações
operacionais:
ERP
Sistema bancário
Sistema de vendas,
Gestão hospitalar
Gestão acadêmica
Controle de serviços

DATA WAREHOUSE

Modelagem Entidade-Relacionamento
(OLTP x ME-R)
• Modelo de abstração para descrever a
organização dos dados em um Sistema de
Informação
Entidade
Relacionamento
Normalização (3NF)
Integridade
Banco de Dados Relacional

DATA WAREHOUSE

Diagrama Entidade Relacioanmento

DATA WAREHOUSE

Diagrama Entidade Relacioanmento

R/3:
14.000 tabelas

Linha RM:
5.000 tabelas

DATA WAREHOUSE

¿ Consigo produzir informações ?
• Relatórios
• Consultas SQL
– Inner Join
– Left Join
– UNION
– IN, LIKE
– SubConsulta
– AVG, SUM, MAX, MIN

DATA WAREHOUSE

¿ E a velocidade do mundo atual ?

DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidade
Business Intelligence
• Forma gráfica, fácil compreensão e
interpretação, fácil navegação

• Cubo de decisão
– Uma informação vista de vários ângulos

• Gráficos de sinalização
– Semáforo, Gauge (velocímetro), Pizza

DATA WAREHOUSE

OLAP – Online Analytical Processing
(Processamento Analítico Online)
• Possibilidade de manipular e
analisar uma grande quantidade
de dados por várias perspectivas
Fácil análise
Drill down
Drill up

DATA WAREHOUSE

Dashboard/Cockpit

DATA WAREHOUSE


DATA WAREHOUSE

Tomada de decisão

DATA WAREHOUSE

¿ De onde buscar esses dados ?
• Banco de dados relacional?
Consultas complexas
Tratamento dos dados
Compromete a performance OLAP e OLTP
Pode ter dados que não estão no BD OLTP

DATA WAREHOUSE

Data Warehouse
• Armazém (repositório) de dados (Base de
dados relacional)
• Dados/informações consolidadas
• Grande quantidade de dados
• Dados não mudam
(exceto na carga)
• Modelagem que favorece o
desempenho de consultas

DATA WAREHOUSE

Modelagem Dimensional
OLAP X MD
• Modelo de dados voltado para performance
de leitura (recuperação da informação)

• Não serão efetuados processos operacionais

• Não precisam estar Normalizados

DATA WAREHOUSE

• Dois pilares:
Fatos
Dimensões

• Dois tipos:
Estrela
Floco de neve

DATA WAREHOUSE

• Fato: É a tabela (ou entidade) mais
importante do negócio é nela que estão todas
as métricas que se pretende analisar:
– Vendas
– Consultas
– Notas
– Pagamentos
– Empréstimos

DATA WAREHOUSE

• Métricas: São os valores que queremos
analisar.
– Vendas: Quantidade, Valor
– Consultas: Quantidade, tempo de espera
– Notas: Valor, média
– Pagamentos: Quantidade, valor monetário
– Empréstimos: Quantidade, valor monetário,
quantidade de parcelas

DATA WAREHOUSE

• Dimensões: São os pontos de vista (visão de
análise) das métricas de um fato
– Vendas: Produto, loja, data
– Consultas: Especialidade, plano, faixa etária
– Notas: Disciplina, bimestre, curso
– Pagamentos: Fornecedor, data, tipo de gasto
– Empréstimos: Tipo de cliente, motivo, classe
econômica, grau de instrução

DATA WAREHOUSE


DATA WAREHOUSE

• Fato é a tabela principal

• Dimensão são tabelas que se relacionam com
a tabela fato (entidade relacionamento)

DATA WAREHOUSE

(Estrela - Star)

DATA WAREHOUSE

(Floco de neve – Snowflake)

DATA WAREHOUSE

Data Warehouse
• ¿ Então um Data Warehouse nada mais é que
um Banco de Dados ?

Resposta: Sim. Mas com uma diferença, ele é
modelado para ter uma excelente
performance de consulta e contém dados
consolidados de várias fontes.

DATA WAREHOUSE

¿ E o que é Data Mart ?
• É um subconjunto de dados dentro do Data
Warehouse voltado para uma finalidade
específica: Vendas, Financeiro, Contábil, RH,
Acadêmico

DATA WAREHOUSE

DATA WAREHOUSE

ETL – Extract Transform and Load
(ETC – Extração Transformação e Carga)
• É a fase de extração de dados de diversos sistemas,
transformação desses dados conforme regras de negócios e
por fim a carga dos dados em um Data Mart ou um Data
Warehouse.

• É considerada uma das fases mais críticas do Data
Warehouse e/ou Data Mart.

• Alguns consideram que ETL não são ferramentas e sim uma
metodologia

DATA WAREHOUSE

ETL – Extract Transform and Load

DATA WAREHOUSE

¿ Afinal, o que é BI ?
(Business Intelligence)
• É todo o processo de coleta, organização,
análise, compartilhamento e monitoramento
de informações que oferecem suporte a
gestão de negócios.

DATA WAREHOUSE


DATA WAREHOUSE

O caso da Fralda e da Cerveja
• Conta uma lenda urbana, que uma loja
descobriu que a maioria das vendas de fraldas
que ocorriam de quinta a domingo, eram
acompanhadas da compra de cervejas

• Os donos, então,
colocaram as cervejas
perto das fraldas e as
vendas dispararam

DATA WAREHOUSE

O caso da Fralda e da Cerveja
Dado

Informação (Padrão de comportamento)

Conhecimento

Sabedoria

DATA WAREHOUSE

Ops... tenho um tesouro nas mãos

DATA WAREHOUSE

¿ Posso procurar padrões de
comportamento ?

DATA WAREHOUSE

Data Mining
(Mineração de Dados)

DATA WAREHOUSE

Data Mining

• Data Mining ou Mineração de Dados consiste em um
processo analítico projetado para explorar grandes
quantidades de dados (tipicamente relacionados a negócios,
mercado ou pesquisas científicas), na busca de padrões
consistentes e/ou relacionamentos sistemáticos entre
variáveis e, então, validá-los aplicando os padrões detectados
a novos subconjuntos de dados.

• O processo consiste basicamente em 3 etapas: exploração;
construção de modelo ou definição do padrão; e
validação/verificação.

DATA WAREHOUSE

Data Mining

• Data Mining é parte de um processo maior de conhecimento
denominado Knowledge Discovery in Database (KDD).

• KDD consiste, fundamentalmente, na estruturação do banco
de dados; na seleção, preparação e pré-processamento dos
dados; na transformação, adequação e redução da
dimensionalidade dos dados; no processo de Data Mining; e
nas análises, assimilações, interpretações e uso do
conhecimento extraído do banco de dados, através do
processo de Data Mining.

DATA WAREHOUSE

OLTP Modelagem Entidade-Relacionamento
OLAP Modelagem Dimensional
ETL / ETC Extract Tranform and Load
DW Data Warehouse Data Mart
Cubo de decisão
Cockpit
Dashboard
Datamining

“Nem tão longe que eu
não possa crer, que um
dia chego lá...”
Humberto Gessinger

DATA WAREHOUSE

¿Dúvidas?

@_rpinheiro

www.facebook.com/rpinheiro2

www.linkedin.com/pub/rafael-pinheiro/24/31/b47

rpinheiro2@gmail.com

Data warehouse 01 introdução

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Plus de Rafael Pinheiro

Plus de Rafael Pinheiro (20)

Data warehouse 01 introdução