O documento apresenta informações sobre Business Intelligence (BI) e ferramentas open source de BI como Pentaho. Discute conceitos como arquitetura de dados, modelagem estrela e desnormalização para fins analíticos. Apresenta também conceitos de bancos de dados NoSQL e ferramentas do Pentaho para integrar dados em bancos como MongoDB.

1. @fmasanori
http://www.slideshare.net/fmasanori

2. • Conhecendo o palestrante
• Conhecendo os assistentes
• Business Intelligence
• Pentaho
• Big Data and NoSQL
• Perguntas

3. • IME-USP e Mestrado ITA
• ed e lint Cobra Tecnologia
• Software Express
• Credicard Mastercard
• PriceWaterhouseCoopers
• ITAU BankBoston
• Docente FATEC (amo dar aulas)
• Interesses: Python, NoSQL, Google
Technology, Facebook

4. Conhecendo os assistentes
• Estudantes
• Docentes
• Java Dev
• Conhece Sang Shin (JavaPassion)
• Sun Tech Days, JavaOne
• Business Intelligence
• Pentaho

5. Business Intelligence

6. Business Intelligence

7. Business Intelligence
Gartner's 2012 CIO survey
showed that analytics and
BI is the No. 1 technology
priority for CIOs in 2012

8. Analytics no mercado mundial, Gartner:
• 2010: +13.4%
• 2011: +16.4% == $12.2 billion
• 2º em crescimento software market
América Latina:
• 2010: +19.5%

9. BI architecture
FONTE DE DADOS PROCESSO DE ETL DATA WAREHOUSE APRESENTAÇÃO
CENTRAL DASHBOARDS OLAP
WAREHOUSE
Arquivos ÁREA DE ESTÁGIO
SGBD
SGBD
ETL DATA
DSS
SGBD MINING
ETL ETL
ERP
DOCUMENTOS
Arquivos
CRM DATA MARTS
(Luiz H. N. Lorena, 2011)

10. Star Schema
TEMPO
CLIENTE PRODUTO
VENDAS
PROMOÇÃO LOJA
(Luiz H. N. Lorena, 2011)

11. Denormalization
(Kimball, 2002)

12. Denormalization
Aggregation performance
(Kimball, 2002)

13. Operacional x Analytics
Operacional Analítico
Propósito Executar um processo Avaliar um processo
Estilo interação Insert, update, delete, query Query (read-only)
Escopo interação Transação individual Agregação
Padrão query Previsível e estável Imprevisível
Foco temporal Atual Histórico e atual
Otimização Update concorrente Query (agregação)
Projeto ER na 3FN Star Schema ou Cubo
(Adamson, 2010)

15. Open Source == comunidade ativa

16. Pentaho == BI suite
• Reporting, OLAP, Pivot Tables, Dashboarding,
Data Mining
• Requisito: Java (JRE + JDK)
• JAVA_HOME, JRE_HOME, PATH E CLASSPATH
• Download community.pentaho.com

17. BI-Server
• Extrair biserver-ce para c:program
filespentaho (exemplo)
• Adionar o user com full control no properties
security do diretorio
• start-pentaho.bat ou start-pentaho.sh
• http://localhost:8080/pentaho/Login
• User == joe e Senha == password
• Não esquecer: stop-pentaho.bat

18. Demo

19. Administration Console
• start-pac.bat
• http://massa-pc:8099/
• User == admin e Senha == password
• Não esquecer: stop-pac.bat

20. Demo

21. Pentaho Data Integration
• ETL: Extract, Transform, Load
• Extrair pdi-ce no mesmo diretório pentaho
• spoon.bat
• Inicialmente não usaremos o repositório
• Ferramenta gráfica, mas os scripts são
executados em lote quando em produção

22. Demo

23. BigData and NoSQL
• Dados crescem exponencialmente
• Wallmart == 1M transactions/hour
• Facebook == 40B photos

24. Escalabilidade vertical 
• Escalabilidade para leituras num banco
relacional: trabalhoso
• Escalabilidade para escritas num banco
relacional: MUITO, MUITO, trabalhoso
(se conseguir ele deixou de ser
relacional...)

25. Escalabilidade vertical 

26. Escalabilidade horizontal 

27. Not Only SQL

28. • JSON oriented
• Autosharding
• Full featured indexes

29. Cassandra:
• Linearly Scalable
• Column based

31. Pentaho BigData

32. Demo
http://wiki.pentaho.com/display/BAD/Write+Data+To+MongoDB
http://wiki.pentaho.com/display/BAD/Read+Data+From+MongoDB

33. Bibliografia

34. Bibliografia

35. Perguntas?
fmasanori@gmail.com
facebook.com/fmasanori
twitter.com/fmasanori