O documento apresenta Hadoop, uma plataforma de armazenamento e processamento de grandes volumes de dados. Apresenta as motivações para Hadoop, como a necessidade de analisar dados não estruturados e em grande volume. Resume a história do Hadoop, seu ecossistema e conceitos-chave como MapReduce. Demonstra um exemplo simples de job MapReduce.

1. Hadoop: [ Aquele título chato, longo… ]
(aka “Hadoop para DBAs”)
Aldrin Leal, <aldrin@ingenieux.com.br>

2. Globalcode – Open4education
Agenda
Introdução
Motivação para o Hadoop
Hadoop: Passado Presente e Futuro
Conceituando Hadoop
O Ecosistema Hadoop
Mas e ai?

3. Globalcode – Open4education
Introdução
Aldrin Leal
Protroll
Projetos / Experiência em Hadoop
Outras Áreas:
Cloud
ALM

4. Globalcode – Open4education
Motivação para o Hadoop
Fontes de Informação Esparsas, não estruturada
Documentos
Recibos
Volume de Coleta de Dados

5. Globalcode – Open4education
Motivação para o Hadoop
Aspectos-Chave:
Lei de Moore
Preço
Latência
Largura de Banda
Seek Time

6. Globalcode – Open4education
Motivação para o Hadoop
Outros Aspectos-Chave:
Computação Distribuída
Tolerância a Falha

7. Globalcode – Open4education
Motivação para o Hadoop
Limitações:
Volume de Dados
Online
Storm / YARN / Impala
Modelo
Sawzall / BigTable

8. Globalcode – Open4education
Hadoop: Passado
Presente e Futuro
Doug Cutting
Altavista
Yahoo
Lucene / Solr, e…
Nutch
Papers:
MapReduce
GFS

9. Globalcode – Open4education
Hadoop: Passado
Presente e Futuro
Distros Hadoop:
Hortonworks (Microsoft)
Cloudera
Amazon Web Services
Intel
Hadoop as a Service
MRv1 vs YARN
YARN:
Impala
MPICH
Storm

10. Globalcode – Open4education
Conceituando Hadoop
Plataforma
Separa funções:
Armazenagem (Namenode, Datanode)
Processamento (Tasktracker)
Coordenação (JobTracker)
Tolerância a Falha:
Fator de Replicação
Task Attempts

11. Globalcode – Open4education
Conceituando Hadoop
Otimização
Vários Botões
Execução Especulativa
Divisão de Responsabilidades

12. Globalcode – Open4education
Conceituando Hadoop
MapReduce
Mappers
Reducers
Combiners / Partitioners

13. Globalcode – Open4education
Conceituando Hadoop

14. Globalcode – Open4education
Conceituando Hadoop
Modelo Flexível
Vários Cases Implementáveis (leia a veja!)
“Corrida do Big Data”

15. Globalcode – Open4education
Demo
Um pequeno job mapreduce (parte I)
Mapper
Reducer
OutputCollector
Driver, Tool, Configurable
Job, JobConf
FileSystem
sudo (apt-get|yum) install mercurial
&& hg clone
http://bitbucket.org/ingenieux/hadoop-filesystem-
indexer-demo

16. Globalcode – Open4education
Ecosistema Hadoop
Distros
Hadoop Streaming (Scripting)
HBase
K/V Distribuído, com SLA
Valores Esparsos, Alta Performance
Hive / Pig / HCatalog
SQL e Perl
Schema Unificado

17. Globalcode – Open4education
Demo
Um job mapreduce um pouco maior 

18. Globalcode – Open4education
Mas e ai? Como começar
Gestão de Clusters (“Hadoop Operations”)
Whirr
Chef / puppet
OpsWorks
Desenvolvimento (“Hadoop Definitive Guide”)
Scripting
Java / Cascading
Hive / Pig
Ciência de Dados (“Coursera ”)

19. Globalcode – Open4education
Conclusão:
É faroeste!
Mas tem uns pontos para se nortear
Muitas mudanças, ritmo rápido
Diversas Oportunidades

20. Globalcode – Open4education
Dúvidas?

21. Globalcode – Open4education
Obrigado