O documento descreve uma apresentação sobre Big Data realizada por Diego Nogare e Evilázaro Alves. A apresentação discute porque investir em Big Data, tipos de dados, arquitetura, MapReduce, HDFS e como aprender mais sobre o tópico.

1. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
MVP ShowCast
Virtual Community Series
WEBCASTS
15
set
a
09
out
2 0 1 4
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net)
#mvpbr #mvpshowcastOrganizado por MVPs com apoio da Microsoft
Programa MVP (mvp.microsoft.com)
Palestrante: Moderador:
Azure & Big DataIT
Entendendo Big Data Através da
Plataforma Microsoft
Diego Nogare
MVP de SQL Server
Business Intelligence no Minha Vida
@DiegoNogare
Evilázaro Alves
MVP de Microsoft Azure
CTO and Owner na BR Soluções Integradas
@evilazaro
Nível: 200

2. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Agenda do webcast
♦Porque investir em BigData
♦Tipos de Dados
♦Um pouco de Arquitetura
♦MapReduce
♦HDFS
♦Como e Onde aprender

3. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Criando a máquina!

4. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Evolução

5. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Porque investir em Big Data?

6. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Porque investir em Big Data?

7. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Volume
Velocidade
Variedade
Veracidade
BigData é sobre
Volume, Velocidade,
Variedade e Veraci…
Veracidade não
é uma medida
de magnitude!!!

8. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Fonte: Apresentação da Gartner ‘O Gerenciamento 'Radical‘
de Informações': Os Maiores Desafios para CIOs do Século 21
Mark Beyer, Outubro 2011
15%
Dados
Estruturados
85%
Dados Não
Estruturados

9. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
2005
2013

10. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
NY Stock
1TB/Dia
Internet Archive
2PT + 20TB/Mês
Large Hadron Collider
15PT/Ano
Ancestry.com
2.5PT
Facebook
10 bilhões fotos
1PT

11. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT

12. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT

13. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Como armazenar?

14. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Como processar?

15. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Cluster
HDFS
MapReduce
Resultado

16. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Porque replicar?
Rack 1 Rack 2
Switch 1
Rack 3 Rack 4
Switch 2
Switch 3

17. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Processar e analisar!

18. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Como Aprender
♦Coursera: https://www.coursera.org/specialization/jhudatascience/1
♦Udemy: https://www.udemy.com/courses/search/?q=data+science
♦Udacity: https://www.udacity.com/courses#!/data-science
♦MIT OpenCourseWare: http://ocw.mit.edu/index.htm
♦Harvard Open Course: http://www.extension.harvard.edu/courses/data-science

19. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Fontes
♦Hype Cycle: https://www.gartner.com/doc/2813223/hype-cycle-business-intelligence-analytics
♦Onde estão os dados: Hadoop: Definitive guide. (O’Reilly) Tom White. 2011
♦Vídeo completo (Canal WIRED): http://www.youtube.com/watch?v=Hi5kMNfgDS4

20. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
Links complementares
♦MapReduce:
https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Overview
♦Hive: https://hive.apache.org/
♦Pig: https://pig.apache.org/
♦HBase: https://hbase.apache.org/
♦HDFS: http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#Introduction
♦Sqoop: http://sqoop.apache.org/

21. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Iniciativas da Microsoft
Premiação MVP
A premiação Microsoft Most Valuable Professional (MVP) é uma forma da Microsoft
agradecer aos líderes independentes da comunidade que compartilham sua paixão,
experiência técnica e conhecimento prático dos produtos da Microsoft com outros.
mvp.microsoft.com
Programa MVP Mentor
O Programa MVP Mentor conecta estudantes que querem aprender mais sobre
tecnologias Microsoft com especialistas independentes: os MVPs da Microsoft.
mvp.microsoft.com/en-us/MVP-mentor.aspx
Microsoft Virtual Academy
Treinamento gratuito da Microsoft
oferecido por especialistas.
www.microsoftvirtualacademy.com
Serviço de curadoria projetado para
e mantido pela comunidade técnica.
curah.microsoft.com
Curah!

22. © 2014, MVP ShowCast (mvpshowcast.azurewebsites.net) Programa MVP (mvp.microsoft.com)
Azure & Big DataIT
MVP ShowCast
Virtual Community Series
WEBCASTS
15
set
a
09
out
2 0 1 4
© 2014, MVP ShowCast (mvpshowcast.azurewebsites.net)
#mvpbr #mvpshowcastOrganizado por MVPs com apoio da Microsoft
Programa MVP (mvp.microsoft.com)
Palestrante: Moderador:
Azure & Big DataIT
Obrigado!
Diego Nogare
MVP de SQL Server
@DiegoNogare