1. Big Data e NoSQL:
buzzwords da
teoria à prática
Fabíola Souza Fernandes Pereira

2. Mas antes…

3. Um pouco da minha história…
2005
t

4. Um pouco da minha história…
2005 2007
t

5. Um pouco da minha história…
2005 2007 2009
t

6. Um pouco da minha história…
2005 2007 2009 2011
t

7. Um pouco da minha história…
2005 2007 2009 2011 2013
t

8. Motivação…

9. Motivação…

10. Motivação…

11. 1. Big Data

12. 2. NoSQL

13. 3. Na prática:
ferramentas e exemplos

14. 4. Cases do mundo

15. 5. Case Algar Telecom

16. 6. Conclusão

17. A cada dia…
2,5
exabytes
de informação são
produzidos pela
humanidade
375
megabytes
10
petabytes
de dados são
acumulados por
cada família
correspondem aos
e-mails enviados
43
petabytes
de dados são trocados
por smartphones e
tablets conectados à
internet
24
petabytes
são processados
pelo site do
Google
Fonte: Revista Veja, 15/05/2013

18. Bit
Byte
Kilobyte (1 000 Bytes)
Megabyte (1 000 000 de Bytes)
Gigabyte (1 000 000 000 de Bytes)
Terabyte (1 000 000 000 000 de Bytes)
Petabyte (1 000 000 000 000 000 de Bytes)
Exabyte (1 000 000 000 000 000 000 de Bytes)
Zetabyte (1 000 000 000 000 000 000 000 de Bytes)
Yottabyte (1 000 000 000 000 000 000 000 000 de Bytes)
Fonte: Revista Veja, 15/05/2013

19. O que é Big Data?

20. “Manipulação de grande
massa de dados”

21. Volume

22. Variedade

23. Velocidade

24. Veracidade

25. Os 4 pilares do Big Data (4 V’s)
Volume
Veracid
ade
Big
Data
Varieda
de
Velocida
de

26. Manipulando Big Data
Coleta
Processa
mento
Armazena
mento
Análise
Ação

27. Quem está usando…
Big data aumentará receita de operadoras em US$ 4 bi por ano
http://exame.abril.com.br/tecnologia/noticias/big-data-aumentara-receita-de-operadoras-em-us-4-bi-por-ano
5 cidades que usam big data para melhorar vida dos moradores
http://exame.abril.com.br/tecnologia/noticias/5-cidades-que-usam-big-data-para-melhorar-vida-dos-moradores#5
Big Data ajudou Obama a ganhar as eleições
http://info.abril.com.br/noticias/ti/big-data-ajudou-obama-a-ganhar-eleicoes-15012013-25.shl
IBM vai analisar tweets dos brasileiros durante os jogos e
enviar percepções para o técnico da seleção
http://olhardigital.uol.com.br/noticia/big-data-pode-ajudar-felipao-na-copa-das-confederacoes/35218

28. Profissões “quentes”
Cientista de Dados
• Estatística
• Matemática
• Oportunidades
Profissionais de
Tecnologia para Big Data
• NoSQL
• Hadoop
• Mineração de Dados

29. Vamos pensar…

30. 2. NoSQL

31. No to SQL

32. Not Only SQL

33. Por que NoSQL agora?
1. Dimensão
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies

34. Por que NoSQL agora?
2. Conexão
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies

35. Por que NoSQL agora?
3. Semi/Não-estruturado
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies

36. Por que NoSQL agora?
Aplicação
Aplicação
Aplicação
DB
DB
DB
4. Arquitetura
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies

37. Resumindo…
 Escalabilidade horizontal
 Processamento distribuído
 Maior throughput (taxa de transferência)
 Baixo custo

38. A C I D
Atomicidade Consistência Isolamento
Durabilidade

39. Teorema CAP

40. AVAILABILITY
CONSISTENCY
PARTITION
TOLERANCE

41. AVAILABILITY
Todos os clientes têm
sempre a MESMA
VISÃO do sistema
(commits atômicos)
CONSISTENCY
PARTITION
TOLERANCE

42. AVAILABILITY
O cliente pode
SEMPRE ler e
escrever
CONSISTENCY
PARTITION
TOLERANCE

43. AVAILABILITY
O sistema SEMPRE
FUNCIONA mesmo que
haja “partições” –
quebra de comunicação
entre nós
CONSISTENCY
PARTITION
TOLERANCE

44. AVAILABILITY
Escolha
duas!
CONSISTENCY
PARTITION
TOLERANCE

46. BASE
BasicallyAvailable
Soft
state
Eventually
consistent

50. Chavevalor
Relacional
Orientado
a Coluna/
Tabular
Orientado
a
Documento
Grafo

51. Chavevalor
Volume
Orientado
a Coluna/
Tabular
Orientado
a
Documento
Grafo
Relacional
Complexidade dos Dados

52. NoSQL = Não-relacional?
Relacional = SQL?

53. NoSQL e SQL
referem-se a
linguagens de
consulta
Relacional e Nãorelacional referemse a modelo de
dados

54. Persistência poliglota
SQL
&&
NoSQL
Fonte: http://www.slideshare.net/thobe/nosql-for-dummies

55. 3. Na prática:
ferramentas e exemplos

56. BDs NoSQL

57. Twissandra

58. Twissandra

59. Twissandra
User = {
'hermes': {
'password': '****',
(other properties),
},
}
Tweet = {
'7561a442-24e2-11df-8924-001ff3591711': {
'username': 'hermes',
'body': 'Trying out Twissandra. This is awesome!',
},
}

60. Twissandra
Followers = {
'hermes': {
#friend id: timestamp of when the followership was added
'larry': '1267413962580791',
'curly': '1267413990076949',
'moe' : '1267414008133277',
},
}
Friends = {
'hermes': {
# friend id: timestamp of when the friendship was added
'larry': '1267413962580791',
'curly': '1267413990076949',
'moe' : '1267414008133277',
},
}

61. Twissandra – NoSQL queries
GET tweet[utf8(‘hermes')];
GET tweet[utf8(‘hermes')][body];

62. Ferramentas Big Data

63. Spam ou Não-Spam??

64. 4. Cases do mundo

65. IBM Big Data Platform

66. Oracle Big Data Platform

67. Microsoft Big Data Platform

68. Facebook data flow

69. 5. Case Algar Telecom

71. Case Algar Telecom
Armazenamento de Dados no COREO

72. 6. Conclusão

73. “O petróleo só terá valor se
transformado em combustível e
energia.
Na mesma linha, os dados só
terão valor se analisados e
utilizados”
Fonte: The world use of big data:
http://public.dhe.ibm.com/common/ssi/ecm/en/gbe03519usen/GBE03519USEN.PDf

74. Obrigada
Fabíola Fernandes
fabiola.fernandes.334
fabiolas@algartelecom.com.br
@fabiolas