O documento resume os principais pontos de um evento sobre Big Data e AWS, incluindo: 1. Apresentações sobre os benefícios da nuvem AWS e casos de uso; 2. Palestras sobre arquiteturas de software para o século XXI; 3. Demonstrações de soluções e tecnologias AWS para Big Data.

1. José Papo
@josepapo
Juliano Tubino

2. Thank you Sponsors!

3. The Roadshow
Key note - AWS e Parceiros AWS
Coquetel Encerramento
14:00 -
15:30
18:00 –
19:00
Break
Key note - AWS e Parceiros AWS
16:00 -
18:00

4. Apresentacoes e Videos
http://awshub.com.br
Pessoal
e totalmente transferivel

5. #awssummit

6. Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
(e demos!)
Arquiteturas de Software para o
Século XXI (e demos!)

7. Vamos escrever juntos a historia do Cloud
Computing no Brasil

8. Thousands of new customers every month in Latin America

9. Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
(e demos!)
Arquiteturas de Software para o
Século XXI (e demos!)

10. Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI

12. “Todos os mercados estão sendo transformados pela nova onda digital”
http://www.amazon.com.br/Digital-Disruption-Unleashing-Innovation-ebook/dp/B009L7QD1S/

13. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends

14. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends

15. Internet Trends 2013 - http://www.kpcb.com/insights/2013-internet-trends

16. A Nuvem é o alavancador das novas tendências tecnológicas

17. “Para sobreviver no mercado, empresas precisam
continuamente realocar recursos de processos de
manutenção para processos de inovação.”

19. “Cloud is like a fertilizer that creates Startups”
Eric Ries

20. “Amazon Web Services is probably the most
important thing that has happened to mobile
and web app developers that the press just
misses. Jeff Bezos has accidentally or maybe
on purpose powered a whole generation of
applications.”
Steve Blank

21. Acelerando o boom das startups e novos devices

22. Otimizando as Grandes Corporações

23. Dezenas de Milhares de Clientes na América Latina

24. Amazon S3: Mais de 2 Trilhões de Objetos
1.1M
requisições/seg
no pico

25. Amazon Elastic MapReduce: Clusters criados pelos clientes
5.5 M clusters
desde Maio de 2010

26. 2012
159
2011
82
2010
61
2009
48
2008
24
2007
9 Amazon FPS
Red Hat EC2
SimpleDB
CloudFront
EBS
Availability Zones
Elastic IPs
Relational Database Service
Virtual Private Cloud
Elastic Map Reduce
Auto Scaling
Reserved Instances
Elastic Load Balancer
Simple Notification Service
Route 53
RDS Multi-AZ
Singapore Region
Identity Access Management
Elastic Beanstalk
Simple Email Service
CloudFormation
RDS for Oracle
ElastiCache
DynamoDB
Simple Workflow
CloudSearch
Storage Gateway
Mais de 125 anúncios já feitos em 2013

27. Inovação Técnica rápida
e orientada aos clientes
Jul 28, 2013
Anunciando Amazon SNS for Mobile Push
– 1 milhão de notificações gratuitas por
mês e $1,00 para cada milhão adicional
Mar 11, 2013
Anunciando AWS Elastic Beanstalk para
Node.js
Feb 18, 2013
Anunciando AWS OpsWorks
Jan 28, 2013
Anunciando Amazon Elastic Transcoder
“Queria muito enviar notificações
push para apps móveis de forma
simples e barata”
“Seria tão bom se no Beanstalk eu
pudesse usar Node.js!”
“É difícil gerenciar minhas Chef recipes”
“Seria bom se a AWS deixasse o
processo de Transcoding mais fácil”

28. Samsung reduziu drasticamente seus custos com a AWS
Economizou $34 Milhões 85% de economia versus modelo tradicional

29. Desperdício
Clientes
Insatisfeitos
Demanda Atual
Demanda Prevista
Tradicional Cloud
Demanda atual
AWS
Redução de Custos via Elasticidade

30. Redução de Custos via preços baixos
Escala nos permite reduzir
preços continuamente
Estamos acostumados a trabalhar
em um negócio de altos volumes e
baixas margens
Nós sempre passamos
nossas economias de escala
a nossos clientes
37
Reduções de
preços

31. Somos obcecados em ajudar nossos clientes a economizar

32. Shell usa a AWS para aumentar significativamente sua agilidade
Time Remoto
Time Interno
Recursos Extras
Time de Outsourcing

33. Aumentando a
agilidade, a TI deixa
de ser vista como…

34. E passa a ser vista como tendo…

35. Nasdaq usa AWS para criar um novo serviço para hedge funds

36. Inovação: Experimentação Rápida com Custo e Risco Baixo
On-Premises
Menos Experimentos
Falhar é caro
Menos Inovação
Experimenta mais
Falha rápido com custo baixo
Mais Inovação
$ Milhões
Centenas
ou Milhares

37. Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI

38. Big Data

39. Analysis of Data Can Transform Society
Create new business
models and improve
organizational
processes.
Enhance scientific
understanding, drive
innovation, and
accelerate medical cures.
Increase public safety
and improve
energy efficiency with
smart grids.

40. Democratizing Analytics gets Value out of Big Data
Unlock Value in
Silicon
Support Open
Platforms
Deliver Software Value

41. Intel at the Intersection of Big Data
Enabling exascale
computing on massive data
sets
Helping enterprises
build open
interoperable clouds
Contributing code
and fostering
ecosystem
HPC Cloud Open Source

42. Intel at the Heart of the Cloud
Server
Storage
Network

43. Reinventing Supercomputing
On Demand

44. Scale-Out Platform Optimizations for Big Data
Cost-effective performance
•Intel® Advanced Vector Extension Technology
•Intel® Turbo Boost Technology 2.0
•Intel® Advanced Encryption Standard New
Instructions Technology

45. Power of the Platform built by Intel
Richer
user
experiences
4HRS
50%
Reduction
10MIN
80%
Reduction 50%
Reduction 40%
Reduction
TeraSort for
1TB sort
Intel®
Xeon®
Processor
E5 2600
Solid-State
Drive 10G
Ethernet Intel® Apache
Hadoop
Previous
Intel®
Xeon®
Processor

46. Cloud
Intelligent Systems
Clients
Virtuous Cycle of Data-Driven Experience

47. Agenda
1. Introdução a Big Data
2. Transformando dado em informação
3. Analítico e Computação nas nuvens
4. Ecossistema Big Data

48. Introdução a Big Data
1

49. Uma das definições de Big Data
Quando a quantidade de dados começa a ficar tão grande que você tem
que começar a inovar no jeito de coletar, armazenar, organizar, analisar
e compartilhar a informação.

50. 3 V’s
Volume
Velocity
Variety

51. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento

52. O custo da geração de dados está
caindo…

53. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
custo baixo,
alta transferência

54. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
custo baixo,
alta transferência
extremamente
limitado

55. Dados gerados
Disponivel para análise
Volume de dados
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares

57. Elasticidade e alta escalabilidade
+
Sem capital adiantado
+
Paga apenas por uso
+
Disponível por demanda
Remove
todos os
limites
=

58. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
custo baixo,
alta transferência
extremamente
limitado

59. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
Acelerado

60. Big Data
Tecnologias e técnicas para
trabalhar de forma produtiva com
dados, em qualquer escala

61. Transformando dado
em informação
2

64. Analítico e
computação nas nuvens
3

65. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento

66. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, RDS,
HBase

67. Geração
Coleta e Armazenamento
Análise e processamento
Compartilhamento
EC2 &
Elastic MapReduce

68. Geração
Coleta e Armazenamento
Análise e processamento
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshift
Compartilhamento

69. Geração
Coleta e Armazenamento
Análise e processamento
AWS Data Pipeline
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshift
EC2 &
Elastic MapReduce
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, RDS,
HBase
Compartilhamento

70. Geração
Coleta e Armazenamento
Análise e processamento
AWS Data Pipeline
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshift
EC2 &
Elastic MapReduce
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, RDS,
HBase
Compartilhamento

71. Elastic Map Reduce
Hadoop gerenciado,
processamento analítico

72. Input data
S3, DynamoDB, Redshift

73. Elastic
MapReduce
Código
Input data
S3, DynamoDB, Redshift

74. Elastic
MapReduce
Código Name
node
Input data
S3, DynamoDB, Redshift

75. Elastic
MapReduce
Código
Name
node
Input data
Elastic
cluster
S3, DynamoDB, Redshift
S3/HDFS

76. Elastic
MapReduce
Código
Name
node
Input data
S3/HDFS
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
cluster

77. Elastic
MapReduce
Código
Name
node
Output
Input data
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
cluster
S3/HDFS

78. Output
Input data
S3, DynamoDB, Redshift

79. 1. Clusters elásticos

80. 10 horas

81. 6 horas

82. Capacidade máxima

83. 2. Rápido, provisionamento dinâmico

84. (muito) fácil.

85. Parte pesada e difícil é
removida...

86. 3. E ainda o mesmo Hadoop

87. Ecosystem robusto.
Databases, machine learning, segmentation,
clustering, analytics, metadata stores,
exchange formats, and so on...

88. 4. Agilidade para experimentos

89. Tipos de instâncias
Flexibilidade no tipo da instância & número.

90. 5. Otimização de custo

91. Feito para Spot.
Computação baseada no seu preço.

92. 1. Clusters elásticos
2. Rápido, provisionamento dinâmico
3. Mesmo Hadoop
4. Agilidade para experimentos
5. Otimização de custos

93. Ecossistema Big Data
4

94. Dados, dados, (espalhados) em todo lugar...
dados em silos (isolados)

95. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App

96. “Como eu transfiro meus dados para a nuvem?”

97. Mobilidade dos dados
Gerados e armazenados na AWS
Transferência de dados entrante é gratuito
Multipart upload para S3
Media física (EUA apenas)
AWS Direct Connect
Replicação de AMIs e snapshots

98. “Como eu integro meus dados para
melhores resultados?”

99. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App

100. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App

101. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premisesLogs de App

102. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App

103. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App

104. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App

105. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premisesLogs de App
Pedidos
do dia
Acesso do
usuário
ERP/Prod
utos
Histórico de
compras
Recomendações
de compra
Analítico de
recomendação

106. AWS Data Pipeline
Orquestração de muitos dados

107. Esqueleto de um pipeline

108. Pipelines complexos

109. aws.amazon.com/datapipeline

110. aws.amazon.com/big-data

111. DEMO!!!

112. Resumo
1. Introdução a Big Data
2. Transformando dado em informação
3. Analítico e Computação nas nuvens
4. Ecossistema Big Data

113. Obrigado!
ehorai@amazon.com
aws.amazon.com/elasticmapreduce
aws.amazon.com/datapipeline
aws.amazon.com/big-data

114. Obtenha 600 Horas Gratuitas
de Tempo de Supercomputação!
Passe no Stand da
Intel para obter as 600
horas de computação
www.powerof60.com

115. Segurança

116. Construída com altos padrões de segurança
Infraestrutura de Segurança AWS
SOC 1/SSAE 16/ISAE 3402,
ISO 27001, PCI DSS, HIPAA, ITAR,
FISMA Moderate, FIPS 140-2, FedRAMP
Suas
Apps

117. Infraestrutura Global
US West
(Northern
California)
US East
(Northern
Virginia)
EU
(Ireland)
Asia
Pacific
(Singapore)
Asia
Pacific
(Tokyo)
Regiões AWS
Pontos Edge AWS
GovCloud
(US ITAR
Region)
US West
(Oregon)
South
America
(Sao Paulo)
Asia
Pacific
(Australia)

118. Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem

120. Amazon VPC
Região AWS
Subrede pública
Subrede
privada
Data
Center
Matriz
Zona de Disponibilidade 1
Zona de disponibilidade 2
Subsidiárias
VPN GatewayGateway
Internet
Gateway
Amazon S3 Amazon SimpleDB Amazon SES Amazon SQS
“Nuvem Privada não precisa ser
dentro de casa” - Gartner
10G
Arquitetura Híbrida com a AWS
Link Dedicado

121. Aberta, flexível e suportada pelos principais fornecedores
Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas

122. Android iOS Java nodeJS .NET PHP Python Ruby
Rico conjunto de APIs e kits de dev para as principais linguagens e plataformas
E ferramentas e plugins integrados ao seu ambiente de desenvolvimento
Eclipse Visual Studio CLI Powershell
Suporte a muitas linguagens e
ferramentas

123. Aplicações Corporativas

125. Economia com SAP na Nuvem da AWS de até 69%
May 2012 “TCO Study for SAP on Amazon Web Services”

126. Economia com SAP na Nuvem da AWS de até 69%
May 2012 “TCO Study for SAP on Amazon Web Services”

127. Resumo do Dia:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI (e demos!)

128. Com AWS, cresça de um servidor

129. …para milhares
Totalmente automatizado!

130. Além de escalabilidade nos servidores você pode
Adicionar bilhões de objetos com o Amazon S3
Selecionar a performance desejada nos bancos de
dados
Processar e analisar petabytes de dados facilmente

134. PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO

137. ‘Cost Aware Architecture’
…ao utilizar:Reduza Custo de
Compute
1. S3/CloudFront para Otimização de conteúdo estático
2. Load Balancing e Auto-Scaling desde o início
Storage 4. Armazenar objetos derivados no S3 ‘Reduced
Redundancy’ e usar Glacier sempre que possível
Banco de Dados 5. Read Replicas e/ou ElastiCache para performance
e redução de custos dos bancos de dados
Dev & Test 6. Ambientes Dev/Test/CI criados/desligados sob demanda
3. Modelos de Preços On-Demand, Reservado e Spot
7. A/B Testing e Testes de Carga mais baratos

138. O que isso significa em termos de custos?
Um Exemplo
Mês
Instancias EC2 Medium 1 $ 121
CloudFront Data Transfer Out 1Tb $ 168
Requisições CloudFront $1.89
TOTAL $ 291
Mês
Instancias EC2 Medium 4 $ 485
AWS Data Transfer Out 1Tb $ 194
TOTAL $ 679
Arquitetura Usual Arquitetura Otimizada
Custo 57% menor - Até 6 x mais rápido

141. Volume de Storage no S3

142. Números de Horas de Servidores EC2

143. Fevereiro de 2013
48,7 milhões de usuários
Levantou $338M de capital
Valuation de $2.5B

144. Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage

145. Servidores de Aplicação Python
150 instancias EC2 High-CPU
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage

146. Web Services em Python
35 instancias EC2 High-CPU
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage

147. Caches Memcache e Redis
90 instancias EC2 High-Memory
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage

148. Servidores de Bancos de Dados MySQL
70 Pares Master/Slave
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage

149. Srorage no Amazon S3
8 Bilhões de Objetos • 410 Terabytes
Web Application
Servers
Sharded Database
Cache Servers
Internal
Web Services
File Storage

150. Serviços Auxiliares
60 Instancias EC2
Development
Logging
Operational Tools
Asynchronous
Task Workers
Search
Data Analysis
Elastic MapReduce Continuous Integration

151. • Maior parte do tráfego acontece à tarde e no início da noite, portanto reduzem o número
de servidores durante a madrugada em 40%.
• No pico gastam $52 por hora com EC2 e à noite, for a do pico, o gasto é de $15 por hora.
Economias de até 71%

152. Ambientes Dev / Test

153. Versão de Homologação

154. Versão Beta / MVP

155. Arquitetura de
Produção 1.0
1
2
3

156. Arquitetura de
Produção 2.0

157. Arquitetura de
Produção 3.0

158. Arquitetura de
Produção 4.0

159. "Startups are all about focus. AWS enables focus"
Ray Bradford, Kleiner Perkins, Caulfield & Byers

160. Sua aplicação
Seu negócio e seu diferencial competitivo
Inovação, não gestão de hardware / data centers / software
Investir tempo dos profissionais de TI no que importa
Automatizar o máximo que puder
(Insight profundo: Tempo do Profissional de TI = Muito Dinheiro!)
Automação = Foco!

161. …cresceu para 14 milhões de usuários em menos de um ano
…chegou a 150 milhões de fotos e terabytes de dados
…1 milhão de usuários em 12 horas após lançar versão Android
…mais de 100 milhões de usuários ativos em Janeiro de 2013
na Nuvem da AWS… com 3 engenheiros

162. Automação
Total
Controle
Total
Elastic
Beanstalk
CloudFormation
“Só quero minha
aplicação funcionando,
com acesso a servidores
só se necessário”
“Eu quero colocar no
controle de versões
toda a definição do meu
data center”
Construa Aplicações, Não Infraestrutura
AWS
OpsWorks
“Quero usar o Chef com
simplicidade e
orquestração de recipes”

163. EC2 EBS
RDS ELB
Upload de sua aplicação Beanstalk faz deploy Você ainda tem controle
Elastic Beanstalk

164. Não construa seu próprio…
1. Disparador de Emails
2. Fila de Mensagens
3. Notificações
4. Transcoding
5. Busca
6. Monitoração
7. Gestão de Workflow
…Use serviços prontos quando possível
…mas use como serviço
Amazon Simple Email Service
Amazon Simple Queuing Service
Amazon Simple Notification Service
Amazon Elastic Transcoder
Amazon CloudSearch
Amazon CloudWatch
Amazon Simple Work Flow

165. DEMOS!!!

166. White Papers

167. Gartner “MagicQuadrant for Cloud Infrastructurea Service,” Lydia Leong, Douglas Toombs, Bob Gill, Gregor Petri, Tiny Hayn, October 18, 2012. This Magic Quadrant graphicwas published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report.. The
Gartner report is availableupon request from Steven Armstrong (asteven@amazon.com). Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research
publications consist of the opinions of Gartner's research organizationand should not be construed as statements of fact. Gartnerdisclaims all warranties, expressed or implied, with respect to this research, including any warrantiesof merchantability or fitness for a particular purpose.
AWS é considerada a líder em Cloud IaaS segundo o Gartner

168. 4X Mais Confiável e até 1/4 do Custo de Infra Tradicional
http://media.amazonwebservices.com/idc_aws_business_value_report_2012.pdf

169. Storage custa menos na Nuvem que dentro de casa

170. Relembrando:
Benefícios da Nuvem da AWS
Casos de Uso da Nuvem AWS
Arquiteturas de Software para o
Século XXI

172. OBRIGADO!
awshub.com.br
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo