Contenu connexe Similaire à AWS Database Day - Português Similaire à AWS Database Day - Português (20) Plus de Amazon Web Services LATAM Plus de Amazon Web Services LATAM (20) AWS Database Day - Português1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Thiago Paulino
Brunno Orpinelli
AWS Database Services
Webinar
26 de Junho de 2018
2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Portifólio de Produtos
RDS
Aurora
Database
Migration
Service
Amazon
Neptune
Relational Databases
DynamoDB
ElastiCache
NoSQL & In-Memory
Amazon Redshift
EMR
Data Pipeline
Athena
Big Data
QuickSight
Elasticsearch
Amazon ML
Analytics
3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes de Database Service
4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Uso de serviços de banco de dados
• Amazon Aurora é o serviço que mais cresce na história da AWS
• Mais de 75.000 bancos de dados foram migrados usando o AWS
Database Migration Service
5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Bancos de Dados
Relacionais
RDS
Aurora
Database
Migration
Service
Amazon
Neptune
6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Suporte a vários bancos de dados: Aurora, MySQL,
MariaDB, PostgreSQL, Oracle, SQL Server.
• Provisionamento, correção, dimensionamento, backup /
restauração e failover automatizados.
• Use com armazenamento GP2 ou IOPS provisionado
• Alta disponibilidade com o RDS Multi-AZ
– 99.95% SLA para implantações Multi-AZ
Amazon RDS
Amazon Aurora
7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Key Insight: Bancos de dados relacionais são complexos
• Nossa experiência na Amazon.com nos ensinou que os bancos de
dados relacionais podem ser difíceis de gerenciar e operar com
alta disponibilidade
• Bancos de dados relacionais mal gerenciados são a
principal causa de perda de sono e tempo de
inatividade no mundo de TI!
8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Menor TCO pois gerenciamos o trabalho duro
• Obtenha mais de suas equipes
• Concentre-se nas coisas que o diferenciam, ou seja no seu negócio
• Alta disponibilidade integrada e replicação de regiões cruzadas em vários datacenters
• Disponível em todos os mecanismos, incluindo edições básicas/padrão, não apenas
para edições corporativas
• Agora, até mesmo uma pequena startup pode aproveitar vários data centers para
projetar aplicativos altamente disponíveis com mais de 99,95% de disponibilidade.
Mais barato, mais fácil e melhor
9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Tolerância a falhas de nível empresarial
solução para bancos
de dados de produção
Failover automático
Replicação Síncrona
Barato e contratado com um clique
Implantações Multi-AZ de alta disponibilidade
10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes do Amazon RDS
11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Airbnb moveu seu banco de dados MySQL principal para
o Amazon RDS com apenas 15 minutos de inatividade
• O RDS simplifica muito das tarefas administrativas
demoradas associadas aos bancos de dados, para que os
engenheiros foquem mais tempo no que realmente
importa para seu negócio
• Usa as réplicas de leitura, sincronizadas de maneira
assíncrona para melhorar o desempenho do site. Iniciado
por meio do console do RDS ou de uma chamada de API
• Aproveita a zona multi-disponibilidade (Multi-AZ) para
alta disponibilidade
Airbnb – Amazon RDS for MySQL
12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Reinvantando o banco de dados relacional
13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Perguntas chaves
• E se começássemos de uma folha de papel limpa com apenas restrição, sendo que o
banco de dados era um banco de dados relacional?
• Poderíamos oferecer um desempenho muito melhor aproveitando a enorme escala da
nossa nuvem?
• Poderíamos dar a vocês um banco de dados com durabilidade projetada indistinguível
de 100% e disponibilidade de 99,99%?
• … E poderíamos ser melhores e mais baratos do que os bancos de dados comerciais de
30 anos, atualmente em uso?
14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Sim, podemos. Resposta = Amazon Aurora
• Um mecanismo de banco de dados relacional, construído desde o início
para aproveitar a AWS
• Para todos os novos aplicativos que exigem SQL, recomendamos o uso do
Amazon Aurora
• Desempenho comercial e disponibilidade a preços de OpenSource (Código
aberto)
• Mantém a compatibilidade com o MySQL 5.6, 5.7 e PostgreSQL 9.6
16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon RDS para Aurora
• MySQL e PostgreSQL compatível com desempenho até 5x melhor no
mesmo hardware: 100.000 gravações/seg. E 500.000 leituras/seg
• Amazenamento escalável com até 64 TB em banco de dados único,
até 15 réplicas de leitura
• Camada de armazenamento SSD personalizada, altamente
disponível, durável e tolerante a falhas: 6 vias replicadas em 3 zonas
de disponibilidade
• Criptografia transparente para dados em repouso usando o AWS
KMS
• Procedimentos armazenados no Amazon Aurora podem invocar
funções do AWS Lambda
17. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Serviço de crescimento mais
rápido na história da AWS
Clientes do Amazon Aurora
18. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Caso de uso: análises e relatórios próximo do tempo
real
Master
Read
Replica
Read
Replica
Read
Replica
Shared distributed storage volume
Reader end-pointUm cliente do setor de viagens migrou para a Aurora
para seu principal aplicativo de relatórios, acessado por
aproximadamente 1.000 usuários internos.
• As réplicas podem ser criadas, excluídas e dimensionadas em
minutos, baseado em sua demanda.
• As consultas somente leitura têm o balanceamento de carga
em toda a frota de réplicas por meio de um endpoint DNS -
nenhuma configuração de aplicativo é necessária quando as
réplicas são adicionadas ou removidas.
• O atraso de replicação baixa permite a extração de dados
novos sem atrasos, imediatamente após o carregamento dos
dados.
• Ganhos de desempenho significativos para as principais
consultas de análise - algumas das consultas sendo
executadas em 1/100 da hora original.
► Até 15 réplicas de leitura
► Baixo tempo de replicação - normalmente
<10ms
► Ponto final do leitor com balanceamento
de carga
19. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Aurora é PostgreSQL compatível
• Compatibilidade do PostgreSQL 9.6 com suporte para PostGIS
• Todos os recursos que você espera do Amazon Aurora, incluindo 15
réplicas de leitura com menos de 10 ms, armazenamento compartilhado,
failover sem perda de dados, replicação de 6 vias em 3 zonas de
disponibilidade, criptografia com AWS KMS
20. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Simplifique o monitoramento no
Console de gerenciamento da
AWS
Carga do banco de dados:
identifica os gargalos do banco
de dados.
Fácil
Poderoso
Identifica as fontes de gargalos
Top SQL (SQL mais executados)
Período de análise Ajustável
Hora, dia, semana e mais.
Max CPU
Insights de desempenho para o Amazon RDS
21. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Neptune
• O Amazon Neptune oferece suporte aos
modelos de Grafos comuns Property Graph
e RDF do W3C e suas respectivas linguagens
de consulta TinkerPop Gremlin e SPARQL.
• Altamente disponível, com réplicas de
leitura, recuperação point-in-time, backup
contínuo para o Amazon S3 e replicação em
3 zonas de disponibilidade.
• Totalmente gerenciado. Não precisa se
preocupar com tarefas de gerenciamento de
banco de dados: provisionamento de
hardware, correção de software, instalação,
configuração ou backups.
22. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Neptune
Banco de dados grafo rápido, confiável e totalmente gerenciado
Amazon Neptune é um mecanismo de banco de dados grafo com projeto específico e
alta performance, otimizado para armazenar bilhões de relacionamentos e consultar os
grafos com latência de milissegundos
Facilita a criação e a execução de aplicativos que trabalham com conjuntos de dados
altamente conectados.
Neptune é seguro, com suporte à criptografia em repouso e em trânsito
O Neptune atende a casos de uso de grafo como: mecanismos de recomendação,
detecção de fraudes, gráficos de conhecimento, descobertas de medicamentos e
segurança de rede.
23. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Benefícios
• Oferece Suporte a APIs de Gráficos Aberta
• Altos níveis de performance e escalabilidade
• Alta disponibilidade e resiliência
• Altamente Seguro
• Totalmente gerenciado
24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Quando usar bancos de dados gráficos
• Estruturas de Grafo como nós (entidades de dados), bordas
(relacionamentos) e propriedades para representar e armazenar dados.
• A performance interativa do Neptune em grande escala possibilita um
amplo conjunto de casos de uso de gráficos.
Bancos de dados grafo, como o Amazon Neptune, foram criados para
armazenar relacionamentos e navegar por eles.
Esses bancos de dados são vantajosos em relação aos bancos de dados
relacionais em casos de uso como redes sociais, mecanismos de
recomendação e detecção de fraudes, onde é necessário criar
relacionamentos entre os dados e consultar rapidamente esses
relacionamentos
25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Caso de Uso: Redes Sociais
O Amazon Neptune pode processar com rapidez e
facilidade grandes conjuntos de perfis de usuários
e interações para criar aplicativos de redes sociais.
• Consultas grafo altamente interativas com alto throughput
para levar recursos sociais aos aplicativos.
Por exemplo, se você estiver criando um feed
social em um aplicativo, poderá usar o Neptune
para fornecer resultados que priorizam exibir para
os usuários as atualizações mais recentes de sua
família, dos amigos cujas atualizações os usuários
curtem e dos amigos que moram perto dos
usuários.
26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes do Amazon Neptune
27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
AWS Database Migration Service
• Serviço totalmente gerenciado para migração do local para o
AWS Cloud com tempo de inatividade mínimo
• Migra dados para/e de todos os bancos de dados comerciais e
de código aberto amplamente usados
• Ferramenta de conversão de esquema (AWS SCT Tool) que
converte esquemas de banco de dados de origem, em um
formato de destino diferente, exemplo: Banco de dados
licenciados para banco de dados open-source.
• Suporta replicação de dados homogêneos e heterogêneos
• Um banco de dados do tamanho de Terabytes pode ser
migrado por apenas US $ 3
28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Recursos de Conversão de Banco de Dados na
ferramenta SCT(Schema Conversion Tool)
Fonte da Base de Dados Banco de Dados de Destino
Microsoft SQL Server Amazon Aurora, MySQL, PostgreSQL
MySQL PostgreSQL
Oracle Amazon Aurora, MySQL, PostgreSQL
Oracle Data Warehouse Amazon Redshift
PostgreSQL Amazon Aurora, MySQL
Teradata, Netezza, Greenplum Amazon Redshift
29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes do AWS Database Migration Service
30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Migração Heterogênea
• Oracle Database em, um data-center privado, migrado para o
Amazon RDS, PostgreSQL.
• Usou o AWS Schema Conversion Tool para converter o
esquema de banco de dados
• Foi usada replicação contínua (CDC) para manter os bancos de
dados em sincronia até atingirem a janela de transição
• Benefícios:
• Maior confiabilidade do ambiente de nuvem
• Economia nos custos de licenciamento da Oracle
• O Relatório de Avaliação SCT permite entender o escopo da
migração, quais são os ajustes necessário para a aplicação.
31. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
NoSQL & In Memory DynamoDB
ElastiCache
32. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Rápido, Flexivel, NoSQL EscalávelAmazon
DynamoDB
33. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
History of NoSQL at Amazon
História do NoSQL na Amazon: https://bit.ly/2N8X8P7
34. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Perguntas Chaves
• Aurora foi projetado com uma única restrição:
o Compatibilidade com SQL e semântica de banco de dados
relacional
• E se dissermos não a essa restrição?
o Não para SQL = NoSQL
• Poderíamos eliminar as coisas de que não gostamos nos bancos de
dados relacionais?
35. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
36. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Sim... Resposta = Amazon DynamoDB
• Banco de dados que pode ser dimensionado além de uma única caixa sem nenhuma alteração no seu
aplicativo.
• Você pode começar pequeno, mas saiba que não há limite para o sucesso de seu aplicativo.
• Se seu aplicativo estiver funcionando rapidamente com 10 usuários, ele sempre será executado
rapidamente, mesmo quando você tiver usuários de 1, 10 ou 100 milhões usando seu aplicativo.
• Não é necessário gastar tempo ajustando consultas e diagnosticando por que seu aplicativo está sendo
executado lentamente.
• Forneça disponibilidade e durabilidade indistinguíveis de 100%.
• 99.99% and 60 second failover are not good enough.
• Você não precisa gerenciar nada. Você nem precisa saber o que é uma instância de banco de dados.
• Nenhum Schema. Tudo o que você precisa nos informar é o número de leituras/s e gravações/s que você
deseja executar. Nós fazemos o resto.
37. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes do Amazon DynamoDB
38. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Lyft aumenta facilmente seu sistema de rastreamento de
localização Ride usando o DynamoDB
Era tão simples de escalar.
Nós tínhamos dois botões.
Um era para leituras e um
era para gravações.
Chris Lambert
CTO, Lyft
”
“ • Lyft serve até 8x mais passeios nos
horários de pico
• A localização do GPS para todos os
passeios foi rastreada no sistema de
localização do percurso.
• Em junho de 2014, a Lyft implantou o
DynamoDB em produção.
• O Lyft já transferiu muitos de seus
outros armazenamentos de dados para
o DynamoDB também.
39. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Cache em memória
Memcached ou Redis
Totalmente gerenciado; zero
administração
Amazon
ElastiCache
40. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Principais recursos do ElastiCache
• Totalmente gerenciado
• Descoberta automática do nó de
cache
• Posicionamento do nó Multi-AZ
• Totalmente gerenciado
• Persistência
• Leitor de Réplicas
• Multi-AZ com "failover
automático“
• Redis cluster
41. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Gaming AdTec
h
Media Mobile Other
Clientes do Amazon ElastiCache
42. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
RDS e ElastiCache estão por trás do aplicativo Taxi-Booking do
Grab
A latência de uma chamada de cabine deve
ser baixa e permanecer baixa, mesmo em
tempos de pico de tráfego, de centenas de
milhares de solicitações de táxi por minuto.
Usamos o ElastiCache for Redis na frente
do RDS MySQL para manter o
desempenho em tempo real de nossos
sistemas em qualquer escala.
Ryan Ooi
Sr. Devops Engineer,
Grab
“ • Grab é um popular aplicativo de chamada de táxi no sudeste da
Ásia.
• O tempo médio de resposta da camada da API é <40 ms,
obrigando uma camada na memória a atingir esse desempenho.
• Uma pequena equipe de devops que tentou rodar o Redis no EC2
antes, mas isso era muito trabalho. O uso do RDS e do
ElastiCache no Multi-AZ permitiu que eles terceirizassem todo o
gerenciamento para a AWS.
43. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Big Data
Amazon
Redshift
Amazon EMR
Amazon
Athena
Data Pipeline
44. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Redshift
• Petabyte-scale, relacional, MPP, data
warehousing
• Totalmente gerenciado com plataformas SSD e
HDD
• Segurança end-to-end integrada, incluindo
chaves gerenciadas pelo cliente
• $1,000/TB/ano; começa em $0.25/hour
45. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Porque criamos o Amazon Redshift
• Os clientes estavam gerando dados na nuvem, mas movendo-os no local
para analisá-los usando um data warehouse
• Os clientes migraram tudo para a AWS, exceto seus armazéns de dados
no local.
• Eles queriam fechar esses centros de dados, mas não puderam, até que
lhes oferecemos uma solução na nuvem.
46. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
Available for analysis
Generated data
1990 2000 2010 2020
Key Insight: A maioria dos dados cai no chão
90% dos dados de uma empresa
nunca são analisados
Altos custos e complexidade dos
sistemas tradicionais de DW
dificultam a justificativa da
despesa de capital
47. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Nos perguntamos…
• Podemos projetar um sistema barato e dimensionável o suficiente para
permitir que você analise todos os seus dados?
• Poderíamos criar um serviço que fosse mais rápido, mais barato e mais
fácil de usar que os sistemas tradicionais de DW?
48. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
49. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Sim! Podemos. Resposta = Amazon Redshift
• Um sistema MPP (massively parallel processing) com até 128 nós de computação para
armazenar e processar até 2 PB de dados compactados
• Por $ 1.000 / TB / ano, é tão barato que você pode analisar todos os seus dados
• Você pode provisionar um petabyte em menos de três minutos e pagá-lo por hora
• 10x desempenho e 1/10 o preço de outras soluções
• Totalmente gerenciado com provisionamento automatizado, correção, segurança,
backup, restauração e tolerância a falhas integrada
50. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes do Amazon Redshift
51. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
NTT Docomo: Maior operadora de celular
do Japão
• 68 milhões de clientes
• 10s de TBs por dia de dados em
toda a rede móvel
• 6PB do total de dados
(descompactado)
• Ciência de dados para operações
de marketing, logística etc.
• Greenplum on-premises
• Cluster DS2.8XL de 125 nós
• 4,500 vCPUs, 30TB RAM
• 6 PB dados não
compactados
• consultas analíticas 10x
mais rápidas
• Redução de 50% no tempo
de implantação de novos
aplicativos de BI
• Significante menos ops.
overhead
52. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon EMR
• Hadoop, Hive, Presto, Spark, Tez, Impala etc.
• Release 5.2: Hadoop 2.7.3, Hive 2.1, Spark 2.02, Zeppelin, Presto, HBase 1.2.3
and HBase on S3, Phoenix, Tez, Flink
• Novos aplicativos adicionados em até 30 dias após o lançamento do código
aberto
• Totalmente gerenciado, escalonamento automático de clusters com
suporte para preços sob demanda e spot
• Suporte para sistemas de arquivos HDFS e S3, permitindo computação
e armazenamento separados; vários clusters podem ser executados nos
mesmos dados no S3
• HIPAA-elegível. Suporte para criptografia de ponta a ponta, IAM / VPC,
criptografia do lado do cliente S3 com chaves gerenciadas pelo cliente
e AWS KMS
53. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Porque construimos o Amazon EMR
• Os clientes queriam usar as estruturas analíticas de código aberto mais
recentes para analisar e transformar seus dados
• Os clientes queriam usar tecnologias como Spark e Presto em conjunto
com serviços da AWS, como o Amazon S3, e recursos como instâncias
spot do EC2
• Os clientes queriam se beneficiar da elasticidade que a AWS oferece
54. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes Amazon EMR
55. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon Athena
• Serviço de consulta sem servidor para consultar dados no S3 sem
infraestrutura para gerenciar.
• Nenhum carregamento de dados é necessário; consulta diretamente
do Amazon S3.
• Use consultas ANSI SQL padrão com suporte para junções, JSON e
funções de janela.
• Suporte para vários formatos de dados incluem texto, CSV, TSV,
JSON, Avro, ORC, Parquet.
• Pague por consulta apenas quando você estiver executando
consultas. US $ 5 / TB digitalizado; se você compactar seus dados,
suas consultas custam menos.
56. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Porque construimos Amazon Athena
• Os clientes queriam uma maneira fácil de executar consultas ad-hoc em
dados no Amazon S3 sem infraestrutura para gerenciar
• Os clientes queriam um serviço que pudesse complementar o uso do
Amazon Redshift e do Amazon EMR
• Os clientes queriam dar essa capacidade a qualquer pessoa da empresa e
pagar apenas por consulta
57. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Clientes do Amazon Athena
58. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Analytics
QuickSight
Amazon ES
Amazon ML
59. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Como um serviço de nuvem nativo, o
QuickSight combina a velocidade, a
escalabilidade e a facilidade de
implantação das quais nossos clientes
passaram a depender do valor e da
economia que você espera da AWS.
Amazon QuickSight
Rápido, fácil de usar o serviço de análise de negócios a 1/10 do custo das
soluções tradicionais de BI.
60. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon QuickSight
• Detecta automaticamente fontes de dados da AWS, como o Amazon
Redshift, RDS e S3
• Conecte-se a fontes de terceiros, como Excel, Salesforce e outros bancos
de dados hospedados / no local
• Desempenho super rápido com SPICE
• Visualizações instantâneas com autógrafo
• Compartilhe e colabore com segurança em análises, painéis e histórias
• Experiência nativa do iPhone e acesso baseado na web de todos os outros
dispositivos
• Conjuntos de dados controlados
• Controles de acesso do usuário
• Integração do Active Directory
61. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
QuickSight fornecendo insights em tempo real no MLB Advanced
Media
O QuickSight fornece uma
visão em tempo real e em 360
graus dos nossos negócios,
sem ser restringido por painéis
e métricas pré-desenvolvidos,
expandindo nosso uso de
dados para tomar decisões
informadas.
Brandon Sangiovanni
Sr. BI Development Manager
”
“
62. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
• Mecanismo distribuído de pesquisa e análise
• Serviço gerenciado usando Elasticsearch e
Kibana
• Totalmente gerenciado; admin zero
• Altamente disponível e confiável
• Totalmente integrado com outros serviços da
AWS
Amazon
Elasticsearch
Service
63. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Principais Casos de Uso do Amazon Elasticsearch Service
Log Analytics &
Operational Monitoring
• Monitore o desempenho de seu
aplicativo, servidores da Web e
hardware
• Ferramentas de visualização de
dados fáceis de usar, mas
eficientes, para detectar
problemas quase em tempo
real
• Capacidade de escavar seus
registros de maneira intuitiva e
refinada
• Kibana provides fast, easy
visualization
Traditional Search
• Aplicativo ou site fornece recursos de
pesquisa em diversos documentos
• Encarregado de fazer essa base de
conhecimento pesquisável e acessível
• Principais recursos de pesquisa,
incluindo correspondência de texto,
lapidação, filtragem, pesquisa difusa,
preenchimento automático e realce
• API de consulta para dar suporte à
pesquisa de aplicativos
64. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Media and
Entertainme
nt
Online
Service
s
Technolog
y
Other
Clientes Amazon Elasticsearch
65. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Estudo de Caso: Adobe Developer Platform (Adobe I/O)
Mais de 200.000 chamadas de API por segundo de pico
• destinos, tempos de resposta, largura de banda
Os dados de registro são roteados com o Amazon Kinesis para o Amazon Elasticsearch
Service e, em seguida, exibidos usando o AES Kibana
A equipe da Adobe pode ver facilmente padrões de tráfego e taxas de erro,
identificando rapidamente anomalias e possíveis desafios
Amazon
Kinesis
Streams
Spark Streaming
Amazon
Elasticsearch Service
Data Sources
1
66. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Muito obrigado!
Avalie nosso webinar para que possamos melhorar
cada vez mais.