Iniciando com serviços de bancos de dados gerenciados na AWS

2. O que esperar desta sessão • Aprender sobre nossa estratégia e ter uma visão geral de nossos principais serviços • Ter uma idéia de nossa escala e nossos clientes principais por serviço • Entender quando utilizar qual serviço para suas aplicações

3. Estratégia • Começar do cliente e trabalhar de trás para frente • Oferecer serviços gerenciados • Promover a arquitetura de nuvem • Suportar migração de aplicações e seus dados de/para on- premises • Inúmeros serviços, cada qual otimizado para um caso de uso diferente

4. Portfólio de Produtos Compreensivo Traditional Apps Relational Databases NoSQL & In-MemoryBig Data RDS Aurora Database Migration Service Banco de Dados Relacional DynamoDB ElastiCache NoSQL & In-Memory Amazon Redshift EMR Data Pipeline Athena Big Data QuickSight Elasticsearch Amazon ML Analytics

5. Uso dos serviços de bancos de dados • Amazon Aurora é o serviço de mais rápido crescimento na história da AWS • Mais de 28,000 bancos de dados foram migrados usando o AWS Database Migration Service • DynamoDB serviu mais de 56 bilhões de requisições em todo o mundo no Prime Day em comparação com o mesmo dia da semana anterior.

6. Clientes de Serviços de Banco de Dados

7. Banco de Dados Relacional Amazon RDS Amazon Aurora Database Migration Service

8. • Suporte a múltiplos motores de banco de dados: Aurora, MySQL, MariaDB, PostgreSQL, Oracle e SQL Server • Aprovisionamento automático, patching, escalonamento, backup/restore, failover • Utilize com armazenamento do tipo GP2 ou IOPS provisionados • Alta disponibilidade com RDS Multi-AZ – 99.95% SLA para deploys Multi-AZ Amazon RDS Amazon Aurora

9. Ponto-chave: Banco de Dados Relacionais são complexos • Nossa experiência cuidando da Amazon.com nos ensinou que bancos de dados relacionais podem ser difíceis de gerenciar e operar com alta disponibilidade • Banco de dados relacionais mal gerenciados são a causa principal de perda de sono e downtime no mundo de TI!

10. • Menor TCO porque lidamos com toda a parte dificil • Tenha mais tração de suas equipes • Foco no que te diferencia no mercado • Alta disponibilidade e Replicação entre regiões em múltiplos centros de dados integrados • Disponiveis em todos os motores, incluido versões base/standard e não somente nas versões enterprise • Mesmo uma startup pode utilizar vários centros de dados para desenhar aplicações altamente disponíveis com mais de 99.95% de disponibilidade. Nós fazemos as coisas Econômicas, Fáceis e Melhores

11. Soluções Enterprise-grade com Tolerancia a falhas para Banco de dados de Produção Failover automático Replicação síncrona Econômica e ativada com um clique High Availability Multi-AZ Deployments

12. Clientes do Amazon RDS

13. Pedido via App Mobile ou Site Restaurante recebe o pedido Confirma o pedido e inicia o preparo Operadores Backoffice Cliente busca por restaurante Logística e Rastreamento iFood/Movile– Amazon RDS para MySQL

14. iFood/Movile– Amazon RDS para MySQL O iFood em números: +20k restaurantes +500 funcionários (and we're hiring!) +150 cidades +2 milhões de usuários +200k pedidos num único dia +4 milhões de pedidos por mês 2011 4M 20162013 2014 2015 20k 100k 450k 1M 3M

15. iFood/Movile– Amazon RDS para MySQL ● Ambiente100% naAW S ● Primariamenteem SãoPaulo ● RDS em multi-AZeusandoread-replica ● Serviços todos multi-AZ(mínimode2instâncias EC2porserviço) ● Nú meros gerais: ● +25 bancos dedados noRDS ● +50micro-serviços ● +60grupos deAutoScaling ● +200instâncias EC2nos horários depico ● Outros serviços:RedShift,CloudSearch,DynamoDB,Kinesis,SQS, SNS,SES,S3,CloudFront,Route53,Lambda

16. Reinventando o Banco de Dados Relacional

17. Principais Questões que nos Perguntamos • E se nós começarmos a partir de uma folha de papel limpa com apenas uma restrição de que o banco de dados era um banco de dados relacional? • Poderíamos oferecer um desempenho muito melhor alavancando a enorme escala da nossa nuvem? • Podemos dar-lhe um banco de dados com durabilidade projetada indistinguível de 100% e disponibilidade de 99.99%? • …E podemos ser melhores e mais baratos do que os bancos de dados comerciais de 30 anos em uso hoje?

18. Yes, We Can. Resposta = Amazon Aurora • Um novo motor de banco de dados relacional, construído desde o início para alavancar AWS Para todos as novas aplicações que utilizem SQL, nós recomendamos Amazon Aurora • Desempenho e disponibilidade de qualidade comercial a preços de Open Source • Compatível com MySQL 5.6 e Postgres 9.6 (preview)

19. Amazon RDS para Aurora • Compatível com MySQL e até 5 vezes melhor desempenho no mesmo hardware: 100,000 gravações / seg e 500,000 leituras / seg • Escalável com até 64 TB em banco de dados único, até 15 réplicas de leitura • Altamente disponível, durável e tolerante a falhas, camada de armazenamento SSD personalizada: 6 cópias replicadas em 3 zonas de disponibilidade • Criptografia transparente para dados em repouso usando AWS KMS • Stored Procedures no Amazon Aurora podem invocar funções AWS Lambda

20. Fastest growing service in AWS history Clientes Amazon Aurora

21. Use case: Near real-time analytics and reporting Master Read Replica Read Replica Read Replica Shared distributed storage volume Reader end-point Um cliente na indústria de viagens migrou para a Aurora para sua principal aplicação de relatórios acessada por cerca de 1.000 usuários internos.  As réplicas podem ser criadas, excluídas e dimensionadas em poucos minutos com base na carga.  As consultas somente de leitura são balanceadas de carga entre a frota de réplicas através de um endpoint DNS - nenhuma configuração de aplicativo necessária quando as réplicas são adicionadas ou removidas.  O baixo atraso na replicação permite a extração de dados novos sem atrasos, imediatamente após a carga dos dados  Aumentos de desempenho significativos para consultas de análise básica - algumas das consultas que executam em 1/100 o tempo original. ► Até 15 réplicas de leitura ► Baixo atraso de réplica – tipicamente < 10ms ► End-point de leitura com load balancing

22. Amazon Aurora agora é compatível com PostgreSQL • Compatibilidade com PostgreSQL 9.6 e suporte para PostGIS • Todos os recursos que você espera do Amazon Aurora, incluindo 15 réplicas de leitura com <10ms de atraso, armazenamento compartilhado, failover sem perda de dados, replicação de 6 cópias em 3 zonas de disponibilidade, criptografia com AWS KMS • Available now in preview

23. Simplifique o monitoramento a partir do AWS Management Console l Database load: identifique gargalos de banco de dados l Fácil l Poderoso l Identifique origem dos gargalos l Top SQL l Janela de tempo ajustável l Hora, dia, semana e mais. Max CPU Performance Insights para Amazon RDS

24. AWS Database Migration Service • Serviço totalmente gerenciado para migração de on-premise para o AWS Cloud com tempo de inatividade mínimo • Migra dados de e para todos os DB’s comerciais e de código aberto amplamente utilizados • Ferramenta de conversão de esquema que converte os esquemas do DB de origem, as stored procedures e o código fonte do aplicativo para um formato de destino diferente • Suporta replicação de dados homogênea e heterogênea • Um DB de tamanho de terabyte pode ser migrado por apenas US $ 3

25. Capacidades de conversão de banco de dados no SCT Origem Destino Microsoft SQL Server  Amazon Aurora, MySQL, PostgreSQL MySQL  Amazon Aurora, PostgreSQL Oracle  Amazon Aurora, MySQL, PostgreSQL Oracle Data Warehouse  Amazon Redshift PostgreSQL  Amazon Aurora, MySQL Teradata, Netezza, Greenplum e Vertica  Amazon Redshift

26. Clientes do AWS Database Migration Service

27. Migração heterogênea • Oracle on-premise para RDS PostgreSQL • Usou a ferramenta de conversão do esquema AWS para converter seu esquema de banco de dados • Utilizou a replicação contínua (CDC) para manter os bancos de dados em sincronia até chegarem à janela de migração • Benefícios: • Melhoria da confiabilidade do ambiente da nuvem • Redução nos custos de licenciamento da Oracle • O Relatório de Avaliação do SCT permite que eles entendam o escopo da migração

28. NoSQL & In Memory DynamoDB ElastiCache

29. NoSQL Rápido, Flexível e Escalável Amazon DynamoDB

30. História do NoSQL na Amazon

31. Perguntas chaves que fizemos • Aurora foi projetado com uma única restrição • Compatibilidade SQL e semântica de banco de dados relacional • E se dissermos não a essa restrição? • Não para SQL = NoSQL • Podemos eliminar as coisas que não gostamos de bancos de dados relacionais?

32. Yes, We Can. Resposta = Amazon DynamoDB • Banco de dados que pode escalar além de uma única caixa sem alterações no seu aplicativo • Você pode começar pequeno, mas sabe que não há limite para o sucesso que seu aplicativo pode ser • Se o seu aplicativo estiver funcionando rapidamente hoje com 10 usuários, ele sempre será executado rapidamente, mesmo quando você tiver usuários de 1M, 10M ou 100M usando seu aplicativo • Não há necessidade de passar tempo ajustando consultas e diagnosticando por que seu aplicativo está funcionando devagar • Entregar disponibilidade e durabilidade indistinguíveis de 100%. • O failover de 99,99% e 60 segundos não são suficientemente bons • Você não precisa administrar nada. Você nem precisa saber o que é uma instância de banco de dados • Nenhum esquema. Tudo o que você precisa nos dizer é o número de leituras/seg e escritas/seg que deseja executar. Nós fazemos o resto

33. Clientes do Amazon DynamoDB

34. Lyft escala o seu sistema de rastreamento de local de passeio usando o DynamoDB ”Era tão simples de dimensionar. Nós possuímos dois botões. Um era para leitura e um era para escrita Chris Lambert CTO, Lyft ” “ • Lyft serve até 8x mais passeios durante as horas de pico • A localização do GPS para todos os passeios foi rastreada no sistema de rastreamento da localização do passeio. • Em junho de 2014, a Lyft implantou o DynamoDB em produção. • A Lyft desde então transferiu muitas de suas outras base de dados para o DynamoDB também.

35. In-memory cache Memcached ou Redis Totalmente administrado Amazon ElastiCache

36. Características chave do ElastiCache • Totalmente gerenciado • Descoberta automática do nós de cache • Deploy de nós Multi-AZ • Totalmente gerenciado • Persistente • Read replicas • Multi-AZ com auto-failover • Redis cluster

37. Jogos AdTech Media Mobile Outros Clientes do Amazon ElastiCache

38. RDS e ElastiCache estão por detrás do app Grab’s para corridas de Táxi A latência de uma chamada de táxi deve ser baixa e permanecer baixa mesmo em tempos de pico de tráfego de centenas de milhares de solicitações de taxi por minuto. Usamos o ElastiCache para Redis na frente do RDS MySQL para manter o desempenho em tempo real de nossos sistemas em qualquer escala. Ryan Ooi Sr. Devops Engineer, Grab ” “ • Grab é um popular aplicativo de táxi no sudeste da Ásia. • O tempo de resposta médio da camada da API é <40ms, exigindo uma camada na memória para alcançar esse desempenho. • Uma pequena equipe de devops que tentou executar o Redis no EC2 antes, mas isso dava muito trabalho. Usando RDS e ElastiCache em Multi-AZ permitiram que eles terceirizassem todo o gerenciamento para a AWS.

39. Big Data Amazon Redshift Amazon EMR Amazon Athena Data Pipeline

40. Amazon Redshift • Escala dos Petabytes, relacional, MPP, data warehousing • Totalmente gerenciado com plataformas SSD e HDD • Segurança integrada de ponta a ponta, incluindo chaves gerenciadas pelo cliente • US$ 1.000 / TB / ano; Comece em US $ 0,25 / hora

41. Por que construímos o Amazon Redshift • Os clientes estavam gerando dados na nuvem, mas movendo-os on-premise para análises ou data warehousing • Os clientes haviam migrado tudo para a AWS, exceto em seus data warehouses. Eles queriam desligar esses centros de dados, mas não podiam até oferecermos uma solução na nuvem

42. Perguntas chave que fizemos • Poderíamos criar um sistema barato e escalável o suficiente para permitir que você analise todos os seus dados? • Poderíamos construir um serviço que fosse mais rápido, mais barato e mais fácil de usar do que os sistemas DW tradicionais?

43. Yes, We Can. Resposta = Amazon Redshift • Um sistema de processamento massivamente paralelo (MPP) com até 128 nós de computação para armazenar e processar até 2PB de dados compactados • Com US $ 1.000 / TB / ano, é tão barato que você pode analisar todos os seus dados • Você pode fornecer um petabyte em menos de três minutos e pagá-lo por hora • 10x desempenho e 1/10 do preço de outras soluções • Totalmente gerenciado com provisionamento automatizado, correção, proteção, backup, restauração e tolerância a falhas embutida

44. Clientes do Amazon Redshift

45. NTT Docomo: Maior provedor de telefonia celular do Japão • 68 milhões de clientes • 10s TBs de datos por dia em sua rede móvil • 6PB de dados no total • Data science para marketing, logística, etc. • Greenplum on-premises • 125 node DS2.8XL cluster • 4,500 vCPUs, 30TB RAM • 6 PB de dados não comprimidos • Queries analíticas 10x mais rápidas • Redução de 50% de tempo para deploy de novo app de BI • Menos trabalho de ops, significativamente

46. Amazon EMR • Hadoop, Hive, Presto, Spark, Tez, Impala etc. • Release 5.6.0: Hadoop 2.7.3, Hive 2.1.1, Spark 2.1.1, Zeppelin, Presto, HBase 1.3.1 and Hbase on S3, Phoenix, Tez, Flink 1.2.1, Mahout 0.13 • Novas applicações adicionadas dentro de 30 dias depois de seu release open source • Totalmente gerenciados, clusters automaticamente escaláveis com suporte para preços On-Demand e Spot • Suporte para sistemas de arquivos HDFS e S3 que permitem o processamento e o armazenamento separados; Vários clusters podem ser executados contra os mesmos dados em S3 • HIPAA-elegible. Suporte para criptografia de ponta a ponta, criptografia do lado do cliente IAM / VPC, S3 com chaves gerenciadas pelo cliente e AWS KMS

47. Por que construímos Amazon EMR • Os clientes queriam usar os mais recentes frameworks analíticos de código aberto para analisar e transformar seus dados • Os clientes queriam usar tecnologias como Spark e Presto em conjunto com serviços da AWS como Amazon S3 e recursos como EC2 Spot Instances • Os clientes queriam beneficiar da elasticidade que a AWS oferece

48. Clientes do Amazon EMR

49. Amazon Athena • Serviço de consulta sem servidor (serverless) para consultar dados no S3 sem infraestrutura para gerenciar. • Não é necessário carregar dados; Consulta diretamente da Amazon S3 • Use consultas SQL ANSI padrão com suporte de joins, JSON e window functions • Suporte para vários formatos de dados como texto, CSV, TSV, JSON, Avro, ORC, Parquet • Pague por consulta apenas quando você está executando consultas; $5/TB lido; Se você comprimir seus dados, suas consultas custam menos

50. Por que construímos Amazon Athena • Os clientes queriam uma maneira fácil de executar consultas ad hoc sobre dados no Amazon S3 sem infraestrutura para gerenciar • Os clientes queriam um serviço que pudesse complementar seu uso de Amazon Redshift e Amazon EMR • Os clientes queriam dar essa capacidade a qualquer pessoa em sua empresa e apenas pagar por consulta

51. Clientes do Amazon Athena

52. Analytics QuickSight Amazon ES Amazon ML

53. Como um serviço da nuvem nativa, o QuickSight combina a velocidade, a escalabilidade e a facilidade de implantação com as quais nossos clientes dependem com o valor e custo efetivo que você espera da AWS. Amazon QuickSight Serviço de análise de negócios rápido e fácil de usar com custo de 1/10 das soluções de BI tradicionais.

54. Amazon QuickSight • Auto-Discover fontes de dados AWS como Amazon Redshift, RDS e S3 • Conecte-se a fontes de terceiros como Excel, Salesforce e outros bancos de dados hospedados / on-premise • Desempenho super rápido com SPICE • Visualizações instantâneas com Autograph • Compartilhe e colabore com segurança todas as análises, painéis e histórias • Experiência nativa do iPhone e acesso baseado na Web de todos os outros dispositivos • Conjuntos de dados governados • Controles de acesso do usuário • Integração com Active Directory

55. QuickSight fornece informações em tempo real no MLB Advanced Media O QuickSight nos fornece uma visão em tempo real de 360 graus do nosso negócio sem ser limitada por painéis e métricas pré-construídos, expandindo nosso uso de dados para tomar decisões informadas. Brandon Sangiovanni Sr. BI Development Manager ” “

56. Mecanismo de pesquisa e análise distribuída Serviço gerenciado usando Elasticsearch e Kibana Totalmente gerenciado; zero admin Altamente disponível e confiável Completamente integrado com outros serviços da AWS Amazon Elasticsearch Service

57. Principais Casos de Uso do Amazon Elasticsearch Service Análise de logs e monitoramento operacional • Monitorar o desempenho de sua aplicação, servidores web e hardware • Fácil de usar, com poderosas ferramentas de visualização de dados para detectar problemas em tempo quase real • Capacidade de fazer análises profundas em seus logs de forma intuitiva e granular • Kibana fornece visualização rápida e fácil Busca Tradicional • Aplicação ou site oferece recursos de pesquisa em vários documentos • Atendemos a tarefa de tornar esta base de conhecimento pesquisável e acessível • Principais recursos de pesquisa, incluindo correspondência de texto, facetas, filtragem, pesquisa fuzzy, auto-complete e realce de resultados • Query API para suportar a pesquisa em aplicativos

58. Media e Entretenimento Serviços Tecnologia Outros Clientes do Amazon Elasticsearch

59. Caso de Uso: Adobe Developer Platform (Adobe I/O) Pico de mais de 200.000 API chamadas por segundo • destinations, response times, bandwidth Os dados do registro são encaminhados com o Amazon Kinesis para o Amazon Elasticsearch Service, depois exibidos usando AES Kibana A equipe da Adobe pode facilmente ver padrões de tráfego e taxas de erro, identificando rapidamente anomalias e desafios potenciais Amazon Kinesis Streams Spark Streaming Amazon Elasticsearch Service Data Sources 1

60. Qual serviço você deve usar? Situation Solution Aplicação existente Use seu motor de banco de dados no RDS • MySQL  Amazon Aurora, RDS for MySQL • PostgreSQL  RDS for PostgreSQL • Oracle, SQL Server  RDS for Oracle, RDS for SQL Server Nova aplicação • Se você pode evitar dados relacionais  DynamoDB • Se você precisa de dados relacionais  Amazon Aurora Data Warehouse & BI • Amazon Redshift e Amazon QuickSight Análises Ad hoc de dados no S3 • Amazon Athena e Amazon QuickSight Spark, Hadoop, Hive, HBase • Amazon EMR Análises de Log, monitoramento operacional e buscas • Amazon Elasticsearch Service

61. Obrigado

62. Ainda não tem o App oficial do AWS Summit São Paulo? http://amzn.to/2rOcsVy Não deixe de avaliar as sessões no app!

Iniciando com serviços de bancos de dados gerenciados na AWS

Iniciando com serviços de bancos de dados gerenciados na AWS

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à Iniciando com serviços de bancos de dados gerenciados na AWS

Similaire à Iniciando com serviços de bancos de dados gerenciados na AWS(20)

Plus de Amazon Web Services LATAM

Plus de Amazon Web Services LATAM(20)

Dernier

Dernier(15)

Iniciando com serviços de bancos de dados gerenciados na AWS