Demo Session de Começando com Amazon Redshift

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Daniel Bento, Arquiteto de Soluções – dbento@amazon.com
02 de Junho de 2016
Começando com Redshift
AWS Summit São Paulo 2016

2. Agenda
• Introdução
• Provisionamento
• Carga de Dados
• Fazendo Consultas
• Monitoramento de Queries

3. Introdução

4. AnalisarArmanezar
Amazon
Glacier
Amazon S3
Amazon
DynamoDB
Amazon RDS,
Amazon Aurora
AWS big data portfolio
AWS Data Pipeline
Amazon
CloudSearch
Amazon EMR Amazon EC2
Amazon
Redshift
Amazon
Machine
Learning
Amazon
Elasticsearch
Service
AWS Database
Migration Service
Amazon
QuickSight
Amazon
Kinesis
Firehose
AWS Import/Export
AWS Direct
Connect
Coletar
Amazon Kinesis
Streams

5. Data warehouse relacional
Processamento paralelo massivo – MPP
Escala de petabytes
Totalmente gerenciado
Plataformas em HDD e SSD
$1,000/TB/ano; comece com $0.25/hora
Amazon
Redshift
+ rápido
+ simples
+ barato

6. Provisionamento

7. Arquitetura do Amazon Redshift - MPP
Leader node
Simple SQL endpoint
Armazenamento de metadados (nome de tabelas, colunas, objetos)
Otimização do plano de execução de queries
Coordenação da execução de queries
Compute nodes
Storage local por colunas
Execução paralela/distribuída de todas as queries, carga de dados,
backups, recuperação e redimensionamento
Comece com $0.25/hora, cresça até 2 PB
DC1: SSD; escala de 160 GB até 326 TB (Dense compute)
DS2: HDD; escala de 2 TB até 2 PB (Dense storage)
Ingestion/Backup
Backup
Restore
JDBC/ODBC
10 GigE
(HPC)

8. Amazon Redshift é rápido
Menos I/O
Armazenamento em colunas
Compressão de dados
Zone maps
Direct-attached storage
Blocos de dados grandes (1 MB)
analyze compression listing;
Table | Column | Encoding
---------+----------------+----------
listing | listid | delta
listing | sellerid | delta32k
listing | eventid | delta32k
listing | dateid | bytedict
listing | numtickets | bytedict
listing | priceperticket | delta32k
listing | totalprice | mostly32
listing | listtime | raw
10 | 13 | 14 | 26 |…
… | 100 | 245 | 324
375 | 393 | 417…
… 512 | 549 | 623
637 | 712 | 809 …
… | 834 | 921 | 959
10
324
375
623
637
959

9. Redimensionamento em poucos cliques

10. Redimensionamento
• Redimensionamento com o cluster
online (somente leitura)
• Um novo cluster é provisionado em
background
• Cópia de dados ocorre em paralelo
nó a nó
• Somente é cobrado pelo cluster de
origem

11. Carga de dados

12. Dataset está armazenado em um bucket público do S3 (redshift-
demo localizado em us-east-1).
Vários arquivos .gz
Utilizará comando copy com múltiplos arquivos em paralelo
copy lineitem from 's3://redshift-demo/tpc-
h/100/lineitem/lineitem.tbl.' CREDENTIALS
'aws_access_key_id=XXXXX;aws_secret_access_key=YYYYYY' gzip delimiter
'|';
Carga de dados – Dataset público

13. Tabela #Arquivos
Tamanho
arquivo (MB)
Total (MB) #Linhas
customer 150 5.7 855 15,000,000
lineitem 600 37.6 22560 600,037,902
nation 1 987 bytes 987 bytes 25
orders 150 32.8 4920 150,000,000
part 200 2.8 560 20,000,000
partsupp 80 34.3 2744 80,000,000
region 1 267 bytes 987 bytes 5
supplier 100 0.56 56 1,000,000
Total 31,695 MB 866,037,932
30.95 GB
Carga de dados – Dataset público

14. AWS CloudCorporate Data center
Amazon S3
Amazon
Redshift
Flat files
Carga de dados

15. Use o comando COPY
Cada slice pode carregar um
arquivo por vez
Um único arquivo significa que
somente um slice está
carregando dados
Ao invés de 100MB/s, você
somente consegue 6.25MB/s
Use múltiplos arquivos de entrada para
maximizar o throughput

16. Use o comando COPY
Você precisa tantos arquivos
quanto o número de slices
Com 16 arquivos, todos os slides
estão trabalhando, assim você
maximiza o throughput
Consiga 100MB/s por nó; escale
linearmente conforme você
adiciona nós
Use múltiplos arquivos de entrada para
maximizar o throughput

17. Fazendo Consultas

18. JDBC/ODBC
Amazon Redshift
Amazon Redshift funciona com suas
ferramentas atuais de análise

19. ODBC/JDBC
BI Clients
Redshift

20. Query que localiza qual fornecedor deve ser selecionada para fazer um
pedido para uma determinada parte de uma determinada região.
Fazendo consultas – Jasper Reports

21. Monitoramento de performance de query
performance

22. Visualize os planos de execução

23. Muito Obrigado!