Técnicas para extrair todo o poder do RDS.

1. Levando o RDS ao Máximo

2. Cenário
• 5 operações : SQS, S3, serialização, unzip
• 15 operações relacionais
• Cada ciclo está uma transação
20 operações por
ciclo
• Ciclos levando em média 1 segundo
• Degradação de performance com a paralelização
• 600 ~ 900 ciclos processados em 15 minutos
Centenas de
Milhares de ciclos
para processar

3. Dúvida

4. Problemas
Transação
Nível de
Isolamento
Updates
concorrentes
RDS
Discos
Magnéticos /
SSD / PIOPS
FILA
Preocupação
com
processamentos
concorrentes

5. Fase 1 - Nível de Isolamento
Read
Commited
Read
Uncommited

6. Fase 2 - Fila
Acelerar
Importação
Concorrência
Escalar
dinamicamente

7. Fase 3 – Disco RDS
• Média de 100 IOPS
• Picos de centenas de IOPSMagnético
• Média de 3 IOPS / GB
• Picos de 3000 IOPS / segSSD
• SSD com provisionamento de IOPSPIOS

8. RESOLVEMOS NOSSOS
PROBLEMAS

9. #SQN

10. Frustração
•SONHÁVAMOS CHEGAR AOS 3 MIL IOPS.
•NÃO CHEGAMOS NEM A 200 IOPS =/
•PARALELIZAR AS OPERAÇÕES DEGRADAVA MUITO A
PERFORMANCE

11. Updates Concorrentes

12. Updates Concorrentes

13. FASE 4 – Eliminar Updates
Concorrentes
•UPDATES SÓ GERAM SCRIPTS QUANDO OS DADOS
EFETIVAMENTE MUDAM;
•OS DADOS MUDAM BASTANTE?? ENTÃO TIRA ISSO DA
TRANSAÇÃO;

15. RESULTADOS – READ IOPS

16. RESULTADOS – WRITE IOPS

17. Acúmulo de créditos

18. Números Finais
• ~600 ciclos em 15 min
• Paralelização limitada com
degradação de performance
Antes
• ~50 mil ciclos em 15 min (+80x)
• Paralelização de até 55
consoles SEM degradação de
performance
Depois

19. CHEGAMOS ONDE QUERÍAMOS!
YES

20. Dicas
•Log;
•Use uma boa ferramenta de profiler;
•Teste com massa de dados. Preferência que seja espelho
de PRD (Foi assim que avançamos);
•Use snapshots;
•Automatize a construção do cenário para otimização;

21. DÚVIDAS?

22. OBRIGADO!
HENRYLLE MAIA
ARQUITETO DE SOFTWARE – GRUPO FORTES
TWITTER: @henrylle
www.oregonead.com.br