O documento discute como o site R7 utiliza a plataforma AWS (Amazon Web Services) para entregar conteúdo de forma escalável e eficiente. O R7 migrou de uma estrutura tradicional para o AWS para lidar melhor com picos repentinos de tráfego e reduzir custos fixos. A estratégia do R7 inclui utilizar o AWS como CDN, auto escalonamento, monitoramento contínuo e automação de implantações.

1. Fazendo mais com menos
Como o R7 entrega conteúdo a partir do AWS
Roberto Gaiser
rgaiser@sp.r7.com
@rgaiser
QCon SP - Setembro/2011

2. Sobre o R7

3. Sobre o R7
• 2 anos de vida

4. Sobre o R7
• 2 anos de vida
• Culturas diferentes

5. Sobre o R7
• 2 anos de vida
• Culturas diferentes
• Eficiência

6. Sobre o R7
• 2 anos de vida
• Culturas diferentes
• Eficiência
• Soluções não convencionais

7. Sobre o R7

8. Sobre o R7
Page Views Unique Visitors
Ibope
539 Milhões 14,4 Milhões Net//Ratings
Julho/2011

9. Sobre o R7
Page Views Unique Visitors
Ibope
539 Milhões 14,4 Milhões Net//Ratings
Julho/2011
Notícias Entretenimento
Ibope
8ª 9ª Net//Ratings
Julho/2011

10. Sobre o R7
Page Views Unique Visitors
Ibope
539 Milhões 14,4 Milhões Net//Ratings
Julho/2011
Notícias Entretenimento
Ibope
8ª 9ª Net//Ratings
Julho/2011
R7 Segundo lugar Internet Brasil
Ibope
51,12% 5,13% 4,9% Net//Ratings
Julho/2011

11. Estrutura tradicional

12. Estrutura tradicional

13. Estrutura tradicional
• Servidores

14. Estrutura tradicional
• Servidores
• Storage

15. Estrutura tradicional
• Servidores
• Storage
• Rede

16. Estrutura tradicional
• Servidores
• Storage
• Rede
• Link

17. Problema

18. Problema
“Efeito TV”

19. Problema
“Efeito TV”

20. Como sobrevivemos?

21. Como sobrevivemos?
• Utilizando o AWS como CDN

22. Como sobrevivemos?
• Utilizando o AWS como CDN
• Varnish

23. Como sobrevivemos?
• Utilizando o AWS como CDN
• Varnish
• Cópia do conteúdo para casos de desastre

24. Como sobrevivemos?
• Utilizando o AWS como CDN
• Varnish
• Cópia do conteúdo para casos de desastre
• Aplicações otimizadas

25. Como sobrevivemos?
• Utilizando o AWS como CDN
• Varnish
• Cópia do conteúdo para casos de desastre
• Aplicações otimizadas
• NoSQL, assíncrono, filas etc.

26. Motivação

27. Motivação
• Otimizar custo fixo

28. Motivação
• Otimizar custo fixo

29. Motivação
• Otimizar custo fixo
• “Efeito TV”

30. Motivação
• Otimizar custo fixo
• “Efeito TV”
• Resiliência a ataques

31. Motivação
• Otimizar custo fixo
• “Efeito TV”
• Resiliência a ataques
• Site backup

32. Primeira vez

33. Primeira vez
• ELB

34. Primeira vez
• ELB
• Large instance

35. Primeira vez
• ELB
• Large instance
• Varnish

36. Primeira vez
• ELB
• Large instance
• Varnish
• Medição do tempo de carregamento

37. Primeira vez
• ELB
• Large instance
• Varnish
• Medição do tempo de carregamento
• Sem aviso prévio

38. Primeira vez
• ELB
• Large instance
• Varnish
• Medição do tempo de carregamento
• Sem aviso prévio

39. Funcionou, e agora?

40. Funcionou, e agora?
• ELB + Auto Scaling (Cloudwatch alarm)

41. Funcionou, e agora?
• ELB + Auto Scaling (Cloudwatch alarm)
• Problemas do ELB

42. Funcionou, e agora?
• ELB + Auto Scaling (Cloudwatch alarm)
• Problemas do ELB
• Global load balancing (DNS)

43. Funcionou, e agora?
• ELB + Auto Scaling (Cloudwatch alarm)
• Problemas do ELB
• Global load balancing (DNS)
• Automação (CHEF)

44. Funcionou, e agora?
• ELB + Auto Scaling (Cloudwatch alarm)
• Problemas do ELB
• Global load balancing (DNS)
• Automação (CHEF)
• Ubuntu

45. Tudo vem de lá?

46. Tudo vem de lá?
• Conteúdo estático e dinâmico

47. Tudo vem de lá?
• Conteúdo estático e dinâmico
• Vídeos da Akamai

48. Tudo vem de lá?
• Conteúdo estático e dinâmico
• Vídeos da Akamai
• Performance do RDS X Custo

49. Tudo vem de lá?
• Conteúdo estático e dinâmico
• Vídeos da Akamai
• Performance do RDS X Custo
• Aplicações não preparadas

50. EC2

51. EC2
• Escolher o tipo adequado para a aplicação

52. EC2
• Escolher o tipo adequado para a aplicação
• CPU x Memória

53. EC2
• Escolher o tipo adequado para a aplicação
• CPU x Memória
• EBS x Instance Store

54. EC2
• Escolher o tipo adequado para a aplicação
• CPU x Memória
• EBS x Instance Store
• Tráfego x CPU

55. EC2
• Escolher o tipo adequado para a aplicação
• CPU x Memória
• EBS x Instance Store
• Tráfego x CPU
• Reserved Instance

56. EC2

57. EC2
Compute Unit
Memória (GB)

58. EC2
Compute Unit
Memória (GB)
8
6
4
2
0
Small High-CPU Medium Large

59. EC2
Compute Unit
Memória (GB)
8
6
4
2
0
Small High-CPU Medium Large
32 bits 32 bits 64 bits

60. EBS

61. EBS
• EBS-backed instance

62. EBS
• EBS-backed instance
• Dados

63. EBS
• EBS-backed instance
• Dados
• Performance

64. EBS
• EBS-backed instance
• Dados
• Performance
• Vantagens

65. EBS
• EBS-backed instance
• Dados
• Performance
• Vantagens
• Problemas

66. AMI

67. AMI
• Pronta ou com automação?

68. AMI
• Pronta ou com automação?
• CHEF

69. AMI
• Pronta ou com automação?
• CHEF
• Ubuntu (http://uec-images.ubuntu.com/ )

70. AMI
• Pronta ou com automação?
• CHEF
• Ubuntu (http://uec-images.ubuntu.com/ )
• 32bits e 64bits

71. AMI
• Pronta ou com automação?
• CHEF
• Ubuntu ( http://uec-images.ubuntu.com/ )
• 32bits e 64bits
• Pacotes prontos, salvo exceções

72. S3

73. S3
• Custo

74. S3
• Custo
• Simples

75. S3
• Custo
• Simples
• Videos e Thumbnails

76. S3
• Custo
• Simples
• Videos e Thumbnails
• Permissões

77. ELB

78. ELB
• CNAME

79. ELB
• CNAME
• TTL e suas implicações

80. ELB
• CNAME
• TTL e suas implicações
• SSL

81. ELB
• CNAME
• TTL e suas implicações
• SSL
• Múltiplas zonas

82. Cloudfront

83. Cloudfront
• Controle do cache

84. Cloudfront
• Controle do cache
• Varnish e Nginx

85. Cloudfront
• Controle do cache
• Varnish e Nginx
• Imagens a partir do S3 (Thumbnails)

86. Cloudfront
• Controle do cache
• Varnish e Nginx
• Imagens a partir do S3 (Thumbnails)
• CDN Global

87. Cloudwatch

88. Cloudwatch
• Unidades nem sempre “amigáveis”

89. Cloudwatch
• Unidades nem sempre “amigáveis”
• Métricas customizadas

90. Cloudwatch
• Unidades nem sempre “amigáveis”
• Métricas customizadas
• Alarmes

91. Cloudwatch
• Unidades nem sempre “amigáveis”
• Métricas customizadas
• Alarmes
• Auto Scaling

92. Monitoração

93. Monitoração
• Zabbix

94. Monitoração
• Zabbix
• Cloudwatch

95. Monitoração
• Zabbix
• Cloudwatch
• Dinâmico

96. Monitoração
• Zabbix
• Cloudwatch
• Dinâmico
• Otimizar custo e desempenho

97. Monitoração
• Zabbix
• Cloudwatch
• Dinâmico
• Otimizar custo e desempenho
• Capacity planning

98. Automação

99. Automação
• Puppet x Cfengine x CHEF

100. Automação
• Puppet x Cfengine x CHEF
• CHEF já estava pronto para o EC2

101. Automação
• Puppet x Cfengine x CHEF
• CHEF já estava pronto para o EC2
• OHAI

102. Automação
• Puppet x Cfengine x CHEF
• CHEF já estava pronto para o EC2
• OHAI
• Cloudformation

103. Automação
• Puppet x Cfengine x CHEF
• CHEF já estava pronto para o EC2
• OHAI
• Cloudformation
• Disaster recovery

104. Cloudformation

105. Cloudformation
• JSON

106. Cloudformation
• JSON
• Versionamento

107. Cloudformation
• JSON
• Versionamento
• Consegue controlar todos os serviços

108. Cloudformation
• JSON
• Versionamento
• Consegue controlar todos os serviços
• Testes e recuperação de falhas

109. Segurança

110. Segurança
• ACL de entrada, saída sempre é liberado

111. Segurança
• ACL de entrada, saída sempre é liberado
• Grupos entre diferentes contas

112. Segurança
• ACL de entrada, saída sempre é liberado
• Grupos entre diferentes contas
• Impossibilidade de alterar o grupo

113. Segurança
• ACL de entrada, saída sempre é liberado
• Grupos entre diferentes contas
• Impossibilidade de alterar o grupo

114. Segurança
• ACL de entrada, saída sempre é liberado
• Grupos entre diferentes contas
• Impossibilidade de alterar o grupo
• Implicações legais

115. Controle de acesso

116. Controle de acesso
• IAM

117. Controle de acesso
• IAM
• API Key/Secret

118. Controle de acesso
• IAM
• API Key/Secret
• Por aplicação/usuário

119. Controle de acesso
• IAM
• API Key/Secret
• Por aplicação/usuário
• Granularidade varia entre os serviços

120. Problemas?

121. Problemas?
• Eles existem

122. Problemas?
• Eles existem
• RTT

123. Problemas?
• Eles existem
• RTT
• Conectividade das
operadoras

124. Problemas?
• Eles existem
• RTT
• Conectividade das
operadoras
• Controle de acesso (IAM)

125. Problemas?
• Eles existem
• RTT
• Conectividade das
operadoras
• Controle de acesso (IAM)

126. Problemas?
• Eles existem
• RTT
• Conectividade das
operadoras
• Controle de acesso (IAM)
• Problemas do AWS

127. Futuro

128. Futuro

129. Futuro
• O medo foi vencido

130. Futuro
• O medo foi vencido
• Global load balancer
possibilita outros provedores

131. Futuro
• O medo foi vencido
• Global load balancer
possibilita outros provedores
• Busca de soluções
competitivas

132. Futuro
• O medo foi vencido
• Global load balancer
possibilita outros provedores
• Busca de soluções
competitivas
• Construir aplicações
preparadas para este tipo de
ambiente

133. Outros usos

134. Outros usos

135. Outros usos
• Possibilidade de criar a mesma
estrutura de produção

136. Outros usos
• Possibilidade de criar a mesma
estrutura de produção
• Homologação

137. Outros usos
• Possibilidade de criar a mesma
estrutura de produção
• Homologação
• Testes

138. Outros usos
• Possibilidade de criar a mesma
estrutura de produção
• Homologação
• Testes
• S3 e EBS como backup

139. Outros usos
• Possibilidade de criar a mesma
estrutura de produção
• Homologação
• Testes
• S3 e EBS como backup
• Hadoop para relatórios

140. “Cloud Computing”

141. “Cloud Computing”

142. Perguntas?

143. Perguntas?