O documento descreve o uso do MongoDB pela Globo.com para armazenar dados do Fantasy Game Cartola. O MongoDB forneceu velocidade, disponibilidade e escalabilidade para suportar os volumes de acesso do Cartola. Após o deploy com sucesso em maio de 2011, o banco tem funcionado 24/7 sem incidentes, armazenando mais de 1 milhão de mensagens.

1. MONGODB @ GLOBO.COM
Julho/2011

2. FRANKLIN AMORIM
email: franklin@corp.globo.com
twitter: @cyberelfo

3. • Provedorade serviços tecnológicos e plataformas web para as
empresas Globo
• Líder nos segmentos de notícias, esportes e entretenimento

4. Números de Junho/2011:
• Mais de 70 milhões de visitantes únicos (cookies distintos)
• Mais de 550 milhões de visitas
• Mais de 3 bilhões de pageviews, em quase 300.000 páginas
distintas

6. • Maior aplicação dinâmica da Globo.com
• Maior Fantasy Game da internet brasileira
• Mais de 2 milhões de usuários cadastrados
• 15 milhões de visitas em junho
• Quase 90 milhões de pageviews em junho
• Quase 30k sessões simultâneas nos picos de acesso

7. • Gráfico do datacenter

8. O DESAFIO
Desenvolver uma aplicação de mural, com
capacidade para atender ao volume de
acesso do Cartola, com alta performance e
disponibilidade.

12. PREMISSAS
• Velocidade
• Robustez
• Escalabilidade
• Perda de mensagens não é critico
• Indisponibilidade inicial é tolerável

13. MYSQL
X
MONGODB

14. MONGODB - VANTAGENS
• Velocidade
• Sem necessidade de um ORM
• Acesso mais natural aos dados
• Sem schema / sem migrations (com exceções)
• Failover automático
• Possibilidade de escalar escritas com sharding

15. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

16. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

17. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

18. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

19. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

20. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

21. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

22. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

23. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

24. VISÃO SIMPLIFICADA
Nginx/Tornado MongoDB

25. TECNOLOGIAS
• Ngnix - Webserver
• Tornado - Application
• Beanstalk - Fila
• Memcached
• AsyncMongo (ao invés do PyMongo)
• MongoDB

26. TESTES DE PERFORMANCE
• 01 database server - MongoDB
• 01 application server
• 01 collection com 100 milhões de mensagens
• Resultado: 300 requests/segundo
• Com 02 application + Memcached: 1.000 reqs/sec

27. //newsfeed.post - Final
{
data: "Tue Jun 15 2010 9:00:00 GMT-0400"
mensagem: "Minha mensagem"
//newsfeed.post - Original
liga: {
{
id: 1930
id : 1223,
nome: "Liga 1930"
post_origem_id: 1123,
slug: "liga-1930"
data: "200411300746400000",
}
mensagem: "Minha mensagem",
comentarios:[
Liga: {
{
id: 1930,
id: 251902,
nome: "Liga 1930",
data: "Tue Jun 16 2010 11:00:00 GMT-0400",
slug: "liga-1930"
mensagem: "Legal!",
}
time: {...}
time: {
},
id: 1005,
{
nome: "Time 1005",
id: 251903,
slug: "time-1005",
data: "Tue Jun 16 2010 14:00:00 GMT-0400",
flashvars: {...}
mensagem: "Nem tanto..."
}
time: {...}
}
}
]
}

28. WORKING SET
Trabalhar com um working set
reduzido, minimizando o impacto das
consultas ao banco

29. ARQUITETURA
Primário
Arbitro
Secundário

30. ARQUITETURA
Primário
Arbitro
Secundário
Cartola

31. ARQUITETURA
Primário Primário
Arbitro
Secundário Secundário
Cartola Replica Set 2

32. RESULTADOS
• Deploy feito em maio/2011
• Banco funcionando 24/7
• Nenhum incidente reportado desde a implantação
•1 milhão de mensagens publicadas

33. RESULTADO

34. LIÇÕES APRENDIDAS
• Embedding vs Referencing
• Minimizar o tamanho dos documentos
• Escolher corretamente os data types
• Reduza o working set

35. OUTROS PROJETOS

36. RECEITAS.COM

38. CATALOGO DE VÍDEOS

40. PARTICIPAÇÕES

42. PERGUNTAS?

43. OBRIGADO! :)
twitter: @cyberelfo
email: franklin@corp.globo.com