Pequena apresentação do Aggregation Framework do MongoDB

1. MongoDB
Aggregation
Framework

2. • Leandro Domingues
• MongoDB Ambassador / Evangelist
• Advocacy Hub Member
• #1 as the most impactful member in the MongoDB
community
• MongoDB Certified Developer
• Co-organizer: MUG-SP, NoSQL-SP e Cognitive Computing
• Head of Software Development at Lumini IT Solutions
About me

3. MongoDB – quem é?
• Escrito em C++
• Document Model / Multi-model
• Opensource
• Alta disponibilidade
• Alta escalabilidade
• Origem do nome: Humongous – Gigantesco

4. MongoDB – o que é?
• Documento é um registro em formato JSON
• Coleção é um conjunto de documentos
• Operações permitidas:
• db.collection.insert({ name: ”Leandro” })
• db.collection.find({ name: ”Leandro” })
• db.collection.remove({ name: ”Leandro” })
• db.collection.update(
{ name: ”Leandro”},
{ name: ”Domingues” }
)

5. MongoDB – o que é?
• Permite nested documents
db.collection.insert({
name: ”Leandro”,
addresses: [
{ city: ”São Paulo” },
{ city: ”Rio de Janeiro” }
]
})
db.collection.find({
”addresses.city”: ”São Paulo”
})

6. Aggregation Framework

7. MapReduce é muito bom, mas…
• Extremamente versátil e poderoso
• Muito complexo para fazer operações simples
• AVG
• SUM
• GROUP
• RESHAPING
• Alto nível de complexidade
• Dificuldades para programar e debugar

8. Aggregation Framework
• Executado nativamente
• Escrito em C++
• Parâmetro JSON
• Flexível, funcional e simples
• Operation Pipeline
• Se dá muito bem com Sharding

9. Aggregation Pipeline

10. cat /var/log/syslog | grep 127.0.0.1

11. Aggregation Pipeline – O que é?
• Uma série de transformações no documento
• Executado em estágios
• Input original é uma collection
• Output pode ser um document, cursor ou collection
$match $project $group $sort
• Ótima biblioteca de funções disponível
• Filtro, cálculo, agrupamento e sumarização de dados
• Output de um estágio envia um input para o próximo
• Operações executadas em sequência

12. Pipeline Operators
• $match
• Filtra os documentos
• $project
• ”Reformata” os documentos
• $group
• Sumariza os documentos
• $unwind
• Expande os documentos
• $sort
• Ordena os documentos
• $limit / $skip
• ”Pagina” os documentos
• $redact
• Restringe acesso aos
documentos
• $lookup
• JOIN!?

14. $match
• Filtra dos documentos
• Utiliza a mesma sintax de query
• Facilita a exclusão de shards

15. Matching field values

16. Matching with query operators

17. $project
• ”Reformata” os documentos
• Inclui, exclui ou renomeia campos
• Adiciona campos calculados
• Cria campos como sub-documentos

18. Including and excluding fields

19. $group
• Agrupa documentos por valor
• Referência campos, objetos ou constante
• Outros campos calculados
• $max, $min, $avg, $sum
• $addToSet, $push
• $first, $last
• Processa todos os dados em memória por default

20. Calculate an Average

21. Summing fields and counting

22. $unwind
• Opera com um campo array
• Cria documentos a partir de um array
• Campos vazios não gera output

23. Expanding documents

24. $sort, $limit, $skip
• Ordena documentos por um ou mais campos
• Limita os resultados do cursor – { $limit: 5 }
• Pula n resultados – { $skip: 5 }

25. Ordenando documentos

26. $lookup
• Consegue trazer documentos de outra collection
{ managedBy: ObjectId(’12334’) }
{ $ lookup: {
$from: ’people’,
$localField: ’managedBy’,
$foreignField: ’_id’,
$as: ’manager’ }
}
{ manager: {…} }

27. Usos
• db.collection.aggregate([…],{<options>})
• Retorna um cursor
• Opcionalmente pode ter um documento para
especificar as opções de agregação
• allowDiskUse, explain
• Use o operador $out para enviar o resultado para
uma collection

28. Limitações
• Limites de memória do pipeline
• Estágios limitados a 100MB
• ”allowDiskUse” para datasets maiores
• Alguns BSON types não suportados
• Symbol, MinKey, MaxKey, DBRef, Code e
CodeWScope

29. Casos de uso
• AD-hoc reporting
• Real-time analytics
• Transforming Data

30. Replicaset & Sharding

31. Durabilidade - Replicasets
Nó 1
Nó 2 Nó 3

32. Inicializando um Replicaset
Nó 1
(Primary)
Nó 2
(Secondary)
Nó 3
(Secondary)
Heartbeat
Replicação Replicação

33. Falha - Replicaset
Nó 1
(Primary)
Nó 2
(Secondary)
Nó 3
(Secondary)
Eleger novo Primary
Heartbeat

34. Superando a falha - Replicasets
Nó 1
(Primary)
Nó 2
(Primary)
Nó 3
(Secondary)
Replicação
Heartbeat

35. Recuperando - Replicasets
Nó 1
(Recovery)
Nó 2
(Primary)
Nó 3
(Secondary)
Heartbeat
Replicação
Replicação

36. Recuperado - Replicasets
Nó 1
(Secondary)
Nó 2
(Primary)
Nó 3
(Secondary)
Heartbeat
Replicação
Replicação

37. Sharding – Motivações
• Distribuir entre várias máquinas
• Data sets muito grandes
• Operações com alto throughput

38. Sharding

39. Sharding

40. Sharding – Shard keys
• Utilizada para dividir os documentos da collection
• Temos a liberdade de escolher qual será nossa shard key, mas ela não
pode ser alterada depois de criada
• Apenas uma shard key por collection
• A escolha afeta:
• Performance
• Eficiencia
• Escalabilidade

41. Sharding - Vantagens
• Reads / Writes
• Distribuição da carga entre os servidores, permitindo que cada shard
processe seu próprio subconjunto de dados
• Tanto leituras como escritas, podem ser escaladas horizontalmente no
cluster adicionando mais shards
• Storage
• Com os dados distribuídos pelo cluster, podemos adicionar capacidade
apenas no shard que exigir e não no cluster todo
• High Availability
• Um cluster ”shardeado” pode continuar lendo e escrevendo se um ou
mais shards ficarem indisponíveis

42. Sharding – Tipos de distribuição
• Range Sharding
• Mais indicado para aplicações que utilizam queries baseadas em range
• Hash Sharding
• Garante uma distribuição uniforme no cluster
• Não é aconselhado para os cenários que utilizam ranges
• Zone Sharding
• Permite que os DBA’s / Operações definam regras específicas para a colocação
dos dados no shard
• As Zonas podem ser: região geográfica, configuração de hardware,
funcionalidade da aplicação
• Permite a constante modificação dessas regras. Nesse caso o MongoDB migra
automaticamente os dados para a nova zona

43. MongoDB Atlas - DBaaS

44. • MongoDB Atlas
• M0 Free
• M10
• 2GB RAM
• 10GB Storage
• 3 Nós
• $ 0,12/hr
MongoDB Atlas – Preços

45. Dúvidas?

46. 19/10 depois de 40 anos

47. • MongoDB:
• https://www.mongodb.com/
• MongoDB docs:
• https://docs.mongodb.com/
• SQL to Aggregation Mapping Chart
• https://docs.mongodb.com/manual/reference/sql-
aggregation-comparison/
• MongoUniversity:
• https://university.mongodb.com/
• MongoDB Atlas
• https://www.mongodb.com/cloud/atlas
Referências

48. Contatos:
• leandro.domingues@luminiitsolutions.com
• Linkedin: https://www.linkedin.com/in/leandro-domingues
• Twitter: @delbussoweb
Obrigado!