BreizhCamp 2015 #BzhCmp
#MongoDB #bzhcmp
BreizhCamp 2016 #BzhCmp
Tout ce que le getting started
MongoDB ne vous dira pas
B...
Bruno BONNIN
Architecte logiciel
https://about.me/brunobonnin
Pierre-Alban DEWITTE
Responsable équipe cloud
Getting started with MongoDB
# Installation de Mongodb
> sudo apt-get install mongodb
# Lancement du serveur
> sudo servic...
Disclaimer
● Cette présentation est truffée de mauvaise
foi
● Ne prenez pas tout, adaptez vous à votre
contexte
● Notre but est de vo...
1. Développer efficacement
2. Préparer la production
3. Exploiter
4. Avant de se quitter
Développer efficacement
Schema design
Des documents !
● MongoDB stocke des documents
○ Structure de données hiérarchique
○ Un champ peut être un type de base (e...
Comparaison
RDBMS MongoDB
Database Database
Table Collection
Enregistrement Document
Colonne Champ
Index Index
Jointure $l...
Modèle relationnel et normalisation
● Data rangées dans les bonnes cases, pas de
redondance de l’information
○ C’est beau,...
La réponse de MongoDB
Pensez...
Dénormalisation
Documents
Usages
Personne
nom adresseId
... ...
Adresse
id code_postal vil...
Document, sous-document, ...
Pourquoi tout mettre dans un seul doc ?
● locality : stockage de toute l’info au même
endroit...
Document, sous-document, ...
Pourquoi ne pas tout mettre dans un seul
doc ?
● On peut récupérer plus d’info qu’on n’en a
r...
Références entre docs
Pourquoi séparer dans plusieurs docs ?
● Flexibilité
● Cardinalité forte / gros document:
○ Attentio...
Références entre docs
Pourquoi ne pas séparer dans plusieurs docs ?
● On risque d’avoir à gérer des jointures dans
l’appli...
Modélisation: quelques règles simples
1..1
1 seule collection Personne
- Avec un sous-document
“carte_vitale”
Collection “...
Modélisation: quelques règles simples
1 seule collection Personne
- Avec une liste de sous-
documents “adresse”
1..peu
Col...
Modélisation: quelques règles simples
2 collections Voiture et Composant
- C’est Voiture qui référence les composants
1..b...
Modélisation: quelques règles simples
2 collections Systeme et Log
- C’est Log qui référence le parent !
1..énormément
Col...
Et concernant l’usage...
Ne pas oubliez d’en tenir compte !
● “J’ai besoin de l’ensemble des données à
chaque requête”
○ M...
$lookup
Des jointures ! c’est un début…
● Left outer join
● Uniquement avec des collections non shardées
Collection Confer...
$lookup
Collection Conference
{
“title”: “Plein de mots-clefs hyper cools...”,
“description”: “Refaites votre SI avec ça”,...
“C’est un art plus qu’une science!”
Usages !
Usages !
Usages !
Usages !
Usages !
Usages !
Questions ?
Outillage
● La GUI n’est pas une priorité pour MongoDB
● Les meilleurs outils gratuits sont maintenus
par des personnes de MongoDB
C...
Robot Mongo
● C’est codé avec un vrai langage (C++)
● Est globalement à la traine sur le support de
fonctionnalités
● Pens...
Mongo Chef
● La seule GUI de niveau professionnel
● A été mis à jours très rapidement les deux
dernières années
● Très com...
MongoDB Compass
Mongo-hacker
● Le shell MongoDB vitaminé
○ Colorisation
○ Alias pour compter collections, documents et
indexes
○ Alias pou...
M
● Equivalent pour mongodb de n pour node
● Simplification du téléchargement
● Changement en une commande de version
mong...
Démo
Frameworks et API
ORM ou plutôt ODM
Avant-propos: eh oui, on est mono-maniaque et
on ne développe qu’en Java !
● Driver Java
○ Évolue bien, ...
Driver Java 3.0
Nouvelles classes (les anciennes sont toujours là, hélas…)
// A OUBLIER !!!!
DB db = mongoClient.getDB("br...
Driver Java 3.0
Codec: permet de gérer finement le codage en
BSON (est-ce bien utile ? bof...)
public class ConferenceCode...
Driver Java 3.0
Async API (mêmes noms de classes, pas le même package)
// Async Database et Collection
//
MongoDatabase db...
Morphia
Nécessaire et suffisant
Morphia morphia = new Morphia();
morphia.map(Conference.class, Speaker.class);
Datastore d...
Pas de transaction, mais...
Ne pas oublier qu’il existe des méthodes
findAndXXX permettant d’exécuter des actions
de maniè...
Questions ?
Préparer la production
Estimer la volumétrie
Estimer la volumétrie
1. Prototyper et concevoir une première
version du schéma
2. Extraire les statistiques de taille de ...
Extraire les statistiques
> show collections
> count docs
> count index
> db.macollection.count()
> db.macollection.stats(...
Le working set
● Portion des données utilisée fréquemment
● Attention aux batchs réalisant une lecture
complète d’une coll...
Taille sur disque d’une collection
Taille moyenne
d’un document
Taille data=*
Nb de
doc.
Taille moyenne
des indexes
Taille...
Taille du working-set d’une collection
Taille moyenne
d’un document
Taille data=*
Nb de
doc.
Taille moyenne
des indexes
Ta...
Migrer ses données
Chemins de migration
Peu d’outillage disponible
mongo-connector
● Ecrit et maintenu par MongoDB en python
● Permet de copier depuis MongoDB vers :
○ ElasticSearch
○ Solr
...
Apache Camel & Groovy
def ds = new OracleDataSource(... )
SimpleRegistry registry = new SimpleRegistry();
registry.put("my...
Questions ?
Exploiter
Replica-set
Configurer un replica-set
Rien de plus simple !
● Sur chacun de vos serveurs:
● Connexion sur un des nodes:
$ mongod --dbp...
Attention au chainage
https://docs.mongodb.org/manual/reference/replica-
configuration/#rsconf.settings.chainingAllowed
PR...
Adapter le write et read concern
https://docs.mongodb.org/manual/core/replica-set-write-concern/
https://docs.mongodb.org/...
Questions ?
Storage
Storage engine
MongoDB s’adapte aux différents use cases en
fournissant plusieurs moteurs de stockage
● MMAPv1: présent de...
Mettez un tigre dans votre moteur
Super performant en écriture !
➔ Lock au niveau du document (et plus au niveau de la
col...
Les performances
Stockage : dans la vraie vie...
30 millions de docs (10 ko chaque), 20 index
Et pour finir, soyons joueur !
● Plusieurs types peuvent co-exister au sein d’
un même replica set
● On peut imaginer:
○ U...
Questions ?
Sharding
Range Based Sharding
Hash Based Sharding
Tag Aware Sharding
Tag Aware Sharding
Il existe certainement d’autres bases de
données adaptées à de tels besoins
Topologie minimale
Testez en environnement cible
● Update et remove doivent inclure la clé de
sharding
● La lecture sur les secondaires est à...
Si jamais vous êtes encore motivés
● Sans réseau correct point de salut
● Colocaliser les MongoS avec vos
applications
● N...
Quand sharder ?
● Quand ce n’est pas votre premier projet
MongoDB en production
● Quand vous pouvez acheter quelques
machi...
Les points d’attention
● Privilegier autant que possible le sharding
haché
● Surveiller les plages de lancement du
balance...
Questions ?
Analyser les performances
Mongo tools
● Log avec requêtes lentes et cursor.
explain()
● mongotop : stats (temps) lecture/ecriture
par collection
● m...
Mtools
● La boite à outils indispensable pour analyser
les logs
https://github.com/rueckstiess/mtools
Supervision et métrologie
Les points de supervision système
● Espace libre
● Nombre de connexions réseau
● Nombre de fichiers ouverts
● Mémoire util...
Les solutions
Pas de plugin permettant la découverte
automatique
● Zabbix
○ Set de graph et d’alarmes préconfigurées
○ Il ...
Métrologie
● Définir des alertes sur événements ou seuil
est important
● En cas de problème de performance
complexe avoir ...
Backup
MongoDump / MongoRestore
● Tool de Mongo permettant la sauvegarde
● Dans le cas d’un replica set utiliser l’option --
oplo...
Copie des fichiers
● Il est possible de backuper par copie des
fichiers
● Dans le cas de NMAP il est indispensable d’
acti...
Faire son propre “Point in time …”
● Si jamais vous avez un oplog couvrant
l'intervalle de temps entre une sauvegarde
et l...
MongoDB Cloud Manager Backup
● De loin la solution la plus simple mais
nécessite une souscription
● Fonctionne par lecture...
Solution idéale
● Un backup idéal est un backup testé
● Pour des petits volumes MongoDump est
suffisant
● Les outils de Mo...
Questions ?
Avant de se quitter
Gestion de projet
Gérer son projet
Concevoir Développer
QualifierEvaluer les
performances
● Un bon schéma doit répondre :
○ Aux besoins métier
○ Aux exigences de performance
● Pour bien connaitre le besoin, il fa...
Agilité
Continuous
testing
DevOps
Ingénierie des
exigences
Pour continuer
Les liens à connaitre
https://docs.mongodb.
org/manual/administration/production-
checklist/
https://docs.mongodb.
org/man...
Se former
https://university.mongodb.com/
Se tenir informer
https://www.mongodb.com/presentations/all
https://www.mongodb.com/community
#mongodb
#bzhcmp
@_bruno_b_
@padewitte
Pour compléter
http://dba.stackexchange.
com/questions/121160/mongodb-mmapv1-vs-
wiredtiger-storage-engines
https://object...
Tout ce que le getting started mongo db ne vous dira pas
Tout ce que le getting started mongo db ne vous dira pas
Tout ce que le getting started mongo db ne vous dira pas
Prochain SlideShare
Chargement dans…5
×

Tout ce que le getting started mongo db ne vous dira pas

580 vues

Publié le

Présentation donnée avec @_bruno_b_ lors du @breizhcamp 2016
Vous avez coder votre première application avec MongoDB, c'est décidé votre prochain vrai prochain utilisera cette base NoSQL. Il vous faudra éviter quelques écueils avant que tout fonctionne en production. Nous en parlons dans cette présentation.

0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
580
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
19
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Tout ce que le getting started mongo db ne vous dira pas

  1. 1. BreizhCamp 2015 #BzhCmp #MongoDB #bzhcmp BreizhCamp 2016 #BzhCmp Tout ce que le getting started MongoDB ne vous dira pas Bruno BONNIN - @_bruno_b_ Pierre-Alban DEWITTE - @padewitte
  2. 2. Bruno BONNIN Architecte logiciel https://about.me/brunobonnin
  3. 3. Pierre-Alban DEWITTE Responsable équipe cloud
  4. 4. Getting started with MongoDB # Installation de Mongodb > sudo apt-get install mongodb # Lancement du serveur > sudo service mongod start # Import de données > mongoimport --db test --collection restaurants --drop --file primer-dataset. json # Lancement du shell > mongo // On s’amuse avec quelques commandes CRUD >>> db.restaurants.insert(...) >>> db.restaurants.find(...) >>> db.restaurants.delete(...)
  5. 5. Disclaimer
  6. 6. ● Cette présentation est truffée de mauvaise foi ● Ne prenez pas tout, adaptez vous à votre contexte ● Notre but est de vous donner envie d’aller chercher la bonne information
  7. 7. 1. Développer efficacement 2. Préparer la production 3. Exploiter 4. Avant de se quitter
  8. 8. Développer efficacement
  9. 9. Schema design
  10. 10. Des documents ! ● MongoDB stocke des documents ○ Structure de données hiérarchique ○ Un champ peut être un type de base (entier, string, booléen), une liste, un objet (on parle de sous- document)
  11. 11. Comparaison RDBMS MongoDB Database Database Table Collection Enregistrement Document Colonne Champ Index Index Jointure $lookup, sous-document, lien
  12. 12. Modèle relationnel et normalisation ● Data rangées dans les bonnes cases, pas de redondance de l’information ○ C’est beau, c’est carré ! ● Mais, attention aux performances lors des recherches sur les disques de l’info dans les différentes tables
  13. 13. La réponse de MongoDB Pensez... Dénormalisation Documents Usages Personne nom adresseId ... ... Adresse id code_postal ville ... ... ... Personne { nom: “...”, code_postal: “...”, ville: “...” } Personne { nom: “...”, adresse: { code_postal: “...”, ville: “...” } }
  14. 14. Document, sous-document, ... Pourquoi tout mettre dans un seul doc ? ● locality : stockage de toute l’info au même endroit sur le disque ● consistency : comme il n’y pas de transaction, MongoDB assure que l’update d’un doc est atomique
  15. 15. Document, sous-document, ... Pourquoi ne pas tout mettre dans un seul doc ? ● On peut récupérer plus d’info qu’on n’en a réellement besoin ○ on peut utiliser les projections dans les queries (ok d’un point de vue réseau), ○ mais cela n’empêche le document d’ être entirèrement présent en mémoire avant d’être retourné au client
  16. 16. Références entre docs Pourquoi séparer dans plusieurs docs ? ● Flexibilité ● Cardinalité forte / gros document: ○ Attention à la place mémoire (document déserialisé en mémoire) ○ Taille max des docs: 16Mo
  17. 17. Références entre docs Pourquoi ne pas séparer dans plusieurs docs ? ● On risque d’avoir à gérer des jointures dans l’application, compliqué ! ● Ou utilisation de $lookup : a des contraintes fortes !
  18. 18. Modélisation: quelques règles simples 1..1 1 seule collection Personne - Avec un sous-document “carte_vitale” Collection “Personne” { nom: “...”, carte_vitale: { date_emission: “...”, cnam: “...” } } Personne Carte Vitale
  19. 19. Modélisation: quelques règles simples 1 seule collection Personne - Avec une liste de sous- documents “adresse” 1..peu Collection “Personne” { nom: “Séraphin Lampion”, adresses: [ { rue: “rue de la Roquette”, ville: “Paris” }, { rue: “chemin du chateau”, ville: “Moulinsart” } ] } Personne Adresse
  20. 20. Modélisation: quelques règles simples 2 collections Voiture et Composant - C’est Voiture qui référence les composants 1..beaucoup Collection “Voiture” { marque: “...”, modele: “...”, composants: [ “Id_101”, “Id_22”, “Id_345”, … ] } Voiture Composant Collection “Composant” { id: “...”, type: “...”, prix: ... }
  21. 21. Modélisation: quelques règles simples 2 collections Systeme et Log - C’est Log qui référence le parent ! 1..énormément Collection “Système” { id: “...”, host: “...”, ... } Système Log Collection “Log” { date: “...”, level: “...”, id_systeme: “...” }
  22. 22. Et concernant l’usage... Ne pas oubliez d’en tenir compte ! ● “J’ai besoin de l’ensemble des données à chaque requête” ○ Mettez tout dans une seule collection ● “J’ai besoin d’en avoir seulement une partie” ○ Faites plusieurs collections et des références ○ Ex: les posts d’un blog et leurs commentaires : ■ 2 besoins : affichage liste des posts + affichage post avec commentaires ■ Modélisation avec 2 collections (posts, comments)
  23. 23. $lookup Des jointures ! c’est un début… ● Left outer join ● Uniquement avec des collections non shardées Collection Conference { “title”: “Plein de mots-clefs hyper cools...”, “description”: “Refaites votre SI avec tout ça, sinon vous êtes mort!”, “speaker_id”: “techno_maniac” } Collection Speaker { “_id”: “techno_maniac”, “name”: “Jean-Marcel Le Maniac”, “email”: “le_maniac@breizhcamp.org” } Exemple $lookup db.Conference.aggregate( [ { “$lookup”: { “from”: “Speaker”, “localField”: “speaker_id”, “foreignField”: “_id”, “as”: “speaker_infos” } } ] ) [ { “title”: “Plein de mots-clefs hyper cools...”, “description”: “Refaites votre SI avec…”, “speaker_id”: “techno_maniac”, “speaker_infos”: [ { “_id”: “techno_maniac”, “name”: “Jean-Marcel Le Maniac”, “email”: “le_maniac@breizhcamp.org” } ] }, … ]
  24. 24. $lookup Collection Conference { “title”: “Plein de mots-clefs hyper cools...”, “description”: “Refaites votre SI avec ça”, “speaker_ids”: [ “miss_techno”, “techno_maniac” ] } Exemple $lookup db.Conference.aggregate( [ { $unwind: “$speaker_ids” }, { $lookup: { from: “Speaker”, localField: “speaker_ids”, foreignField: “_id”, as: “speakers_infos” } }, { $group: { _id: “$_id”, title: { $first: “$title” }, speakers: { $push: “$speakers_infos” } } } ] ) { “title”: “Plein de mots-clefs hyper cools...”, “speakers”: [{ “_id”: “miss_techno”, “name”: “Jeanne-Irene La Maniac”, “email”: “miss_techno@breizhcamp.org” }, { “_id”: “techno_maniac”, “name”: “Jean-Marcel Le Maniac”, “email”: “le_maniac@breizhcamp.org” } ] }, { ... }, … Avec des listes, jouez avec $unwind et $group
  25. 25. “C’est un art plus qu’une science!”
  26. 26. Usages ! Usages ! Usages ! Usages ! Usages ! Usages !
  27. 27. Questions ?
  28. 28. Outillage
  29. 29. ● La GUI n’est pas une priorité pour MongoDB ● Les meilleurs outils gratuits sont maintenus par des personnes de MongoDB Choisir une interface graphique
  30. 30. Robot Mongo ● C’est codé avec un vrai langage (C++) ● Est globalement à la traine sur le support de fonctionnalités ● Pensez à utiliser les beta ● Plutot complet ● Robuste et stable
  31. 31. Mongo Chef ● La seule GUI de niveau professionnel ● A été mis à jours très rapidement les deux dernières années ● Très complet pour du développement comme de l'administration ● Le top coute 149 $ par an
  32. 32. MongoDB Compass
  33. 33. Mongo-hacker ● Le shell MongoDB vitaminé ○ Colorisation ○ Alias pour compter collections, documents et indexes ○ Alias pour aggrégations gcount, gavg, gsum ● Toujours nécessaire notamment quand la base n’est pas accessible directement https://github.com/TylerBrock/mongo-hacker
  34. 34. M ● Equivalent pour mongodb de n pour node ● Simplification du téléchargement ● Changement en une commande de version mongodb https://github.com/aheckmann/m
  35. 35. Démo
  36. 36. Frameworks et API
  37. 37. ORM ou plutôt ODM Avant-propos: eh oui, on est mono-maniaque et on ne développe qu’en Java ! ● Driver Java ○ Évolue bien, mais bas niveau ● Morphia ○ Intéressant ● Spring Data MongoDB ○ C’est Spring... ● Hibernate OGM ○ Heu... ● Jongo ○ Fun !
  38. 38. Driver Java 3.0 Nouvelles classes (les anciennes sont toujours là, hélas…) // A OUBLIER !!!! DB db = mongoClient.getDB("breizhcamp2016"); DBCollection dbCollection = db.getCollection("conferences"); Iterator<DBObject> confIter = dbCollection.find().iterator(); // Utilisation d’un mapper pour convertir les DBObjects en objets métier MongoDatabase db = mongoClient.getDatabase("breizhcamp2016"); MongoCollection<Document> dbCollection = db.getCollection("conferences"); // Ou en utilisation directe de la classe métier MongoCollection<Conference> dbCollection = db.getCollection("conferences", Conference.class); MongoCursor<Conference> conferences = confCollection.find().iterator(); // Il ne faut pas oublier de déclarer un codec pour la classe Conference
  39. 39. Driver Java 3.0 Codec: permet de gérer finement le codage en BSON (est-ce bien utile ? bof...) public class ConferenceCodec implements Codec<Conference> { @Override public void encode(BsonWriter writer, Conference conf, EncoderContext ctx) { } @Override public Class<Conference> getEncoderClass() { return Conference.class; } @Override public Conference decode(BsonReader reader, DecoderContext ctx) { } } public class ConferenceCodecProvider implements CodecProvider { @Override public <T> Codec<T> get(Class<T> clazz, CodecRegistry registry) { if (clazz == Conference.class) { return (Codec<T>) new ConferenceCodec(); } return null; } } Utilisation d’un codec générique (projet à suivre!): ➔ https://github.com/ylemoigne/mongo-jackson-codec
  40. 40. Driver Java 3.0 Async API (mêmes noms de classes, pas le même package) // Async Database et Collection // MongoDatabase db = client.getDatabase("breizhcamp2016"); MongoCollection<Conference> collection = db.getCollection("conferences", Conference.class); Conference conference = new Conference( "Framework TrucMachinChoseJS et Dockerification de mes microservices", "C'est trop cool !", new Speaker("JsAndDockerAndMicroServicesManiac")); // Insertion d’un élément => il faut fournir une callback // collection.insertOne(conference, (final Void result, final Throwable t) -> { System.out.println("Conference inserée"); });
  41. 41. Morphia Nécessaire et suffisant Morphia morphia = new Morphia(); morphia.map(Conference.class, Speaker.class); Datastore datastore = morphia.createDatastore(client, "breizhcamp2016"); Conference conf = new Conference("Have fun With MongoDB", "@padewitte", "@_bruno_b_"); datastore.save(conf); List<Conference> confWithPAD = datastore.find(Conference.class) .filter("speakers", "@padewitte") .field("speakers").sizeEq(1) .asList(); datastore.createAggregation(Conference.class) .unwind("speakers") .project(projection("twitterHandle", "speakers"), projection("title")) .group("twitterHandle", grouping("conferences", addToSet("title"))) .out(Speaker.class);
  42. 42. Pas de transaction, mais... Ne pas oublier qu’il existe des méthodes findAndXXX permettant d’exécuter des actions de manière atomique FindOneAndUpdateOptions options = new FindOneAndUpdateOptions().returnDocument(ReturnDocument.AFTER); // UpdatedConf contient les données de la conférence suite à la modif Conference updatedConf = confCollection.findOneAndUpdate( new Document(), // Query new Document("$push", new Document("speakerIds", "pad")), // Update options);
  43. 43. Questions ?
  44. 44. Préparer la production
  45. 45. Estimer la volumétrie
  46. 46. Estimer la volumétrie 1. Prototyper et concevoir une première version du schéma 2. Extraire les statistiques de taille de chaque collection pour les datas et les index a. taille moyenne des datas b. taille moyenne des indexes 3. Pour chaque collection, estimer un nombre de documents 4. Appliquer un coefficient multiplicateur (un conseil, à cacher le dans une formule d’excel)
  47. 47. Extraire les statistiques > show collections > count docs > count index > db.macollection.count() > db.macollection.stats(1024*1024)
  48. 48. Le working set ● Portion des données utilisée fréquemment ● Attention aux batchs réalisant une lecture complète d’une collection ● Idéalement la taille du working set doit correspondre à la taille de la RAM
  49. 49. Taille sur disque d’une collection Taille moyenne d’un document Taille data=* Nb de doc. Taille moyenne des indexes Taille indexes=* Nb de doc. = Taille sur disque +
  50. 50. Taille du working-set d’une collection Taille moyenne d’un document Taille data=* Nb de doc. Taille moyenne des indexes Taille indexes=* Nb de doc. = Taille working-set + Proportion data utile *
  51. 51. Migrer ses données
  52. 52. Chemins de migration Peu d’outillage disponible
  53. 53. mongo-connector ● Ecrit et maintenu par MongoDB en python ● Permet de copier depuis MongoDB vers : ○ ElasticSearch ○ Solr ○ Mongodb ○ Postgresql ● Peut permettre de synchroniser une base de préproduction avec la production simplement ● Idéal pour des duplications sans transformation https://github.com/mongodb-labs/mongo-connector
  54. 54. Apache Camel & Groovy def ds = new OracleDataSource(... ) SimpleRegistry registry = new SimpleRegistry(); registry.put("myDataSource", ds); def camelContext = new DefaultCamelContext(registry) camelContext.addRoutes(new RouteBuilder() { def void configure() { from("direct:EXTRACT_SQL") .setHeader("table", constant("CONFERENCES")) .setBody().constant("select * where (CONFERENCES.DATMAJ > sysdate - 2 )") .to("jdbc:myDataSource? outputType=StreamList&useHeadersAsParameters=true") .split(body()).streaming().process(confProcessor) .to("mongodb: myDb?database=mymongo_databse&collection=conferences&operation=save") .end() } }) camelContext.start() // send a message to the route ProducerTemplate template = camelContext.createProducerTemplate(); template.sendBody("direct:EXTRACT_SQL", "Starting migration"); camelContext.stop()
  55. 55. Questions ?
  56. 56. Exploiter
  57. 57. Replica-set
  58. 58. Configurer un replica-set Rien de plus simple ! ● Sur chacun de vos serveurs: ● Connexion sur un des nodes: $ mongod --dbpath /data/mongo --replSet breizhcamp_rs $ mongo --host mongod-node1 MongoDB shell version: 3.2.4 connecting to: mongod-node1:27017/test > > rs.initiate({_id:"breizhcamp_rs", members:[ {_id:0,host:"mongod-node1:27017"}, {_id:1,host:"mongod-node2:27017"}]}) {"ok":1} breizhcamp_rs:PRIMARY>
  59. 59. Attention au chainage https://docs.mongodb.org/manual/reference/replica- configuration/#rsconf.settings.chainingAllowed PRIMARY SECONDARY SECONDARY SECONDARY
  60. 60. Adapter le write et read concern https://docs.mongodb.org/manual/core/replica-set-write-concern/ https://docs.mongodb.org/manual/core/read-preference/ WRITE READ (≥ 3.2)
  61. 61. Questions ?
  62. 62. Storage
  63. 63. Storage engine MongoDB s’adapte aux différents use cases en fournissant plusieurs moteurs de stockage ● MMAPv1: présent depuis le début ● WiredTiger : depuis la 3.0 et par défaut à partir de la 3.2 ● In memory (beta) ● Autres futurs moteurs Pour un noeud donné, on ne peut pas changer de type, mais on peut avoir des nodes avec diff. engines
  64. 64. Mettez un tigre dans votre moteur Super performant en écriture ! ➔ Lock au niveau du document (et plus au niveau de la collection) Gain de place: ➔ Support de la compression pour les collections, les index, les journaux ○ Snappy: par défaut pour les docs et les journaux ■ 70% de taux de compression, peu de surcoût en CPU ○ Zlib: meilleure compression (mais surcoût de CPU) Sécurité: ➔ Support du chiffrement au niveau du stockage (uniquement pour MongoDB enterprise)
  65. 65. Les performances
  66. 66. Stockage : dans la vraie vie... 30 millions de docs (10 ko chaque), 20 index
  67. 67. Et pour finir, soyons joueur ! ● Plusieurs types peuvent co-exister au sein d’ un même replica set ● On peut imaginer: ○ Un node pour les lectures => MMAPv1 ○ Un node pour les écritures => WiredTiger Node 1 avec WiredTiger Node 2 avec MMAPv1 Data ingestion Data Read Replica set
  68. 68. Questions ?
  69. 69. Sharding
  70. 70. Range Based Sharding
  71. 71. Hash Based Sharding
  72. 72. Tag Aware Sharding
  73. 73. Tag Aware Sharding Il existe certainement d’autres bases de données adaptées à de tels besoins
  74. 74. Topologie minimale
  75. 75. Testez en environnement cible ● Update et remove doivent inclure la clé de sharding ● La lecture sur les secondaires est à éviter tant que possible (orphans) ● Limites sur l’aggrégation ○ pas de join depuis une collection shardée ○ optimisation largement dépendante des données
  76. 76. Si jamais vous êtes encore motivés ● Sans réseau correct point de salut ● Colocaliser les MongoS avec vos applications ● N’oubliez pas de sauvegarder les MongoS (pas de reconstruction possible simplement) ● Faites vérifier votre architecture par un ami
  77. 77. Quand sharder ? ● Quand ce n’est pas votre premier projet MongoDB en production ● Quand vous pouvez acheter quelques machines de plus (à minima triplement du nombre de machine) ● Quand il n’est pas possible de faire autrement ○ Envisager d’abord la scalabilité verticale ○ Monitorer la taille de votre working set pour anticiper le plus possible cette opération
  78. 78. Les points d’attention ● Privilegier autant que possible le sharding haché ● Surveiller les plages de lancement du balancer ● Nettoyer régulièrement les orphans ● Ne jamais lire sur un secondary si l’ exactitude de la donnée est critique https://docs.mongodb. org/manual/reference/command/cleanupOrphaned/
  79. 79. Questions ?
  80. 80. Analyser les performances
  81. 81. Mongo tools ● Log avec requêtes lentes et cursor. explain() ● mongotop : stats (temps) lecture/ecriture par collection ● mongostat : stats système de l’instance ○ insert, query, update, delete (nombre de requêtes/s) ○ getmore command flushes ○ mapped (MMAPv1), vsize, res ○ faults (MMAPv1) ○ qr|qw (queue) ○ ar|aw (active clients)
  82. 82. Mtools ● La boite à outils indispensable pour analyser les logs https://github.com/rueckstiess/mtools
  83. 83. Supervision et métrologie
  84. 84. Les points de supervision système ● Espace libre ● Nombre de connexions réseau ● Nombre de fichiers ouverts ● Mémoire utilisée Dans le cas d’un replica-set : ● Statut dans le replica-set ● Présence de fichiers dans le répertoire rollbacks https://docs.mongodb.org/manual/core/replica-set-rollbacks/
  85. 85. Les solutions Pas de plugin permettant la découverte automatique ● Zabbix ○ Set de graph et d’alarmes préconfigurées ○ Il faudra mettre les mains dans PHP ● Nagios ○ Nombreux check à ajouter ○ Accompagné du plugin CACTI il est aisé de se construire une métrologie ○ Il faudra mettre les mains dans Python ● Votre script dans votre langage de prédiletion https://github.com/nightw/mikoomi-zabbix-mongodb-monitoring https://github.com/mzupan/nagios-plugin-mongodb
  86. 86. Métrologie ● Définir des alertes sur événements ou seuil est important ● En cas de problème de performance complexe avoir grapher les métriques clefs auparavant est encore plus important
  87. 87. Backup
  88. 88. MongoDump / MongoRestore ● Tool de Mongo permettant la sauvegarde ● Dans le cas d’un replica set utiliser l’option -- oplog à la sauvegarde et la restauration pour backuper un maximum d’ enregistrement ● Il est nécessaire d’avoir la place disponible et peut prendre beaucoup de temps
  89. 89. Copie des fichiers ● Il est possible de backuper par copie des fichiers ● Dans le cas de NMAP il est indispensable d’ activer le journal et que celui ci soit présent sur le même volume que les données ● Dans le cas d’un replica set préférer la sauvegarde sur le primary ou alors s’assurer que le secondary source de la sauvegarde n’ est pas en retard ● Si vous pouvez vous le permettre préférer stopper l’instance
  90. 90. Faire son propre “Point in time …” ● Si jamais vous avez un oplog couvrant l'intervalle de temps entre une sauvegarde et le moment auquel vous pouvez restaurer il est possible de ne pas perdre de données ● Commencer par isoler un membre puis sauvegarder l’oplog ● http://www.codepimp.org/2014/08/replay- the-oplog-in-mongodb/ ● A tester absolument dans un environnement non cible la première fois
  91. 91. MongoDB Cloud Manager Backup ● De loin la solution la plus simple mais nécessite une souscription ● Fonctionne par lecture de l’oplog en continue ● Permet le point in time recovery ● Disponible dans le cloud ou dans votre réseau ● Si auo-herbergé la machine de backup doit être aussi puissante avec encore plus de stockage que vos autres machines
  92. 92. Solution idéale ● Un backup idéal est un backup testé ● Pour des petits volumes MongoDump est suffisant ● Les outils de MongoDB corp sont clairement plus simple à utiliser
  93. 93. Questions ?
  94. 94. Avant de se quitter
  95. 95. Gestion de projet
  96. 96. Gérer son projet Concevoir Développer QualifierEvaluer les performances
  97. 97. ● Un bon schéma doit répondre : ○ Aux besoins métier ○ Aux exigences de performance ● Pour bien connaitre le besoin, il faut le développer et le tester ● Pour savoir si l’application répond aux exigences de performance, il faut la tester ● Les tests doivent commencer avec le développement ● Pour tester rapidement, il faut déployer rapidement En résumé
  98. 98. Agilité Continuous testing DevOps Ingénierie des exigences
  99. 99. Pour continuer
  100. 100. Les liens à connaitre https://docs.mongodb. org/manual/administration/production- checklist/ https://docs.mongodb. org/manual/faq/diagnostics/
  101. 101. Se former https://university.mongodb.com/
  102. 102. Se tenir informer https://www.mongodb.com/presentations/all https://www.mongodb.com/community
  103. 103. #mongodb #bzhcmp @_bruno_b_ @padewitte
  104. 104. Pour compléter http://dba.stackexchange. com/questions/121160/mongodb-mmapv1-vs- wiredtiger-storage-engines https://objectrocket. com/blog/company/mongodb-wiredtiger http://zanon.io/posts/mongodb-storage- engine-mmap-or-wiredtiger

×