ToursJUG mongoDB

Cedric Gatay - c.gatay@code-troopers.com
MongoDB
What’s up doc ?

Cedric Gatay
• Code-Troopers

• Packt

• github.com/CedricGatay

• @Cedric_Gatay
2

NoSQL
3
Clef /Valeur Colonne Graphe Document

Clef /Valeur
• Énormes volumes

• Stockage basique

• Pas de types de données

• Opérations simples
4

Colonne
• Stockage inverse du relationnel

• Index pour retrouver une donnée

5

Graphe
• Stocke les noeuds et arcs

• Requêtes évoluées

6

Document
• Ensemble de champs nommés

• typage optionnel

• Requêtes évoluées

• Opérations plus complètes
7

MongoDB
8

MongoDB
9

Caractéristiques
• Pas de schéma

• Pas de transactions "longues"

• Pas de jointures
10

Caractéristiques
• Stockage en BSON

• JSON

• Typage

• Compressé
11

Caractéristiques
• Hautes performances

• C++

• Grosse utilisation mémoire

• Lectures / Écritures rapides
12

Caractéristiques
• Scalable

• failover automatique

• distribution des lectures

• distribution des données
13

Populaire
14

Document
15
> cg = {name : 'Cedric Gatay', age : 30}
> db.troopers.save(cg)
• Enregistrer une entrée

Requêtes
16
> db.troopers.find()
{
_id : ObjectId("ef43a2c954236e2d65a81c5e"),
name : 'Cedric Gatay',
age : 30
}

Requêtes
17
> db.troopers.find({name: 'Darth Vader'})
{
_id : ObjectId("133713371337133713371337"),
name : 'Darth Vader',
age : 42
}

Opérateurs
18
# $all, $exists, $mod, $ne, $in, $nin, $nor,
# $or, $size, $type, $lt, $lte, $gt, $gte
> db.troopers.find({age: {$gte : 30}}).count()
1
• Opérateurs

Documents imbriqués
19
{
_id : ObjectId("ef43a2c954236e2d65a81c5e"),
name : 'Cedric Gatay',
age : 30,
projects : [{
name : 'Aucard de Tours',
stack : 'Android',
status : 'Done'
},{
name : 'Nowly',
stack : 'Android'
}]
}

Map / Reduce
• Répartition de calcul

• Permet la fusion de données

• Fonctions JavaScript
20

Utilisation depuis Java
• Morphia

• mapping pseudo JPA

• POJO pour collections

• API pour les queries
21

Morphia POJO
22
@Entity("employees")
class Employee {
@Id ObjectId id;
String firstName, lastName;
}

Morphia Query
23
Datastore ds = new Morphia(/*...*/);
!
ds.save(new Employee("John", "Doe"));
!
Employee john =
ds.find(Employee.class)
.field("firstName")
.equal("John")
.get();

Morphia : résumé
• JPA est adapté au relationnel

• Le modèle document est assez éloigné

• Certains concepts ne sont pas traduits
24

Utilisation depuis Java
• Jongo

• Jackson pour le marshalling

• Driver Java attaqué directement
25

Jongo POJO
26
class Employee {
ObjectId id;
String firstName, lastName;
}

Jongo Query
27
MongoCollection employees =
jongo.getCollection("employees");
!
employees.insert("{firstName:’John’,
lastName:’Doe’}"));
!
Employee john =
employees
.findOne("{firstName:’John’}")
.as(Employee.class);

Jongo : résumé
• Attention aux refactors

• Utilise directement le Driver Java

• Le plus rapide !
28

MongoDB
Retour d’expérience

SRMvision
30
• 10/2008

• 2 développeurs

!
• 01/2014

• 7 développeurs

Cedric Gatay - c.gatay@code-troopers.com31
Gestion d’incidents

Gestion de projets

Gestion de parc

Technos
34

Retour aux sources

Besoin initial
• Restitution statistiques décideurs

• Analyse de la qualité de prestations

• Résolution incidents

• Complétude parc
36

Stats v1
• État de l'art

• Business intelligence

• Intégration Mondrian
37

Architecture
• Mondrian rempli par un cron

• Activité SQL lourde

• Construction cube CPU bound

• Schéma OLAP dans un XML

• Requêtes SQL en base

• Requêtes MDX en base
38

Avantages
• Fonctionne bien

• Mise en place rapide

• OLAP est connu
39

Inconvénients
!
• Complexe à comprendre et à maintenir

• Apprentissage du MDX

• Mises à jour difficiles

• Synchronisation SQL > OLAP
40

Pendant ce temps…

Analyse utilisation
plateforme
• Google Analytics like

• Collecte info browser / user

• Prétexte d'essai NoSQL
42

État de l'art NoSQL
!
• Etudes différents paradigmes

• MongoDB

• approche document évolutive

• communauté active

• le plus proche de notre besoin
43

Réalisation
• Collecte en JS vers un web service

• Back-office de consultation

!
!
• En 2 mois de stage...
44

En temps réel
45

Statistiques

Évolution des stats
• Construire d’autres stats

• Permettre au client de construire ses stats

• Alléger le système
47

Une stat
• Un ensemble d'axes

• Documents adaptés

• Des mesures

• Fonctions mathématiques d’agrégation
48

Architecture
• Morphia pour un mapping pseudo JPA

• QueryDSL pour des queries typesafe
49

Problèmes
• Passage SQL vers NoSQL

• Possibilité de resynchronisation

• Not Only NoSQL
50

Fonctionnement
• Écriture des documents

• Transformation d’entités vers documents

• Trigger JPA pour lancer la copie
51

Youpi les données sont
dans MongoDB
Il ne reste "qu’à" les transformer
52

Sous le capot
Comment ça se passe pour les développeurs ?

Décrire les documents
• Un POJO par document

• Annotations

• pour les axes

• pour les mesures
54

Faire les calculs
• Écrire les fonctions de calcul

• Associer une annotation par fonction
55

Stocker les stats
The easy part…
56

Résumé
• Transformation des entités en documents

• Manipulation avec le Map/Reduce
57

IHM
• Complètement générique

• Basée sur les annotations

• Traductions à ajouter
58

Dynamique

Tableaux de bord

Stats v2
90 jh
61

Difficultés

MongoDB
• Appréhender le modèle document

• Comprendre le map/reduce

• Idempotence

• JavaScript

• Debug
63

Faiblesses du système
• JavaScript dans le Java

• tests importants (> 80% couverture)

• IntelliJ IDEA @Language
64

• Another point of failure?

• dépendance non critique

• mongodump/mongorestore
65

• Pré-requis supplémentaire

• Procédure de déploiement

• Tests d’intégration
66

Bilan
• Système compréhensible

• Liberté laissée aux clients

!
• On a mis en prod MongoDB !
67

Astuces

Astuces
• GUI

• MongoHub (Mac)

• RoboMongo
69

Astuces
• Montée en version

• lire le changelog

• tester dans une sandbox
70

Astuces
• Debug Map/Reduce

• substitution emit

• print

• tojson
71

Merci
72

Credits
• https://www.flickr.com/photos/mongodb/7416213536/sizes/o/

• https://www.flickr.com/photos/jenny-pics/6110974997/sizes/o/

• https://www.flickr.com/photos/artbystevejohnson/8479160301/sizes/o/

• https://www.flickr.com/photos/wbaiv/6268300461/sizes/o/

• https://www.flickr.com/photos/st3f4n/4360212268/sizes/o/

• https://www.flickr.com/photos/afagen/8297146248/sizes/o

• https://www.flickr.com/photos/anubisabyss/9639217548/sizes/o

• https://www.flickr.com/photos/garrettheath/9371876094/sizes/o

• Trademarks belong to their respective owners
73

ToursJUG mongoDB

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (9)

Similaire à ToursJUG mongoDB

Similaire à ToursJUG mongoDB (20)

Plus de Cedric Gatay

Plus de Cedric Gatay (6)

ToursJUG mongoDB