comparatifs des familles NoSQL & concepts de modélisation

27/11/2019 1
Comparatifs des familles NoSQL & concepts de modélisation
ConnectedWeek Angers 2019 - Alexandre Bergere

2
Avanade
2016 - 2019
Sr Anls, Data Engineering
Data Analyst & Data Architect
Freelance
ESAIP
Teacher
2016 - x
Data Freelance
2019 - x
OpenClassroom
Mentor
2019 - x
27/11/2019 ConnectedWeek Angers 2019 - Alexandre Bergere
Alexandre BERGERE

Le monde RGBD …
27/11/2019 ConnectedWeek Angers 2019 - Alexandre Bergere 3
1970 1980 1990 2000 2010
Oracle
DB2
SQL Server
Access
MySQL
PostgreSQL
OLTP OLAP
Transaction Analytical

… connait ses limites
De plus en plus de données
Données très variées (iot, réseaux sociaux,
temporaire, schémas évolutifs, séries
temporaires …)
0101010100101010101010101010100101010111101010
1010000101010010100101010101000101010010100100
1010010010101001001010010101010101001010101010
1010101010010101011110101010100001010100101001
0101010100010101001010010010100100101010010010
1001010101010100101010101010101010100101010111
1010101010000101010010100101010101000101010010
1001001010010010101001001010010101010101001010
1010101010101010010101011110101010100001010100
1010010101010100010101001010010010100100101010
0100101001010101010100101010101010101010100101
0101111010101010000101010010100101010101000101
0100101001001010010010101001001010010101010101
0010101010101010101010010101011110101010100001
0101001010010101010100010101001010010010100100
1010100100101001010101010100101010101010101010
1001010101111010101010000101010010100101010101
0001010100101001001010010010101001001010010101
0101010010101010101010101010010101011110101010
1000010101001010010101010100010101001010010010
1001001010100100101001010101010100101010101010
1010101001010101111010110100101010111101001010
1011110100101010111101001010101111010010101011
1101001010101111010010101011110100101010111101
0000000001010101111010010101011110100101010111

No SQL
No SQL couvre plusieurs concepts:
o Non relational databases
o Not Only SQL
o NoSQL

Pourquoi?
o Gestion de grands volumes de données structurées, semi-structurées et non structurées qui
changent rapidement.
o Adaptés aux sprints agiles, itérations rapides de schémas et push fréquents (CI/CD)
o Orienté API & programmation objet permettant une utilisation plus flexible et plus simple
o Technologie distribuée

De nombreuses bases de données …
1970 1980 1990 2000 2010
Oracle
DB2
SQL Server
Access
MySQL
PostgreSQL
Cassandra
HBase
MongoDB
Redis
Elasticsearch
Dynamo DB
Neo4j
CouchDB
Cosmos DB
BigQuery

… et différents modèles
Relational data store HDFS Key Value data store Columnar data store
Search data store Graph data store Document data store

Démystifier les bases NoSQL Avoir quelques technologies
à « essayer à la maison »
Comprendre les différentes
modélisation et leurs cas
d’usage
Objectifs de la présentation

Fichiers orientée colonnes

Optimized Row Columnar

File System
o Gratuit & Open Source (Apache)
o Compression efficace des données
o Conçu pour la performance sur de grands
ensembles de données
o Fichiers divisibles par bloc, permettant une
meilleur optimisation des fichiers
o Performances d'interrogation accrues par
rapport aux magasins de données basés sur
les lignes (python, R, Power BI …)
Pers_ID Surname First_Name City
0 Miller Paul London
1 Ortega Alvaro Valencia
0 Miller Paul London 1 Ortega Alvaro Valencia
0 1 Miller Ortega Paul Alvaro London Valencia
Format ligne
Format colonne

Object store
Azure blob storage
On Premise Cloud Provider

Base de données orientée documents

Document
Pers_ID Surname First_Name City
0 Miller Paul London
1 Ortega Alvaro Valencia
2 Huber Urs Zurich
3 Blanc Gaston Paris
4 Bertolini Fabrizio Rome
Car_ID Model Year Value Pers_ID
101 Bently 1973 100000 0
102 Rolls Royce 1965 330000 0
103 Peugot 1993 500 3
104 Ferrari 2005 150000 4
105 Renault 1998 2000 3
106 Renault 2001 7000 3
107 Smart 1999 2000 2
CAR
PERSON
Document Model
RDBMS

Flexibles

Mongo DB
Leader in The Forrester Wave™: Big Data NoSQL, Q1 2019
Created in 2007 & first release
in 2010.

Des données structures riches
• JSON:
• String, Number, Array, Object, NULL, Boolean.
• BSON:
• Date, BinData, ObjectID, Geo-Location.
• Better storage performance.
ObjectID:
◦ _id : 'DATE[4] | MAC_ADDR[3] | PID[2] | COUNTER[3]

> find
# FIND()
> db.<collection>.find ({<conditions>},{<champs>})
> db.products.find( { qty: { $gt: 25 } }, { item: 1, qty: 1 } )
# Options:
>
.pretty()
.sort() : 1 : ASC, -1: DESC :
sort({‘name’:-1})
.skip() : number
.limit() : number
.count()

> update
# UPDATE()
> db.<collection>.update
({<conditions>},{<champs>},{upsert:true/false},{multi:true/false})
> { "_id": "artist:281", "last_name": "Cotillard", "first_name": "Marion", "birth_date": "1975" }
# Operator Update:
> db.artists.update({"_id": "artist:281"},{ $set : {"last_name" : "Page"}})
> { "_id": "artist:281", "last_name": “Page", "first_name": "Marion", "birth_date": "1975" }
# Replacement Update:
> db.artists.update({"_id": "artist:281"},{"last_name" : "Page"})
> { "_id": "artist:281", "last_name": “Page"}

> update
# UPDATE()
> db.<collection>.update ({<conditions>},{<champs>}
,{upsert:true/false}
,{multi:true/false}
)
> db.pageview.update({'_id':’/companies/users'},{$inc:{'views':1}},{upsert:true})
Upsert: Si valeur à vrai, créé un nouveau document, lorsque le document n’existe pas.
Multi: Si valeur à faux, met à jours uniquement le premier document.

démo
Visualize, understand, and work with your geospatial data
Point and click to construct sophisticated queries, execute
them with the push of a button and Compass will display your
results both graphically and as sets of JSON documents.
A better approach to CRUD makes it easier to interact with your
data
Modify existing documents with greater confidence using the
intuitive visual editor, or insert new documents and clone or
delete existing ones in just a few clicks.

démo

Cas d’usage
o Application Web
o Schémas évolutif ou discontinue
o Développement Agile
o Analytics et logs

https://console.firebase.google.com/
o Temps réel & base document
o Base à froid
o Identification
o Machine Learning
o Hébergement
Firebase

Base de données graph

Qu’est ce qu’un graph ?
Un graph est une collection de noeud (vertices) et de relations (edges), soit un ensemble de noeuds et de
relations qui se connectent les unes aux autres.

RDBMS vs graph
Movie
Review
Person
1..n
1..1
1..1
1..n

Neo4j
Q3 2016 Q1 2019

Cypher
MATCH (variable:Label {propertyKey: propertyValue, propertyKey2: propertyValue2})
RETURN variable
MATCH (m:Movie {released: 2003, tagline: 'Free your mind'})
RETURN m

Cypher
Using a relationship in a query:
MATCH (p:Person)-[rel:ACTED_IN]->(m:Movie {title: 'The Matrix'})
RETURN p, rel, m
Variables:
o p to represent the Person nodes during the query, the
variable
o m to represent the Movie node retrieved
o rel to represent the relationship for the relationship
type, ACTED_IN

démo

Cas d’usage
o Détection de fraudes
o Réseaux sociaux
o Recommandation de produits
o Géolocalisation & recherche de chemin le plus court

Search data store

o Moteur de stockage et de recherche de données
o Recherche par poids de mot :
o Fréquence dans le document
o Taille du document
o Fréquence dans tous les documents
o Moteur de recherche distribué avec de l’analyse en temps réel

Azure Search

Outils

DB-Engines Ranking
https://db-engines.com/en/ranking_trend
Trend Popularity

Hackolade is a visual data modeling software for the leading NoSQL databases, Hadoop, and for Swagger API
design:
https://hackolade.com/

Ressources

Aller plus loin !
https://openclassrooms.com/fr/courses/4462426-maitrisez-les-bases-de-
donnees-nosql/4462433-choisissez-votre-famille-nosql

Mongo DB
MongoDB in action, 2nd
Edition docs.mongodb.com university.mongodb.com

Neo4j
https://neo4j.com/books/
https://neo4j.com/graphacademy/

Firebase
https://firebase.google.com/docs/firestore
https://codelabs.developers.google.com/codelabs/firestore-web

50
alexandre.bergere@gmail.com
27/11/2019 ConnectedWeek Angers 2019 - Alexandre Bergere
https://fr.linkedin.com/in/alexandrebergere @AlexPhile https://www.slideshare.net/AlexandreBERGERE

comparatifs des familles NoSQL & concepts de modélisation

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

comparatifs des familles NoSQL & concepts de modélisation