Jeudis du Libre - MySQL comme Document Store

Safe Harbor Statement
The following is intended to outline our generalproduct direction. It isintended for
information purpose only, and may not be incorporated into any contract. It isnot a
commitment to deliver any material, code, or functionality, and should not be relied up in
making purchasing decisions. Thedevelopment, release and timing of any features or
functionality described for Oracle's product remains at thesole discretion of Oracle.
Copyright @ 2017 Oracle and/or its affiliates. All rights reserved.
3 / 90

about.me/lefred
Qui suis-je ?
4 / 90

Frédéric Descamps
@lefred
Évangéliste MySQL
BidouilleMySQLdepuis la version 3.23
devops croyant et praticant
MySQLCommunity Manager depuis mai
2016
5 / 90

SGDB & MySQL
Base de données Relationnelles
6 / 90

Bases de données Relationnelles
Intégrité des données
7 / 90

normalization
8 / 90

normalization
contraintes (clés étrangères, ...)
9 / 90

normalization
Atomicité, Cohérence, Isolarion et Durabilité - ACID
10 / 90

normalization
transactions
11 / 90

normalization
transactions
SQL
12 / 90

normalization
transactions
SQL
puissant language de requêtes
13 / 90

SGDB & MySQL
Base de données NoSQL
14 / 90

NoSQL ou Document Store
Sans schéma
15 / 90

Sans schéma
pas de design de schémas, pasde normalization, de clés étrangères, de
contraintes, de type de données (data types), etc...
16 / 90

Sans schéma
dévelopement initial très rapide
17 / 90

Sans schéma
Structures flexibles des données
18 / 90

Sans schéma
objets et tableaux imbriqués
19 / 90

Sans schéma
certaines données sont simplement naturellement non structurées et ne
peuvent être modélisées de façon optimale dans un modèle relationel
20 / 90

Sans schéma
certaines données sont simplement naturellement non structurées et ne
peuvent être modélisées de façon optimale dans un modèle relationel
persistence des objets sans utilisation d'un ORM(mapping objet-relationnel)
21 / 90

NoSQL ou Document Store (2)
JSON
22 / 90

JSON
proche du frontend
23 / 90

JSON
proche du frontend
"natif" en Javascript
24 / 90

JSON
proche du frontend
utilisé en Node.js
25 / 90

JSON
proche du frontend
utilisé en Node.js
Aprentissage facile, et facile àutiliser
26 / 90

Les challenges actuels
les développeurs veulent avancer plus rapidement
27 / 90

le délai de mise en productionest un coût supérieur
28 / 90

le délai de mise en productionest un coût supérieur
rapidité de création de prototypes, itérations rapides, ...
29 / 90

Avantages de SQL et de NoSQL
NoSQL SQL
30 / 90

Et donc, Bases de données Relationnelles ou Document Store ??
31 / 90

Et donc, Bases de données Relationnelles ou Document Store ??
Pourquoi pas les deux ?
32 / 90

Quelles sont les étapes ?
NoSQL avec MySQL
33 / 90

Faire de MySQL un Document Store
34 / 90

1.support de JSON datatype
35 / 90

2.CRUD Operations
36 / 90

2.CRUD Operations
3.X Plugin
37 / 90

2.CRUD Operations
3.X Plugin
4.X protocol &MySQLShell
38 / 90

MySQL 5.7
Support de JSON
39 / 90

Support JSON
Type natif de données (native datatype)
40 / 90

Support JSON
Valeurs en JSON stockées dansdes tables MySQL
41 / 90

Support JSON
Format de stokage JSON en binaire (UTF8MB4)
42 / 90

Support JSON
Conversion à partir des typesSQL"natifs" vers des valeurs JSON
43 / 90

Support JSON
Functions de manipulation du JSON
44 / 90

Support JSON
extraire (JSON_EXTRACT, JSON_KEYS, ...)
45 / 90

Support JSON
inpecter (JSON_CONTAINS, ...)
46 / 90

Support JSON
modifier (JSON_SET, JSON_INSERT, JSON_REMOVE, ...)
47 / 90

Support JSON
création de tableaux et d'objets (JSON_ARRAY, JSON_OBJECT)
48 / 90

Support JSON
création de tableaux et d'objets (JSON_ARRAY, JSON_OBJECT)
recherche d'objets (JSON_SEARCH)
49 / 90

Support JSON (2)
Inline SQL JSON path expressions
SELECT doc->'$.object.array[0].item' FROM some_table
50 / 90

Support JSON (2)
Inline SQL JSON path expressions
SELECT doc->'$.object.array[0].item' FROM some_table
Opérateurs booléens (comparaison de valeurs JSON, ...)
foo = doc->'$. eld'
51 / 90

Support JSON (3)
le meilleur pour la fin...
52 / 90

Support JSON (3)
Colonnes Générées/Virtuelles(generated/virtual columns)
53 / 90

Support JSON (3)
Index de données JSON
54 / 90

Support JSON (3)
Clés étrangères vers données JSON
55 / 90

Support JSON (3)
Vues SQL pour des données JSON
56 / 90

Support JSON (3)
Vues SQL pour des données JSON
ALTER TABLE test_features
ADD COLUMN street VARCHAR(30)
GENERATED ALWAYS AS
(json_unquote(json_extract(`feature`,'$.properties.STREET')))
VIRTUAL;
57 / 90

Document Store
Opérations CRUD
58 / 90

Opérations CRUD
Create, Read, Update et Delete (CRUD) sont les 4 opérations qui peuvent être exécutées
sur une collection (DocumentStore Schema) ou une table.
CREATE - collection.add()
59 / 90

Opérations CRUD (2)
READ - collection.find()
60 / 90

UPDATE - collection.modify()
61 / 90

DELETE - collection.remove()
62 / 90

Document Store
X Plugin
63 / 90

X Plugin
Plugin du serveurMySQLqui active la communication en utilisant le X Protocol.
Ce pluging:
64 / 90

X Plugin
Ce pluging:
supporte les clients ayant implémenté le X DevAPI
65 / 90

X Plugin
Ce pluging:
transformeMySQLen Document Store.
66 / 90

X Plugin
Ce pluging:
transformeMySQLen Document Store.
mysql> INSTALL PLUGIN mysqlx SONAME "mysqlx.so"
ou
mysqlsh -u user --classic --dba enableXProtocol
67 / 90

Document Store
X Protocol
68 / 90

X Protocol
Protocole qui permet de communiquer avec un MySQLServer sur lequel X Plugin est activé.
69 / 90

X Protocol
Protocole qui permet de communiquer avec un MySQLServer sur lequel X Plugin est activé.
Et donc le X Protocol permet d´effectuer des opéarations CRUD et SQL, l´authentification
via SASL, le "streaming" (pipelining) des commandes.
70 / 90

Document Store
The X DevAPI
71 / 90

Opérations orientées Document via SQL
Très puissant
72 / 90

Très puissant
Permet la construction de requêtes complexes
73 / 90

Très puissant
Mais... encore et toujours difficile à utiliser pour les non initiés
74 / 90

Très puissant
Mais... encore et toujours difficile à utiliser pour les non initiés
CREATE TABLE product (
id VARCHAR(32) GENERATED ALWAYS AS (JSON_EXTRACT(doc, '$.id')) STORED,
doc JSON
);
INSERT INTO product VALUYES (1, '{...}');
SELECT * FROM product WHERE JSON_EXTRACT(doc, '$. eld') = value;
75 / 90

The X DevAPI
Abstraction au-dessus de SQL
76 / 90

The X DevAPI
Axé sur 4 opérations CRUD debase (Create, Read, Update, Delete)
77 / 90

The X DevAPI
Native Language API
78 / 90

The X DevAPI
Native Language API
Pas nécessaire de connaître le SQL
79 / 90

The X DevAPI
Native Language API
X Protocol
80 / 90

The X DevAPI
Native Language API
X Protocol
les requêtes CRUD sont encodées auniveaudu protocol
81 / 90

Exemple
mysql-py> mybooks. nd("Title LIKE 'Und%'")
[
{
"Authors": [
"Alexander Sasha Pachev",
"Sasha Pachev"
],
"ISBN-13": "9780596009571",
"Language": "en",
"Publisher": ""O'Reilly Media, Inc."",
"Title": "Understanding MySQL Internals",
"Year": "2007",
"_id": "ce9fd5b762ffe6117055685b359e77d5"
}
]
82 / 90

Exemple
mysql-py> mybooks. nd("Title LIKE 'Und%'")
[
{
"Authors": [
"Alexander Sasha Pachev",
"Sasha Pachev"
],
"ISBN-13": "9780596009571",
"Language": "en",
"Title": "Understanding MySQL Internals",
"Year": "2007",
"_id": "ce9fd5b762ffe6117055685b359e77d5"
}
]
EtMySQLle transforme de manière transparente en:
SELECT doc FROM `books`.`mybooks`
WHERE (JSON_UNQUOTE(JSON_EXTRACT(doc,'$.Title'))
LIKE 'Und%');
83 / 90

Document Store & X DevAPI & MySQL Shell
petite démo ?
84 / 90

Démo (1)
[fred@imac2 ~] $ mysqlsh --py
Welcome to MySQL Shell 1.0.8-rc
Copyright (c) 2016, 2017, Oracle and/or its af liates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
af liates. Other names may be trademarks of their respective
owners.
Type 'help', 'h' or '?' for help, type 'quit' or 'q' to exit.
Currently in Python mode. Use sql to switch to SQL mode and execute queries.
mysql-py> c root@localhost
Creating a Session to 'root@localhost'
Enter password:
Node Session successfully established. No default schema selected.
85 / 90

Démo (2)
mysql-py> db=session.create_schema("books")
mysql-py> mybooks=db.create_collection('mybooks')
mysql-py> from isbntools.app import *
mysql-py> isbn=9781449314286
mysql-py> doc=meta(str(isbn))
mysql-py> doc["Annee"]=doc.pop("Year")
mysql-py> mybooks.add(doc)
Query OK, 1 item affected (0.10 sec)
mysql-py> isbn=9780596009571
mysql-py> isbn=9781430230571
86 / 90

Démo (3)
mysql-py> mybooks. nd()
[
{
"Authors": [
"Baron Schwartz",
"Peter Zaitsev",
"Vadim Tkachenko"
],
"ISBN-13": "9781449314286",
"Language": "en",
"Title": "High Performance MySQL",
"Annee": "2012",
"_id": "66f01d3762ffe6117055685b359e77d5"
},
...
]
3 documents in set (0.00 sec)
87 / 90

Démo (4)
mysql-py>
mybooks. nd("Title LIKE '%MySQL%'"). elds(["Title","Annee"]).sort("Annee")
[
{
"Annee": "2007",
"Title": "Understanding MySQL Internals"
},
{
"Annee": "2012",
"Title": "High Performance MySQL"
}
]
mysql-py>
mybooks.create_index("Annee_idx"). eld("Annee","TEXT(4)", False).execute();
88 / 90

Démo (5)
mysql> show create table books.mybooksG
*************************** 1. row ***************************
Table: mybooks
Create Table: CREATE TABLE `mybooks` (
`doc` json DEFAULT NULL,
`_id` varchar(32) GENERATED ALWAYS
AS (json_unquote(json_extract(`doc`,'$._id'))) STORED NOT NULL,
`$ix_t4_589943C550621CA4FF9A742745C76C955B6DDE8E` text
GENERATED ALWAYS
AS (json_unquote(json_extract(`doc`,'$.Annee'))) VIRTUAL,
PRIMARY KEY (`_id`),
KEY `Annee_idx` (`$ix_t4_589943C550621CA4FF9A742745C76C955B6DDE8E`(4))
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
89 / 90

Merci
Des Questions ?
90 / 90

Jeudis du Libre - MySQL comme Document Store

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (14)

En vedette

En vedette (20)

Similaire à Jeudis du Libre - MySQL comme Document Store

Similaire à Jeudis du Libre - MySQL comme Document Store (20)

Plus de Frederic Descamps

Plus de Frederic Descamps (20)

Jeudis du Libre - MySQL comme Document Store