MongoDB : la base NoSQL qui réinvente la gestion de données

1. MongoDB
la base NoSQL qui réinvente la gestion de données
11/28/13
@dwursteisen
!1

2. MongoDB
Big Database
@DWURSTEISEN

3. http://fr.slideshare.net/soatexpert

5. WARNING

7. Il n’y a pas si longtemps que cela,
un site internet faisait sensation…

10. 20:00:00

11. Ce site déboite

12. Oups ! Database Error

13. no more space disk available

20. IG
B
TA
A
D

21. oat
nS
tio
ima
An
013
ce 2
ran
xF
vox
De

22. Caractéristiques
(sous le capot)

23. Orienté document

25. {!
}
!
"enigme1",
!
"_id":
v e n d r e d i ",
du
e": "Enigme
"titr
e!
a t i o n ": t r u
"activ

26. {!
!
"enigme1",
!
"_id":
v e n d r e d i ",
du
e": "Enigme
"titr
e!
a t i o n ": t r u
"activ
}
{!
}!
"_id": "enig
me1", !
"activation"
: true, !
"joueurs": [
!
{ "email": "
john@doe.com
], !
", " s c o r e ":
20 }!
"indices": [
!
{!
"contenu": "
je suis ton
p è r e ", !
" f l a s h c o d e ":
"111-111-111
1 ", !
"joueurs": [
{ "email": "
}
john@doe.com
]!
" } ]!

27. Sans schéma

28. CREATE TABLE example_default_now (
id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
data VARCHAR(100),
created TIMESTAMP DEFAULT NOW()
);

29. CREATE TABLE example_default_now (
id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
data VARCHAR(100),
created TIMESTAMP DEFAULT NOW()
);

30. Sans transaction

31. Transaction

32. Transaction

33. Transaction

34. Transaction

35. Transaction

36. Transaction

37. Sans transaction

38. Sans transaction

39. Sans transaction

40. Sans transaction

41. Update atomique

42. Sans jointure

43. {!
}!
"_id": "enig
me1", !
"activation"
: true, !
"joueurs": [
!
{ "email": "
john@doe.com
], !
", " s c o r e ":
20 }!
"indices": [
!
{!
"contenu": "
je suis ton
p è r e ", !
" f l a s h c o d e ":
"111-111-111
1 ", !
"joueurs": [
{ "email": "
}
john@doe.com
]!
" } ]!

44. {!
}!
"_id": "enig
me1", !
"activation"
: true, !
"joueurs": [
!
{ "email": "
john@doe.com
], !
", " s c o r e ":
20 }!
"indices": [
!
{!
"contenu": "
je suis ton
p è r e ", !
" f l a s h c o d e ":
"111-111-111
1 ", !
"joueurs": [
{ "email": "
}
john@doe.com
]!
" } ]!
jointure ?

45. Distribué

46. Document = 16Mb Hard Limit

47. Design
des structures
des données

48. Type
Exemple
Int / Double / …
{ a: 1 }
Boolean
{ b: true }
String
{ c: ‘hello’ }
Array
{ d: [1, 2, 3] }
Date
{e: ISODate("2012-12-19T06:01:17.171Z")
ObjectId
{f: ObjectId(‘123456’)}
Object
{g: {a: 1, b: true}}
…
http://docs.mongodb.org/manual/reference/bson-types/

49. Organiser
les données selon leurs
Utilisations

51. ci gît la
4ème forme
normale

52. Question :
Structure de donnée pour
l’affichage d’un message ?

53. 2

54. Auteur
2

55. Auteur
2
Contenu

56. Auteur
Contenu
2
Recouicoui

57. {
_id: ObjectId(11),

58. {
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,

59. {
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,

60. {
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…

61. {
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: [ObjectId(22), ObjectId(33)]

62. {
!
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: 2, // compteur

63. {
!
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: [{user: {…}, {user: {…}]

68. {
!
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: [{user: {…}, {user: {…}]

69. {
!
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: [{user: {…} * 789013]

70. {
!
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: [{user: {…} * 789013]
> 16Mb

71. 2

72. 2
Information partielle

73. {
_id: ObjectId(11),
user: {mail: « user1 », avatar: « http://…. »,
content: « blabla »,
…
recouicoui: {
users: [{user: {…} * 5],
compteur: 789013
}

74. Le design d’une
bonne
complexe
structure de donnée est

75. Query language
s
u
o
v
z
e
l
?
r
a
s
i
P
a
ç
n
a
r
F
select * from table

76. Le shell : mongo

77. Lecture

78. Sélection d’un document
db.collection.findOne(…)

79. Query
Sélection d’un document
db.collection.findOne(…)

80. Sélection de documents
db.collection.find(…)

81. Sélection et mise à jour de document
db.collection.findAndModify(…)

82. Champ unique
{_id: ‘azerty’}

83. Champ unique
{_id: ‘azerty’}
{!
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"activation": true!
}
✓

84. Champ unique
{_id: ‘azerty’}
{!
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"activation": true!
✓
"_id": "azerty", !
"activation": true,!
"titre": "Enigme du vendredi"!
✓
}
{!
}

85. Champ unique
{_id: ‘azerty’}
{!
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"activation": true!
✓
"_id": "azerty", !
"activation": true,!
"titre": "Enigme du vendredi"!
✓
"_id": "azerty12345", !
"activation": true,!
"titre": "Enigme du vendredi"!
✗
}
{!
}
{!
}

86. Sous document spécifique
{auteur: {nom: ‘Wursteisen’}}

87. Sous document spécifique
{auteur: {nom: ‘Wursteisen’}}
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen"}!
}
✓

88. Sous document spécifique
{auteur: {nom: ‘Wursteisen’}}
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen"}!
}
✓
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen", "prénom":"David"}!
}
✗

89. Sous document spécifique
{auteur: {prénom: ‘David’, nom: ‘Wursteisen’}}

90. Sous document spécifique
{auteur: {prénom: ‘David’, nom: ‘Wursteisen’}}
{!
"_id": "azerty", !
"auteur": {"prénom":"David", "nom":"Wursteisen"}!
}
✓

91. Sous document spécifique
{auteur: {prénom: ‘David’, nom: ‘Wursteisen’}}
{!
"_id": "azerty", !
"auteur": {"prénom":"David", "nom":"Wursteisen"}!
}
✓
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen", "prénom":"David"}!
}
✗

92. Sous champ
{‘auteur.nom’: ‘Wursteisen’}

93. Sous champ
{‘auteur.nom’: ‘Wursteisen’}
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen"}!
}
✓

94. Sous champ
{‘auteur.nom’: ‘Wursteisen’}
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen"}!
}
✓
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen", "prénom":"David"}!
}
✓

95. Sous champ
{‘auteur.nom’: ‘Wursteisen’}
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen"}!
}
✓
{!
"_id": "azerty", !
"auteur": {"nom":"Wursteisen", "prénom":"David"}!
✓
}
{!
"_id": "azerty", !
"auteur": {"nom":"Bob", "prénom":"David"}!
}
✗

96. Champ unique
{recouicoui: {$gt: 20}}

97. Champ unique
{recouicoui: {$gt: 20}}
{!
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"recouicoui": 50!
}
✓

98. Champ unique
{recouicoui: {$gt: 20}}
{!
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"recouicoui": 50!
✓
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"recouicoui": 10!
✗
}
{!
}

99. Champ unique
{recouicoui: {$gt: 20}}
{!
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"recouicoui": 50!
✓
"_id": "azerty", !
"titre": "Enigme du vendredi", !
"recouicoui": 10!
✗
"_id": "azerty", !
"titre": "Enigme du vendredi", !
✗
}
{!
}
{!
!
}

100. Écriture

101. Insertion d’un document
db.collection.insert(…)

102. Insertion d’un document
db.collection.insert(…)
Document

103. Update d’un document
db.collection.update(<query>, <update>)

104. Update d’un document
db.collection.update(<query>, <update>)
modifier

105. Update de documents
db.collection.update(…, …, {multi: true})

106. Écrire un document
db.collection.update(…, {prénom:’David’})

107. Écrire un document
db.collection.update(…, {prénom:’David’})
{!
"_id": "azerty", !
"nom": "wursteisen", !
"prénom": "bob"!
}

108. Écrire un document
db.collection.update(…, {prénom:’David’})
{!
"_id": "azerty", !
"nom": "wursteisen", !
"prénom": "bob"!
}
{!
"_id": "azerty", !
"prénom": "David"!
}

109. Modifier un champ
db.collection.update(…, {$set: {prénom:’David’}})

110. Modifier un champ
db.collection.update(…, {$set: {prénom:’David’}})
{!
"_id": "azerty", !
"nom": "wursteisen", !
"prénom": "bob"!
}

111. Modifier un champ
db.collection.update(…, {$set: {prénom:’David’}})
{!
"_id": "azerty", !
"nom": "wursteisen", !
"prénom": "bob"!
}
{!
"_id": "azerty", !
"nom": "wursteisen", !
"prénom": "David"!
}

112. Incrémentation
db.collection.update(…, {$inc: {recouicoui: 2 }})

113. Incrémentation
db.collection.update(…, {$inc: {recouicoui: 2 }})
{!
"_id": "azerty", !
"nom": "wursteisen", !
"recouicoui": 5!
}

114. Incrémentation
db.collection.update(…, {$inc: {recouicoui: 2 }})
{!
"_id": "azerty", !
"nom": "wursteisen", !
"recouicoui": 5!
}
{!
"_id": "azerty", !
"nom": "wursteisen", !
"recouicoui": 7!
}

115. Ajout dans un tableau
db.collection.update(…, {$push: {contact: ‘Robert’ }})

116. Ajout dans un tableau
db.collection.update(…, {$push: {contact: ‘Robert’ }})
{!
"_id": "azerty", !
"contact": ["John", "Bob"]
}
!

117. Ajout dans un tableau
db.collection.update(…, {$push: {contact: ‘Robert’ }})
{!
"_id": "azerty", !
"contact": ["John", "Bob"]
!
}
{!
"_id": "azerty", !
"contact": ["John", "Bob", "Robert"]
}
!

118. Index

119. Index simple
db.couicoui.ensureIndex({ name:1 })

120. Index composé
db.couicoui.ensureIndex({ name:1, date:-1 })

121. Géo index
db.couicoui.ensureIndex({ geo: ‘2d‘ })

123. Index avec Time To Live
db.couicoui.ensureIndex({ name:1 }, {expireAfterSeconds: 3600})

124. db.find({…}).explain()

125. {
"cursor" : "<Cursor Type and Index>",
"n" : <num>,
"nscanned" : <num>,
"scanAndOrder" : <boolean>,
…
}

126. Replica Set

127. Driver
Primary
Secondary
Secondary

128. Driver
Écriture
Primary
Secondary
Secondary

129. Driver
Écriture
Primary
Réplication
Secondary
Secondary

130. Driver
Écriture
Primary
Réplication
Secondary
Réplication
Secondary

131. Driver
Écriture
Primary
Réplication
Secondary
Lecture
Réplication
Secondary

132. Lecture
Driver
Écriture
Primary
Réplication
Secondary
Lecture
Réplication
Secondary

133. Primary
Secondary
Secondary

134. Primary
Heartbeats
Secondary
Secondary

135. Primary
Heartbeats
Secondary
Secondary

136. Primary
Secondary
Secondary

137. Primary
Secondary
Secondary
Primary ?

138. Primary
Primary
Secondary
Primary ?

139. Réplication
Primary
Primary
Secondary
Primary ?

140. Réplication
Primary
Primary
Secondary
Primary ?

141. Réplication
Primary
Heartbeats
Primary
Secondary
Primary ?

142. Réplication
Primary
Heartbeats
Primary
Secondary
Primary ?

143. Réplication
Secondary
Heartbeats
Primary
Secondary
Primary ?

144. Réplication
Secondary
Heartbeats
Primary
Secondary
Primary ?

152. Write Concern
notification d’écriture

153. collection.insert(…, WriteConcern.ACKNOWLEDGED);
!
db.getLastError();
(dépendant du driver)

154. w=1
collection.insert(…, WriteConcern.ACKNOWLEDGED);
!
db.getLastError();
(dépendant du driver)

155. w=1
collection.insert(…, WriteConcern.ACKNOWLEDGED);
!
db.getLastError();
bloquant
(dépendant du driver)

156. disable acknowledgment
w=0

157. Driver
Mongod

158. Driver
write
Mongod

159. write
Mongod
getLastError
w=0
Driver

160. getLastError
response
write
Mongod
getLastError
w=0
Driver

161. acknowledgment
w=1

162. Driver
Mongod

163. Driver
write
Mongod

164. write
Mongod
getLastError
w=1
Driver

165. write
getLastError
w=1
Driver
Mongod
apply

166. Mongod
apply
getLastError
response
write
getLastError
w=1
Driver

167. bloquant
Mongod
apply
getLastError
response
write
getLastError
w=1
Driver

168. journal
j=1

169. Driver
Mongod

170. Driver
write
Mongod

171. write
Mongod
getLastError
w=1,j=1
Driver

172. write
getLastError
w=1,j=1
Driver
Mongod
apply

173. write
getLastError
w=1,j=1
Driver
Mongod
apply
write to
journal

174. write to
journal
apply
getLastError
response
write
getLastError
w=1,j=1
Driver
Mongod

175. bloquant
write to
journal
apply
getLastError
response
write
getLastError
w=1,j=1
Driver
Mongod

176. replica acknowledgment
w=2

177. Driver
Primary
Secondary
Secondary

178. Driver
write
Primary
Secondary
Secondary

179. write
Primary
Secondary
Secondary
getLastError
w=2
Driver

180. write
getLastError
w=2
Driver
Primary
apply
Secondary
Secondary

181. write
getLastError
w=2
Driver
apply
Secondary
Secondary
replicate
Primary

182. write
getLastError
w=2
Driver
apply
Secondary
Secondary
replicate
Primary

183. apply
Secondary
replicate
Primary
getLastError
response
write
Secondary
getLastError
w=2
Driver

184. apply
Secondary
replicate
Primary
getLastError
response
Driver
getLastError
w=2
write
Secondary
bloquant

185. Secondary
replicate
apply
replicate
Primary
getLastError
response
Driver
getLastError
w=2
write
Secondary
bloquant

186. Sharding
Répartition

187. collection

188. collection
Shard1
Shard2
Shard3

189. collection
Shard1
{x: min}
Shard2
{x: -11}
Shard3
{x: 50}
{x: max}

190. Avec une clé de sharding

191. db.collect.find({key: …})
Mongos

192. db.collect.find({key: …})
Mongos

193. db.collect.find({key: …})
Mongos

194. db.collect.find({key: …})
Mongos

195. db.collect.find({key: …})
Mongos

196. Avec une clé non shardé

197. db.collect.find({other: …})
Mongos

198. db.collect.find({other: …})
Mongos

199. db.collect.find({other: …})
Mongos

200. Question :
Clé de sharding pour gérer
les messages d’un utilisateur ?

201. Répartition
Cardinalité
Isolation
en écriture
_id
Fiabilité

202. ObjectId(« 507f1f77bcf86cd799439011 »)
http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24

203. Timestamp
ObjectId(« 507f1f77bcf86cd799439011 »)
http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24

204. Timestamp
ObjectId(« 507f1f77bcf86cd799439011 »)
Host
http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24

205. Timestamp
PID
ObjectId(« 507f1f77bcf86cd799439011 »)
Host
http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24

206. Timestamp
PID
ObjectId(« 507f1f77bcf86cd799439011 »)
Host
Compteur
http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24

207. Timestamp
ObjectId(« 507f1f77bcf86cd799439011 »)
http://www.mongodb.com/presentations/advanced-sharding-features-mongodb-24

208. Répartition
Cardinalité
Isolation
en écriture
_id
✓ ✗
✗
Fiabilité
✗

209. db.collect.insert({…})
Mongos

210. db.collect.insert({…})
Mongos

211. db.collect.find({…})
Mongos

212. db.collect.find({…})
Mongos

213. db.collect.find({…})
Mongos

214. Répartition
Cardinalité
Isolation
en écriture
_id
hash(_id)
Fiabilité
✓ ✗ ✗
✓ ✓ ✗
✗
✗

215. db.collect.insert({…})
Mongos

216. db.collect.insert({…})
Mongos

217. db.collect.insert({…})
Mongos

218. db.collect.insert({…})
Mongos

219. db.collect.find({…})
Mongos

220. db.collect.find({…})
Mongos

221. db.collect.find({…})
Mongos

222. Répartition
Cardinalité
Isolation
en écriture
_id
hash(_id)
user
Fiabilité
✓ ✗ ✗ ✗
✓ ✓ ✗ ✗
✗ ✓ ✓ ✓

223. db.collect.insert({…})
Mongos

224. db.collect.insert({…})
Mongos

225. db.collect.insert({…})
Mongos

226. db.collect.insert({…})
Mongos

227. db.collect.find({…})
Mongos

228. db.collect.find({…})
Mongos

229. db.collect.find({…})
Mongos

230. Répartition
Cardinalité
Isolation
en écriture
_id
hash(_id)
user
user, time
✓
✓
✗
✓
✗
✓
✓
✓
✗
✗
✓
✓
Fiabilité
✗
✗
✓
✓

231. db.collect.insert({…})
Mongos

232. db.collect.insert({…})
Mongos

233. db.collect.insert({…})
Mongos

234. db.collect.insert({…})
Mongos

235. db.collect.find({…})
Mongos

236. db.collect.find({…})
Mongos

237. db.collect.find({…})
Mongos

238. Aller plus loin…

239. https://education.mongodb.com

240. http://www.meetup.com/Paris-MongoDB-User-Group/

241. Demo

242. https://github.com/dwursteisen/atelier-mongodb

243. Questions ?
@dwursteisen

244. Crédits photos

245. http://bit.ly/HNvkfZ
http://bit.ly/1hTARzS
http://bit.ly/HGb1BO
http://bit.ly/1hrvZ7z
http://bit.ly/1d5OVTr
http://bit.ly/17SGXwC
http://bit.ly/1awf0XL
http://bit.ly/HNvRP4
http://bit.ly/MMaRr8

246. http://bit.ly/HGf2Gh
http://bit.ly/1967kv2
http://bit.ly/1c6uCUA