Le document présente les caractéristiques et l'évolution des big data ainsi que l'importance croissante des bases de données NoSQL comme solution aux défis posés par le volume, la variété et la vélocité des données. Il aborde les approches de gestion des données, notamment MapReduce et différentes catégories de moteurs NoSQL, telles que les moteurs à clé/valeur et orientés document. Enfin, il souligne l'émergence de nouvelles professions liées aux big data, ainsi que les perspectives de marché pour l'avenir de cette technologie.

1. Big Data: NoSQL comme solution

2. Jemli Fathi
3éme année ingénierie génie logiciel à ISSATSo
jemlifathi2013@gmail.com
Je me présente

3. Plan
Définition
Historique
NoSQL: c'est quoi?
Pourquoi le NoSQL?
Les types des moteurs NoSQL
Perspective pour l'avenir du Big Data

4. Définition du Big Data
90% des données d'aujourd'hui
ont été crée dans les 2
dernières années.
Loi de Moore: le volume des
données double tous les 18
mois.
YouTube: 13 millions d'heures et
700 milliards de vues en 2010.
Facebook: 20 To / jour
(compressé).
CERN / LHC: 40 TB / jour (15PB /
an).
Wikipédia:
Les big data, littéralement les "grosses
données", ou méga-données, désignent
des ensembles de données qui
deviennent tellement volumineuses
qu'ils en deviennent difficiles à
travailler avec des outils classiques de
gestion de base de données ou de
gestion de l'information.

5. Les Big Data sont caractérisées par:
Le volume: de l'ordre de Péta-Octets.
La variété: ils viennent de sources hétéroclites.
La vélocité: ils exigent un temps record pour les explorer et les analyser.

6. Les centres de données (Data center)
Un data center est un emplacement physique ou ils sont regroupés des
équipements informatiques (des serveurs, des "mainframes"...).
Il permet pour l'entreprise de stocker des données, les traiter et les protéger.
Cet espace doit être protégé contre les incendies, équipé d'un système
d'alimentation d'urgence, et surveillé par des spécialistes pour éviter les
intrusions et agir rapidement en cas de panne.
Les centres de données sont très gourmands en énergie (2% de la consommation
mondiale).

9. Mobiles

10. Dans la mer

11. Sur des navires

12. Le plus grand centre de données dans le monde (en 2012)

13. Google
Données traitées:
Des pages Web.
Les données stockées sur les différents services
offerts par Google(Drive, Calendar, Gmail...).
Besoin:
Gérer un volume de données de l'ordre de Péta-octets.
Indexer et chercher des mots spécifiques dans
des milliards de pages Web.
Générer du contenu Web dans un temps très réduit.
Historique

14. La problématique
Les données stockées et les
traitements demandés ne peuvent
pas être satisfaits sur une seule
machine quelque soit sa puissance,
même en utilisant un réseau de
machines, les communications
entre les machines rendent les
traitements très lents.

15. Solution: approche centralisée
Map Reduce: 2003
Map:
Distribuer le travail sur plusieurs machines
Reduce:
Récupérer le résultat de chaque machine
et le regrouper

16. Les limites de la solution adoptée
A l'époque, ni les systèmes de
fichiers, ni les bases de données
permettent l'implémentation d'un
tel patron d'architecture.

17. Google File System(GFS)
Un gigantesque système de fichiers
pouvant contenir plusieurs
machines.

18. Big Table
Une base de données pour stocker
les fichiers structurés et qui est
adaptée à GFS.

19. L'architecture innovante adoptée
par Google a inspiré beaucoup de
personnes et a été suivie par
plusieurs solutions, par
exemple(Hadoop, Accumulo,
Cassandra...).

20. Amazon
Données traitées:
Les produits
Les utilisateurs
Les paniers
Besoin:
Stockage et gestion de données très volumineuses.
Historique

21. Solution: approche décentralisée
Dynamo DB:
Un système de base de données
distribué. Conçu pour gérer des
entrepôts de paires clé-valeur.

22. NoSQL: c'est quoi?
NoSQL(Not Only SQL) ≠ SGBDR.
L'unité logique n'y est plus la table.
Les données ne sont en général pas manipulées avec SQL.

23. Les systèmes NoSQL sont conçues pour répondre
aux contraintes suivantes:
Cohérence : tous les nœuds du système voient exactement les mêmes données
au même moment.
Haute disponibilité (Availability) : en cas de panne, les données restent
accessibles.
Tolérance au Partitionnement : le système peut être partitionné

24. Pourquoi le NoSQL?
Des opérateurs, des sites et des entreprises qui ont un besoin excessif pour stocker
et gérer des données massives => il faut trouver de nouvelles solutions!

25. Des solutions pour gérer les données
Les contraintes des moteurs relationnels les rendent très lourdes.
L'évolution du matériel(serveurs...).
La charge associée à l'usage du Web ou du Mobile qui est impossible à prévoir.

26. Des solutions pour faciliter la tache des
développeurs
Le "Web Scale": pouvoir mettre à l'échelle des applications.
Eviter les jointures pour pouvoir distribuer les données.
Eviter le langage SQL qui est un langage déclaratif difficile à maîtriser.
Esprit "Open Source": solutions NoSQL gratuits en les comparant avec les SGBD
relationnels très coûteux.
Les solutions NoSQL sont bâtis pour être distribués.
Utilisation de la mémoire vive pour stocker les données => rapidité d’accès.

27. +
=

28. Les types des moteurs NoSQL
Les moteurs à clé/valeur
Les données sont représentés par des couples clé-valeur
La valeur peut être une simple chaîne de caractères, un objet sérialisé…
La communication avec la BD se résume aux opérateursGET, PUT, DELETE...
Les solutions les plus connues sont Redis(Salvatore Sanfilippo et Pieter Noordhuis),
Riak(Apache) et Voldemort(LinkedIn).

29. Les types des moteurs NoSQL
Les moteurs orienté document
Ce modèle est basé sur le paradigme clé-valeur, sauf que la valeur ici est un fichier
JSON ou XML.
Les implémentations les plus populaires sont CouchDB (Apache), RavenDB (destiné
aux plateformes .NET/Windows) et MongoDB(10Gen).

30. Les types des moteurs NoSQL
Les moteurs orienté colonne
Ce modèle ressemble à une table dans un SGBDR, mais un nombre de colonnes
dynamique.
=>Le nombre de colonnes varie d'un enregistrement à un autre, ce qui évite les
valeurs nulles.
Comme solutions, on retrouve principalement HBase (solution inspirée par Google
BigTable) ainsi que Cassandra (solution inspirée par Dynamo d’Amazon et BigTable
de Google).

31. Les types des moteurs NoSQL
Les moteurs orienté graphe
Ce modèle est basé sur la théorie des graphes.
Il s'appuie sur les notions de nœuds, de relations et de propriétés.
Il facilite la modélisation du monde réel.
La principale solution est Neo4J.

32. Perspective pour l'avenir du Big Data
Apparition de plusieurs métiers et disciplines en relation directe avec les Big
Data, par exemple "Data Analyst", "Data Scientist"...
Les Etats-Unis, en 2017, auront besoin de 500 000 Data Scientist
supplémentaires.
Le marché du Big Data: 125 milliards de dollars en 2015.
Dans les 3 prochaines années, toutes les entreprises auront intégré des solutions
data en Cloud.

33. Merci pour votre attention