About ME
• Docteur en Informatique
• Enseignante à l’INSAT
• Chercheuse au laboratoire LIP2
BIG DATA
Tout a commencé quand l’Homme a
voulu se faire entendre…
Au début, c’était un peu
difficile…
Ensuite,
un peu mieux
Il a inventé le livre pour tout
noter
Et le téléphone pour tout dire
Il voulait une
machine qui
ferait le travail
à sa place…
Puis
partager ses
trouvailles
avec
d’autres
A début, une
poignée de
privilégiés
avaient le
monopole de
l’information sur
Internet
Les données étaient
statiques, fiables et peu
nombreuses
Le bon
vieux
temps…
Et puis un jour…
Et LÀ…
Et avec l’arrivée des Plateformes
Mobiles Intelligentes
Le Cloud
Les objets connectés
Les données ont explosé!
BIG DATA
Quand peut-on dire qu’on a
affaire à des BIG DATA?
Les n-V
VOLUME
VARIÉTÉ
VÉLOCITÉ
VÉRACITÉ
VALEU
R
VISIBILITÉ
(6ème V?)
Comment Gérer ces
Données?
MOTTO 1
Stocker d’Abord,
Réfléchir Ensuite
MOTTO 2
Ce sont les Données qui
pilotent le Traitement
(pas le contraire)
MOTTO 3
Arrêter de réfléchir en
Relationnel!
MOTTO 4
Absolument TOUTES les
Données sont
Importantes!
Facepalm
Mais tout de
même…
Comment Gérer ces
2 Grands Challenges
Stockage Traitement
STOCKAGE
Scale UP vs. Scale OUT
Scale
UP
Scale
OUT
Propriétés
ACID
Atomicité
Consistance
Isolation
Durabilité
P
A
CThéorème
CAP
Availability
Consistanc
e
Partitionneme
NO GO!
Propriétés
BASE
Basically Available
Soft-State
Eventual
Consistency
Autres Préoccupations
Formats de données variés
Formats qui changent dans le temps
Besoin d’un Système de Gestion des
Données
 Tolérant au Partitionnement
 Grande Disponibilité
 Schéma flexible
 Accès ...
Systèmes de Gestion des
Données BIG DATA
NOSQL
Hadoop HDFS
TRAITEMENT
Diviser pour Régner
Diviser pour Régner
Répartir les données
Dupliquer les données
Répartir et Dupliquer
les Traitements
Diviser pour Régner
Tolérance aux
Pannes
Parallélisme de
Données
Répartition
de Charge
Parallélisme de
Traitement
Map-Reduce
Mappers Reducers
Mélanger &
Ordonner
BIG DATA
Everyone talks about it
Nobody knows how to do it
Everyone thinks everyone else is
doing it
So everyone claims th...
liliasfaxi.wix.com/liliasfax
i
Thinking big
Thinking big
Thinking big
Prochain SlideShare
Chargement dans…5
×

Thinking big

1 830 vues

Publié le

Thinking BIG ou comment passer des Data aux BIG DATA!
(pour un meilleur rendu, installer la police Poiret One: http://www.1001freefonts.com/d/5561/poiret_one.zip )

Publié dans : Logiciels

Thinking big

  1. 1. About ME • Docteur en Informatique • Enseignante à l’INSAT • Chercheuse au laboratoire LIP2
  2. 2. BIG DATA Tout a commencé quand l’Homme a voulu se faire entendre…
  3. 3. Au début, c’était un peu difficile…
  4. 4. Ensuite, un peu mieux
  5. 5. Il a inventé le livre pour tout noter
  6. 6. Et le téléphone pour tout dire
  7. 7. Il voulait une machine qui ferait le travail à sa place…
  8. 8. Puis partager ses trouvailles avec d’autres
  9. 9. A début, une poignée de privilégiés avaient le monopole de l’information sur Internet
  10. 10. Les données étaient statiques, fiables et peu nombreuses Le bon vieux temps…
  11. 11. Et puis un jour…
  12. 12. Et LÀ…
  13. 13. Et avec l’arrivée des Plateformes Mobiles Intelligentes
  14. 14. Le Cloud
  15. 15. Les objets connectés
  16. 16. Les données ont explosé!
  17. 17. BIG DATA
  18. 18. Quand peut-on dire qu’on a affaire à des BIG DATA? Les n-V
  19. 19. VOLUME
  20. 20. VARIÉTÉ
  21. 21. VÉLOCITÉ
  22. 22. VÉRACITÉ
  23. 23. VALEU R
  24. 24. VISIBILITÉ (6ème V?)
  25. 25. Comment Gérer ces Données?
  26. 26. MOTTO 1 Stocker d’Abord, Réfléchir Ensuite
  27. 27. MOTTO 2 Ce sont les Données qui pilotent le Traitement (pas le contraire)
  28. 28. MOTTO 3 Arrêter de réfléchir en Relationnel!
  29. 29. MOTTO 4 Absolument TOUTES les Données sont Importantes! Facepalm
  30. 30. Mais tout de même… Comment Gérer ces
  31. 31. 2 Grands Challenges Stockage Traitement
  32. 32. STOCKAGE
  33. 33. Scale UP vs. Scale OUT Scale UP Scale OUT
  34. 34. Propriétés ACID Atomicité Consistance Isolation Durabilité
  35. 35. P A CThéorème CAP Availability Consistanc e Partitionneme NO GO!
  36. 36. Propriétés BASE Basically Available Soft-State Eventual Consistency
  37. 37. Autres Préoccupations Formats de données variés Formats qui changent dans le temps
  38. 38. Besoin d’un Système de Gestion des Données  Tolérant au Partitionnement  Grande Disponibilité  Schéma flexible  Accès très rapide en écriture Diminuer les jointures Accepter les redondances Laisser le contrôle à l’utilisateur
  39. 39. Systèmes de Gestion des Données BIG DATA
  40. 40. NOSQL Hadoop HDFS
  41. 41. TRAITEMENT
  42. 42. Diviser pour Régner
  43. 43. Diviser pour Régner Répartir les données Dupliquer les données Répartir et Dupliquer les Traitements
  44. 44. Diviser pour Régner Tolérance aux Pannes Parallélisme de Données Répartition de Charge Parallélisme de Traitement
  45. 45. Map-Reduce Mappers Reducers Mélanger & Ordonner
  46. 46. BIG DATA Everyone talks about it Nobody knows how to do it Everyone thinks everyone else is doing it So everyone claims they are doing it
  47. 47. liliasfaxi.wix.com/liliasfax i

×