SlideShare une entreprise Scribd logo
1  sur  25
Télécharger pour lire hors ligne
Cours : Big DATA
--Chapitre 2 : Traitement des données massives avec Hadoop--
2022-2023 Asma KERKENI asma.kerkeni@gmail.com
Institut Supérieur d'Informatique et Mathématiques
Monastir
Mastère Professionnel en Génie Logiciel– Niveau 2
Licence Génie Logiciel et Système d’information– Niveau 3




 ‐

2
BigData
3
BigData
5




 ‐


BigData
6
BigData et NOSQL– MP2
7
 Dans un centre de données, les serveurs sont empilés dans des baies (Rack)
équipées pour leur fournir l’alimentation, la connexion réseau vers la grappe de
serveur, la ventilation.
 Une baie contient environ 40 serveurs. Un centre de données contient quelques
centaines de baies. Ordre de grandeur : quelques milliers de serveurs par centre.
 Combien des centres chez Google, Facebook, Amazon ... ? Des millions de serveurs.
Data Center
BigData
Classique:
Ramener les données au serveur pour les
traiter
Big Data
Amener les codes de traitements aux
données
 ‐

BigData
11




BigData
12
BigData
 C’est la capacité d'un système à gérer des quantités croissantes de
données, sans diminution significative de ses performances
Plus facile de maintenir une seule machine.
Control centralisé sur les données et les
calculs.
Mise à niveau illimitée de la puissance de
calcul d'un système
Tolérance aux pannes
13
14




BigData
15








BigData
21
BigData
22
 Le système de fichiers distribués Hadoop (HDFS) est basé sur le système de fichiers Google
(GFS).
 Il fournit un système de fichiers distribué conçu pour fonctionner sur du matériel standard et
présente de nombreuses similitudes avec les systèmes de fichiers distribués existants avec
certaines différences.
NB: La liste présentée ci-dessus n’est pas exhaustive!
 Il est hautement tolérant
aux pannes et est conçu
pour être déployé sur du
matériel à faible coût.
23
 MapReduce est un modèle de programmation parallèle pour l'écriture d'applications distribuées
conçu par Google.
 Permet un traitement efficace de grandes quantités de données (plusieurs téraoctets) sur des
grappes étendues (des milliers de nœuds) de matériel standard de manière fiable et tolérante aux
pannes.
NB: La liste présentée ci-dessus n’est pas exhaustive!
24
 Plusieurs outils existent pour permettre:
 L’extraction et le stockage des données de/sur HDFS
 La simplification des opérations de traitement sur ces
données
 La gestion et coordination de la plateforme
 Le monitoring du cluster
NB: La liste présentée ci-dessus n’est pas exhaustive!
29
30




BigData

 Quand un fichier mydata.txt est enregistré dans HDFS, il est décomposé
en grands blocs chaque bloc ayant un nom unique: blk_1, blk_2…
Les fichiers sont physiquement
(64 Mo: Hadoop 1.x et 128 Mo (Hadoop 2.x) ) pour optimiser les temps
de transfert et d'accès
Ces blocs sont ensuite sur plusieurs machines, permettant ainsi de traiter
.
Cela permet aussi de ne pas être limité par d'une
seule machine pour au contraire tirer parti de tout l'espace disponible du
cluster de machines ;

BigData
35
 Le nœud maitre appelé contient et stocke tous les et
ainsi que dans le cluster ( ).
 Une autre machine, appelée fait des
pour le compte du (Ce un helper).
 Les autres nœuds, , sont les nœuds de stockage. Ce sont les qui
ont pour rôle (création, suppression et
réplication de blocs) sur instruction du namenode.
 Le fonctionnement de HDFS est assuré par 3 types de démons: ,
et .
BigData

36
BigData et NOSQL– MP2
45

 Démon s’exécutant sur une machine séparée,
 Contient des métadonnées, pas de données user,
 Permet de retrouver les nœuds qui exécutent les blocs d’un fichier
 Cordonne l’accès aux données dans le système de fichiers.
 La responsabilité principale d’un Namenode est de stocker le namespace
de HDFS :
• L’ arborescence des répertoires
• Les permissions des fichiers
• Le mapping des fichiers aux blocs
 Ces données sont stockées dans deux structures : et
NameNode
BigData
DataNade
47
 Démon esclave qui s'exécute sur chaque machine
esclave.
 Il stocke les données réelles.
 Exécute les demandes de lecture et d’écriture de bas
niveau des clients du système de fichiers.
 Il y a un DataNode au sein du cluster.
 Les Datanodes sont sous les ordres du Namenode et sont
surnommés les .
 Ils sont donc sollicités par les Namenodes lors des opérations de
lecture et d'écriture!

BigData
48
 Hadoop réplique chaque bloc 3 fois (par défaut)
 Concept de
 2 copies de chaque bloc se trouvent dans deux nœuds de
données distincts du même rack afin de réduire la latence,
 La troisième copie est placée sur un autre rack pour
améliorer la redondance et la disponibilité.
 Si le nœud est en panne, le NN le détecte, et s’occupe de répliquer
encore les blocs qui y étaient hébergés pour avoir toujours 3 copies
stockées

BigData
49
 Ne jamais perdre toutes les données si tout le rack tombe en panne.
 Gardez les flux volumineux dans le rack lorsque cela est possible.
 Répartition basée sur l’hypothèse que dans le rack la bande passante est meuilleure et la latence
est faible.

BigData
write
I would like to
write file.txt
64Mo
BlockB
Ok, use DN1 and
DN3
64Mo
BlockB
B
File1.txt
BigData
read
I would like to read
file1.txt
64Mo
BlockB
Ok, 3 blocks:
A: DN1, DN2
B: DN1, DN3
C: DN2, DN3
64Mo
BlockB
B
B
File1.txt
BigData
52




BigData
58
 Il y a deux possibilités pour manipuler HDFS :
 Soit via l'API Java
 Soit directement depuis un terminal via les commandes
$ hdfs dfs <commande hdfs="" /> $ hadoop fs <commande HDFS>
En particulier, les commandes principales sont :
hdfs dfs –ls #listing home dir
hdfs dfs –ls /user #listing user dir…
hdfs dfs -mv <src><dst> #Moves files from source to destination.
hdfs dfs –du –h /user #space used
hdfs dfs –mkdir newdir #creating dir
hdfs dfs –put myfile.csv . #storing a file on HDFS
hdfs dfs –get myfile.csv . #getting a file from HDFS
hdfs dfs –cat myfile.csv . #edit a file from HDFS
BigData
59
BigData

 Fait l’itération d’une fonction sur une liste d’éléments
 Applique la fonction sur les résultats précédents et l’élément courant
( ,[0,1,2,3,4,5])=[0,1,4,9,16,25]
 Reduce/fold
( ,[0,1,2,3,4,5])=(((((0+1)+2)+3)+4)+5)=15
 Retourne un et un seul résultat,
 Applique une fonction sur chaque élément d’une liste
 Retourne une liste de résultats
 Map(f(x),X[1:n]) à [f(X[1]),...,f(X[n])]
BigData
64
BigData et NOSQL– MP2 BigData
65
Approche traditionnelle
BigData
66
 Approche Big Data
BigData
67
 Etape 1: MAP
 Faire des petits traitements en parallèle ligne par ligne: Pas d’opérations de calculs entre
plusieurs lignes.
 2 Types de filtrage dans cet exemple:
• diminuer le nombre de colonnes: nom magasin, valeur des ventes .
• : supprimer les lignes non concernées (année autre que 2018).
BigData
68
 Etape 2: Sort and Shuffle
 Etape faite automatiquement par Hadoop, composée de deux sous étapes:
• Rassemblement des données dans la même machine
• Tri par clé pour regrouper les ventes de même magasin successivement
BigData
69
 Etape 3: Reduce
 Comme le mapper, le code de reducer doit être écrit par l’utilisateur
 Ici; faire la somme des ventes par magasin.
BigData
v2
k2
k v
k v
v1
k1
vn
kn
…
k v
…
k v
 Dans l'étape le but est de partir d'un couple <clé, valeur> et d'y associé de nouveaux
couples <clé, valeur>. Les clés en entrée sont différentes des clés produites par le Map.
 Le nombre de tâches Map ne dépend pas du nombre de nœuds, mais du nombre de blocs
de données en entrée. Chaque bloc se fait assigner une seule tâche Map. BigData
k v
k v
k v
k v
k v
k v
k v v
v v
(~SQL Group by)

BigData
k v
k v
k v
k v
k v v
v v
~ SQL aggregation
k v
 Dans l'étape le but est d'associer toutes les valeurs correspondantes à la même clé. On souhaite donc
rassembler tous les couples <clé, valeur>.
 Pour le traitement, les taches Reduce suivent le même schéma que les taches Map.
 Elles n'ont pas à s'exécuter parallèlement et dès qu'un nœud fini son traitement un autre lui est aussitôt
assigné. BigData
76
 Word Count: Comptage des occurrences des mots
BigData
77

BigData
78
BigData
79
BigData
80

BigData
81

BigData
82
BigData et NOSQL– MP2

BigData
83

BigData
84

BigData
85

BigData
86

BigData
87


S’exécute sur la même machine que le Namenode (machine master)
Divise le travail sur les Mappers et Reducers s’exécutant sur les différents
nœuds.

S’exécute sur chacun des nœuds pour exécuter les vraies tâches de Map-
Reduce.
Choisit de traiter (map et reduce) un bloc sur la même machine que lui
affecté
S’il est déjà occupé, la tâche revient à un autre tracker qui utilisera le réseau
(rare).
BigData
88
 Un job Map-Reduce est divisé en plusieurs tâches et
 Chaque tâche est exécutée sur un nœud du cluster
 Un slot est une unité d’exécution qui représente la capacité du Task Tracker à
exécuter une tâche (map ou reduce) individuellement, à un moment donné.
• D’allouer les ressources (mémoire, CPU…) aux différentes tâches
• De coordonner l’exécution des jobs Map-Reduce
• De réserver et ordonnancer les slots, et de gérer les fautes en réallouant les slots
au besoin.

 Chaque nœud a un certain nombre de slots prédéfinis (Map Slots+ Reduce Slots).
BigData
Job Tracker
Resources allocation – scheduling - monitoring
Task Tracker Task Tracker Task Tracker
Client Client
Map task Map task
Map task Map task
Reduce task
Assign tasks
Periodic reports
BigData
90
BigData
91


 Problème d’exploitation: si on a plusieurs map jobs à exécuter, et que les map slots sont
pleins, les reduce slots ne peuvent pas être utilisés, et vice-versa

 Problème de scalabilité et de goulot d'étranglement : les nombreux datanodes existants ne
sont pas exploités: max de 5000 noeuds et 40,000 tasks s’executant simultanément (yahoo).
 Problème de disponibilité: SPoF (single point of failure)

 Problème d’interoperabilité: impossible d’exécuter des applications non-MR sur HDFS
BigData
92




BigData et NOSQL– MP2
BigData
93




BigData
94







BigData
95







 BigData
Job Tracker
Resources allocation – scheduling - monitoring
Task Tracker Task Tracker Task Tracker
Client Client
Map task Map task
Map task Map task
Reduce task
Resources Manager
Application
Master
Application
Master
container
Node Manager Node Manager
Node Manager
container
container
container
Assign tasks
Periodic reports
Node status
Request resources
MapReduce status
Yarn=Cerveau de l’écosystème de Hadoop
BigData
97
BigData
98
BigData
99
BigData et NOSQL– MP2
BigData
100
BigData
101
BigData
102

 Distributed Shell
 Impala
 Apache Giraph
 Spark
 Autres : https://cwiki.apache.org/confluence/display/HADOOP2/PoweredByYarn
BigData et NOSQL– MP2
103





BigData
104
BigData
105
BigData
106
BigData
107
BigData
108
BigData
109
BigData
110
BigData
111
BigData
112
BigData
113


BigData et NOSQL– MP2
BigData
114
BigData et NOSQL– MP2
115
 Comme indiqué précédemment, Hadoop est développé en Java. Les tâches
MAP/REDUCE sont donc implémentables par le biais d'interfaces Java (il
existe cependant des wrappers très simples permettant d'implémenter ses tâches
dans n'importe quel langage).
 Un programme Hadoop se compile au sein d'un .jar.

 Une classe dite « DRIVER » qui contient la fonction main du programme. Cette
classe se chargera d'informer Hadoop des types de données clef/valeur utilisées, des
classes se chargeant des opérations MAP et REDUCE, et des fichiers HDFS à utiliser
pour les entrées/sorties.
 Une classe MAPPER (qui effectuera l'opération MAP).
 Une classe REDUCER (qui effectuera l'opération REDUCE)
BigData et NOSQL– MP2
116


BigData et NOSQL– MP2
117
 La classe est une classe enveloppante pour les entiers (comme Integer en Java,
mais permettant aussi de modifier les valeurs entières contenues), définie dans
org.apache.hadoop.io.
 Un objet x instance de cette classe est donc un pointeur sur un entier, que l’on peut modifier
par x.set(val) (val étant un entier). On peut déterminer la valeur pointée par x par x.get().
BigData et NOSQL– MP2
118
 La clé key est de type général
 La classe est une classe définie par Hadoop (dans org.apache.hadoop.io.BinaryComparable) qui permet
de coder du texte au standard d’encodage UTF8: c’est une classe sérialisable, et qui permet la comparaison
(compareTo)
 La fonction prend également en entrée un contexte d’exécution (de type Context) dans lequel la
fonction map va écrire ses résultats.
 La fonction doit pouvoir lancer des exceptions, de type IOException ou InterruptedException.
119
 La classe StringTokenizer de java.lang.Object permet de découper une chaîne de caractères en
mots.
 On passe au StringTokenizer nouvellement créé le texte donné en entrée. En fait,
TextInputFormat de la classe Text définit par défaut un mode d’entrée du texte, ligne par ligne.
Donc il y aura ici un processus map par ligne de texte.
 On itère ensuite sur les mots trouvés, séparés par un espace dans value (converti en chaîne de
caractères).
120


121
 Une fonction map doit être définie dans une classe héritant de Mapper (défini dans
org.apache.hadoop.mapreduce.Mapper).
 Cette classe est une classe générique Java :
Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT> :
 KEYIN qui sera le type des clés d’entrée pour la fonction map
 VALUEIN pour le type des valeurs d’entrée,
 KEYOUT pour le type des clés de sortie
 VALUEOUT pour le type des valeurs de sortie
 Mapper<Object, Text, Text, IntWritable> désigne une classe qui va comprendre une
méthode map, prenant des entrées de type Object*Text et rendra des valeurs de type
Text*IntWritable.
122
 La fonction reduce prend en entrée :
 un Text key (clé de sortie de fonctions map de la première phase),
 une liste (Iterable<IntWritable>) de valeurs entières, qui correspondent à toutes les valeurs
associées à la clé key,
 et un Context context qui permet d’écrire une paire de valeurs de sortie, de type
Text*IntWritable pour chaque mot, le nombre de fois qu’il apparaît dans le texte)
123

124
 On itère sur la liste (key, value) en sortie de map et on somme les value, dans sum.
125

126


127

BigData et NOSQL– MP2
128

BigData et NOSQL– MP2
129

BigData et NOSQL– MP2
130


BigData et NOSQL– MP2
131
 Hadoop propose trois modes d'exécution

 tout s’exécute au sein d’une seule JVM, en local.
 mode recommandé en phase de développement (des petits tests et débogages)

 le fonctionnement en mode cluster est simulé par le lancement des tâches dans différentes JVM
exécutées localement.
 La configuration est presque comme celle d'un cluster

 c'est le mode d'exécution réel d'Hadoop.
 Il permet de faire fonctionner le système de fichiers distribué et les tâches sur un ensemble de
machines.
 Une topologie est mise en place.
BigData et NOSQL– MP2
132

BigData et NOSQL– MP2
133

BigData et NOSQL– MP2

134

BigData et NOSQL– MP2

135
BigData et NOSQL– MP2
L3

Contenu connexe

Similaire à ch2-hadoop-L3-2023-4p (1).pdf

Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - IntroductionBlandine Larbret
 
Cours Big Data Chap2
Cours Big Data Chap2Cours Big Data Chap2
Cours Big Data Chap2Amal Abid
 
Distributed programing (hadoop &amp;&amp; java) version finale.pptx
Distributed programing  (hadoop &amp;&amp; java) version finale.pptxDistributed programing  (hadoop &amp;&amp; java) version finale.pptx
Distributed programing (hadoop &amp;&amp; java) version finale.pptxAhmed rebai
 
PerfUG - Hadoop Performances
PerfUG - Hadoop PerformancesPerfUG - Hadoop Performances
PerfUG - Hadoop PerformancesSofian Djamaa
 
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à HadoopCasablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à HadoopBenoît de CHATEAUVIEUX
 
Plongée dans la plateforme hadoop
Plongée dans la plateforme hadoopPlongée dans la plateforme hadoop
Plongée dans la plateforme hadooppkernevez
 
10 big data hadoop
10 big data hadoop10 big data hadoop
10 big data hadoopPatrick Bury
 
10 big data hadoop
10 big data hadoop10 big data hadoop
10 big data hadoopPatrick Bury
 
Mathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel Arkéa
Mathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel ArkéaMathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel Arkéa
Mathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel ArkéaModern Data Stack France
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfMissaouiWissal
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfAhmedToujani1
 
Présentation_HADOOP.pptx
Présentation_HADOOP.pptxPrésentation_HADOOP.pptx
Présentation_HADOOP.pptxbely26
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
 
20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessingPierre-Marie Brunet
 

Similaire à ch2-hadoop-L3-2023-4p (1).pdf (20)

HADOOP + R
HADOOP + RHADOOP + R
HADOOP + R
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - Introduction
 
Cours Big Data Chap2
Cours Big Data Chap2Cours Big Data Chap2
Cours Big Data Chap2
 
spark_intro_1208
spark_intro_1208spark_intro_1208
spark_intro_1208
 
Distributed programing (hadoop &amp;&amp; java) version finale.pptx
Distributed programing  (hadoop &amp;&amp; java) version finale.pptxDistributed programing  (hadoop &amp;&amp; java) version finale.pptx
Distributed programing (hadoop &amp;&amp; java) version finale.pptx
 
PerfUG - Hadoop Performances
PerfUG - Hadoop PerformancesPerfUG - Hadoop Performances
PerfUG - Hadoop Performances
 
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à HadoopCasablanca Hadoop & Big Data Meetup - Introduction à Hadoop
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
 
Chapitre 2 hadoop
Chapitre 2 hadoopChapitre 2 hadoop
Chapitre 2 hadoop
 
Plongée dans la plateforme hadoop
Plongée dans la plateforme hadoopPlongée dans la plateforme hadoop
Plongée dans la plateforme hadoop
 
Hadoop
HadoopHadoop
Hadoop
 
10 big data hadoop
10 big data hadoop10 big data hadoop
10 big data hadoop
 
10 big data hadoop
10 big data hadoop10 big data hadoop
10 big data hadoop
 
Mathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel Arkéa
Mathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel ArkéaMathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel Arkéa
Mathias Herberts fait le retour d'expérience Hadoop au Crédit Mutuel Arkéa
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdf
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdf
 
Les BD NoSQL
Les BD NoSQLLes BD NoSQL
Les BD NoSQL
 
Présentation_HADOOP.pptx
Présentation_HADOOP.pptxPrésentation_HADOOP.pptx
Présentation_HADOOP.pptx
 
Infrastructure as code drupal
Infrastructure as code drupalInfrastructure as code drupal
Infrastructure as code drupal
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
 
20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing
 

Dernier

BOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleur
BOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleurBOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleur
BOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleuridelewebmestre
 
BOW 2024 - 3-2 - Stress thermique impact vaches laitières
BOW 2024 - 3-2 - Stress thermique impact vaches laitièresBOW 2024 - 3-2 - Stress thermique impact vaches laitières
BOW 2024 - 3-2 - Stress thermique impact vaches laitièresidelewebmestre
 
Accompagnement de l'agrivoltaïsme dans le département de la Nièvre
Accompagnement de l'agrivoltaïsme dans le département de la NièvreAccompagnement de l'agrivoltaïsme dans le département de la Nièvre
Accompagnement de l'agrivoltaïsme dans le département de la Nièvreidelewebmestre
 
BOW 2024 - 3-3 - Adaptation des bâtiments pour ruminants au changement clima...
BOW 2024 - 3-3 -  Adaptation des bâtiments pour ruminants au changement clima...BOW 2024 - 3-3 -  Adaptation des bâtiments pour ruminants au changement clima...
BOW 2024 - 3-3 - Adaptation des bâtiments pour ruminants au changement clima...idelewebmestre
 
BOW 2024 - Jardins d'hiver en poulets de chair
BOW 2024 - Jardins d'hiver en poulets de chairBOW 2024 - Jardins d'hiver en poulets de chair
BOW 2024 - Jardins d'hiver en poulets de chairidelewebmestre
 
Compersseur d'air a vis atlas copco avec huile
Compersseur d'air a vis atlas copco avec huileCompersseur d'air a vis atlas copco avec huile
Compersseur d'air a vis atlas copco avec huileMBouderbala
 
BOW 2024 -3-9 - Matelas de logettes à eau refroidie VL
BOW 2024 -3-9 - Matelas de logettes à eau refroidie VLBOW 2024 -3-9 - Matelas de logettes à eau refroidie VL
BOW 2024 -3-9 - Matelas de logettes à eau refroidie VLidelewebmestre
 
BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...
BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...
BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...idelewebmestre
 
BOW 2024 - 3-6 - Adaptation climat chaud Porcs
BOW 2024 - 3-6 - Adaptation climat chaud PorcsBOW 2024 - 3-6 - Adaptation climat chaud Porcs
BOW 2024 - 3-6 - Adaptation climat chaud Porcsidelewebmestre
 
BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...
BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...
BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...idelewebmestre
 
Bow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminants
Bow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminantsBow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminants
Bow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminantsidelewebmestre
 
BOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcins
BOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcinsBOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcins
BOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcinsidelewebmestre
 
BOW 2024 - L'enrichissement du milieu des chèvres laitières
BOW 2024 - L'enrichissement du milieu des chèvres laitièresBOW 2024 - L'enrichissement du milieu des chèvres laitières
BOW 2024 - L'enrichissement du milieu des chèvres laitièresidelewebmestre
 
SciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdfSKennel
 
BOW 2024 - 3 1 - Les infrastructures équestres et le changement climatique
BOW 2024 - 3 1 - Les infrastructures équestres et le changement climatiqueBOW 2024 - 3 1 - Les infrastructures équestres et le changement climatique
BOW 2024 - 3 1 - Les infrastructures équestres et le changement climatiqueidelewebmestre
 
Actions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdf
Actions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdfActions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdf
Actions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdfalainfahed961
 
Cours polymère presentation powerpoint 46 pages
Cours polymère presentation powerpoint 46 pagesCours polymère presentation powerpoint 46 pages
Cours polymère presentation powerpoint 46 pagesPierreFournier32
 
Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...
Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...
Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...idelewebmestre
 
BOW 2024-3-10 - Batcool Petits ruminants
BOW 2024-3-10 - Batcool Petits ruminantsBOW 2024-3-10 - Batcool Petits ruminants
BOW 2024-3-10 - Batcool Petits ruminantsidelewebmestre
 

Dernier (20)

BOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleur
BOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleurBOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleur
BOW 2024 - 3-5 - Des solutions numériques pour se préparer aux pics de chaleur
 
BOW 2024 - 3-2 - Stress thermique impact vaches laitières
BOW 2024 - 3-2 - Stress thermique impact vaches laitièresBOW 2024 - 3-2 - Stress thermique impact vaches laitières
BOW 2024 - 3-2 - Stress thermique impact vaches laitières
 
Accompagnement de l'agrivoltaïsme dans le département de la Nièvre
Accompagnement de l'agrivoltaïsme dans le département de la NièvreAccompagnement de l'agrivoltaïsme dans le département de la Nièvre
Accompagnement de l'agrivoltaïsme dans le département de la Nièvre
 
BOW 2024 - 3-3 - Adaptation des bâtiments pour ruminants au changement clima...
BOW 2024 - 3-3 -  Adaptation des bâtiments pour ruminants au changement clima...BOW 2024 - 3-3 -  Adaptation des bâtiments pour ruminants au changement clima...
BOW 2024 - 3-3 - Adaptation des bâtiments pour ruminants au changement clima...
 
BOW 2024 - Jardins d'hiver en poulets de chair
BOW 2024 - Jardins d'hiver en poulets de chairBOW 2024 - Jardins d'hiver en poulets de chair
BOW 2024 - Jardins d'hiver en poulets de chair
 
Compersseur d'air a vis atlas copco avec huile
Compersseur d'air a vis atlas copco avec huileCompersseur d'air a vis atlas copco avec huile
Compersseur d'air a vis atlas copco avec huile
 
BOW 2024 -3-9 - Matelas de logettes à eau refroidie VL
BOW 2024 -3-9 - Matelas de logettes à eau refroidie VLBOW 2024 -3-9 - Matelas de logettes à eau refroidie VL
BOW 2024 -3-9 - Matelas de logettes à eau refroidie VL
 
BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...
BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...
BOW 2024 - 3-8 - Adaptation des bâtiments d'élevages de volailles au changeme...
 
BOW 2024 - 3-6 - Adaptation climat chaud Porcs
BOW 2024 - 3-6 - Adaptation climat chaud PorcsBOW 2024 - 3-6 - Adaptation climat chaud Porcs
BOW 2024 - 3-6 - Adaptation climat chaud Porcs
 
BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...
BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...
BOW 2024 - Nouveaux modes de logement pour des veaux de boucherie avec accès ...
 
Bow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminants
Bow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminantsBow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminants
Bow 2024 - Plein air à l'intérieur des bâtiments d'élevage de ruminants
 
BOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcins
BOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcinsBOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcins
BOW 24 - De la réflexion de groupe à l'immersion dans des bâtiments porcins
 
Note agro-climatique n°2 - 17 Avril 2024
Note agro-climatique n°2 - 17 Avril 2024Note agro-climatique n°2 - 17 Avril 2024
Note agro-climatique n°2 - 17 Avril 2024
 
BOW 2024 - L'enrichissement du milieu des chèvres laitières
BOW 2024 - L'enrichissement du milieu des chèvres laitièresBOW 2024 - L'enrichissement du milieu des chèvres laitières
BOW 2024 - L'enrichissement du milieu des chèvres laitières
 
SciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_APC.pdf
 
BOW 2024 - 3 1 - Les infrastructures équestres et le changement climatique
BOW 2024 - 3 1 - Les infrastructures équestres et le changement climatiqueBOW 2024 - 3 1 - Les infrastructures équestres et le changement climatique
BOW 2024 - 3 1 - Les infrastructures équestres et le changement climatique
 
Actions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdf
Actions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdfActions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdf
Actions du vent sur les bâtiments selon lEurocode 1 – Partie 1-4.pdf
 
Cours polymère presentation powerpoint 46 pages
Cours polymère presentation powerpoint 46 pagesCours polymère presentation powerpoint 46 pages
Cours polymère presentation powerpoint 46 pages
 
Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...
Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...
Accompagnement de l'agrivoltaisme - Focus sur l'étude système en Merthe et Mo...
 
BOW 2024-3-10 - Batcool Petits ruminants
BOW 2024-3-10 - Batcool Petits ruminantsBOW 2024-3-10 - Batcool Petits ruminants
BOW 2024-3-10 - Batcool Petits ruminants
 

ch2-hadoop-L3-2023-4p (1).pdf

  • 1. Cours : Big DATA --Chapitre 2 : Traitement des données massives avec Hadoop-- 2022-2023 Asma KERKENI asma.kerkeni@gmail.com Institut Supérieur d'Informatique et Mathématiques Monastir Mastère Professionnel en Génie Logiciel– Niveau 2 Licence Génie Logiciel et Système d’information– Niveau 3      ‐  2 BigData 3 BigData 5      ‐   BigData
  • 2. 6 BigData et NOSQL– MP2 7  Dans un centre de données, les serveurs sont empilés dans des baies (Rack) équipées pour leur fournir l’alimentation, la connexion réseau vers la grappe de serveur, la ventilation.  Une baie contient environ 40 serveurs. Un centre de données contient quelques centaines de baies. Ordre de grandeur : quelques milliers de serveurs par centre.  Combien des centres chez Google, Facebook, Amazon ... ? Des millions de serveurs. Data Center BigData Classique: Ramener les données au serveur pour les traiter Big Data Amener les codes de traitements aux données  ‐  BigData 11     BigData
  • 3. 12 BigData  C’est la capacité d'un système à gérer des quantités croissantes de données, sans diminution significative de ses performances Plus facile de maintenir une seule machine. Control centralisé sur les données et les calculs. Mise à niveau illimitée de la puissance de calcul d'un système Tolérance aux pannes 13 14     BigData 15         BigData
  • 4. 21 BigData 22  Le système de fichiers distribués Hadoop (HDFS) est basé sur le système de fichiers Google (GFS).  Il fournit un système de fichiers distribué conçu pour fonctionner sur du matériel standard et présente de nombreuses similitudes avec les systèmes de fichiers distribués existants avec certaines différences. NB: La liste présentée ci-dessus n’est pas exhaustive!  Il est hautement tolérant aux pannes et est conçu pour être déployé sur du matériel à faible coût. 23  MapReduce est un modèle de programmation parallèle pour l'écriture d'applications distribuées conçu par Google.  Permet un traitement efficace de grandes quantités de données (plusieurs téraoctets) sur des grappes étendues (des milliers de nœuds) de matériel standard de manière fiable et tolérante aux pannes. NB: La liste présentée ci-dessus n’est pas exhaustive! 24  Plusieurs outils existent pour permettre:  L’extraction et le stockage des données de/sur HDFS  La simplification des opérations de traitement sur ces données  La gestion et coordination de la plateforme  Le monitoring du cluster NB: La liste présentée ci-dessus n’est pas exhaustive!
  • 5. 29 30     BigData   Quand un fichier mydata.txt est enregistré dans HDFS, il est décomposé en grands blocs chaque bloc ayant un nom unique: blk_1, blk_2… Les fichiers sont physiquement (64 Mo: Hadoop 1.x et 128 Mo (Hadoop 2.x) ) pour optimiser les temps de transfert et d'accès Ces blocs sont ensuite sur plusieurs machines, permettant ainsi de traiter . Cela permet aussi de ne pas être limité par d'une seule machine pour au contraire tirer parti de tout l'espace disponible du cluster de machines ;  BigData 35  Le nœud maitre appelé contient et stocke tous les et ainsi que dans le cluster ( ).  Une autre machine, appelée fait des pour le compte du (Ce un helper).  Les autres nœuds, , sont les nœuds de stockage. Ce sont les qui ont pour rôle (création, suppression et réplication de blocs) sur instruction du namenode.  Le fonctionnement de HDFS est assuré par 3 types de démons: , et . BigData 
  • 6. 36 BigData et NOSQL– MP2 45   Démon s’exécutant sur une machine séparée,  Contient des métadonnées, pas de données user,  Permet de retrouver les nœuds qui exécutent les blocs d’un fichier  Cordonne l’accès aux données dans le système de fichiers.  La responsabilité principale d’un Namenode est de stocker le namespace de HDFS : • L’ arborescence des répertoires • Les permissions des fichiers • Le mapping des fichiers aux blocs  Ces données sont stockées dans deux structures : et NameNode BigData DataNade 47  Démon esclave qui s'exécute sur chaque machine esclave.  Il stocke les données réelles.  Exécute les demandes de lecture et d’écriture de bas niveau des clients du système de fichiers.  Il y a un DataNode au sein du cluster.  Les Datanodes sont sous les ordres du Namenode et sont surnommés les .  Ils sont donc sollicités par les Namenodes lors des opérations de lecture et d'écriture!  BigData 48  Hadoop réplique chaque bloc 3 fois (par défaut)  Concept de  2 copies de chaque bloc se trouvent dans deux nœuds de données distincts du même rack afin de réduire la latence,  La troisième copie est placée sur un autre rack pour améliorer la redondance et la disponibilité.  Si le nœud est en panne, le NN le détecte, et s’occupe de répliquer encore les blocs qui y étaient hébergés pour avoir toujours 3 copies stockées  BigData
  • 7. 49  Ne jamais perdre toutes les données si tout le rack tombe en panne.  Gardez les flux volumineux dans le rack lorsque cela est possible.  Répartition basée sur l’hypothèse que dans le rack la bande passante est meuilleure et la latence est faible.  BigData write I would like to write file.txt 64Mo BlockB Ok, use DN1 and DN3 64Mo BlockB B File1.txt BigData read I would like to read file1.txt 64Mo BlockB Ok, 3 blocks: A: DN1, DN2 B: DN1, DN3 C: DN2, DN3 64Mo BlockB B B File1.txt BigData 52     BigData
  • 8. 58  Il y a deux possibilités pour manipuler HDFS :  Soit via l'API Java  Soit directement depuis un terminal via les commandes $ hdfs dfs <commande hdfs="" /> $ hadoop fs <commande HDFS> En particulier, les commandes principales sont : hdfs dfs –ls #listing home dir hdfs dfs –ls /user #listing user dir… hdfs dfs -mv <src><dst> #Moves files from source to destination. hdfs dfs –du –h /user #space used hdfs dfs –mkdir newdir #creating dir hdfs dfs –put myfile.csv . #storing a file on HDFS hdfs dfs –get myfile.csv . #getting a file from HDFS hdfs dfs –cat myfile.csv . #edit a file from HDFS BigData 59 BigData   Fait l’itération d’une fonction sur une liste d’éléments  Applique la fonction sur les résultats précédents et l’élément courant ( ,[0,1,2,3,4,5])=[0,1,4,9,16,25]  Reduce/fold ( ,[0,1,2,3,4,5])=(((((0+1)+2)+3)+4)+5)=15  Retourne un et un seul résultat,  Applique une fonction sur chaque élément d’une liste  Retourne une liste de résultats  Map(f(x),X[1:n]) à [f(X[1]),...,f(X[n])] BigData 64 BigData et NOSQL– MP2 BigData
  • 9. 65 Approche traditionnelle BigData 66  Approche Big Data BigData 67  Etape 1: MAP  Faire des petits traitements en parallèle ligne par ligne: Pas d’opérations de calculs entre plusieurs lignes.  2 Types de filtrage dans cet exemple: • diminuer le nombre de colonnes: nom magasin, valeur des ventes . • : supprimer les lignes non concernées (année autre que 2018). BigData 68  Etape 2: Sort and Shuffle  Etape faite automatiquement par Hadoop, composée de deux sous étapes: • Rassemblement des données dans la même machine • Tri par clé pour regrouper les ventes de même magasin successivement BigData
  • 10. 69  Etape 3: Reduce  Comme le mapper, le code de reducer doit être écrit par l’utilisateur  Ici; faire la somme des ventes par magasin. BigData v2 k2 k v k v v1 k1 vn kn … k v … k v  Dans l'étape le but est de partir d'un couple <clé, valeur> et d'y associé de nouveaux couples <clé, valeur>. Les clés en entrée sont différentes des clés produites par le Map.  Le nombre de tâches Map ne dépend pas du nombre de nœuds, mais du nombre de blocs de données en entrée. Chaque bloc se fait assigner une seule tâche Map. BigData k v k v k v k v k v k v k v v v v (~SQL Group by)  BigData k v k v k v k v k v v v v ~ SQL aggregation k v  Dans l'étape le but est d'associer toutes les valeurs correspondantes à la même clé. On souhaite donc rassembler tous les couples <clé, valeur>.  Pour le traitement, les taches Reduce suivent le même schéma que les taches Map.  Elles n'ont pas à s'exécuter parallèlement et dès qu'un nœud fini son traitement un autre lui est aussitôt assigné. BigData
  • 11. 76  Word Count: Comptage des occurrences des mots BigData 77  BigData 78 BigData 79 BigData
  • 13. 84  BigData 85  BigData 86  BigData 87   S’exécute sur la même machine que le Namenode (machine master) Divise le travail sur les Mappers et Reducers s’exécutant sur les différents nœuds.  S’exécute sur chacun des nœuds pour exécuter les vraies tâches de Map- Reduce. Choisit de traiter (map et reduce) un bloc sur la même machine que lui affecté S’il est déjà occupé, la tâche revient à un autre tracker qui utilisera le réseau (rare). BigData
  • 14. 88  Un job Map-Reduce est divisé en plusieurs tâches et  Chaque tâche est exécutée sur un nœud du cluster  Un slot est une unité d’exécution qui représente la capacité du Task Tracker à exécuter une tâche (map ou reduce) individuellement, à un moment donné. • D’allouer les ressources (mémoire, CPU…) aux différentes tâches • De coordonner l’exécution des jobs Map-Reduce • De réserver et ordonnancer les slots, et de gérer les fautes en réallouant les slots au besoin.   Chaque nœud a un certain nombre de slots prédéfinis (Map Slots+ Reduce Slots). BigData Job Tracker Resources allocation – scheduling - monitoring Task Tracker Task Tracker Task Tracker Client Client Map task Map task Map task Map task Reduce task Assign tasks Periodic reports BigData 90 BigData 91    Problème d’exploitation: si on a plusieurs map jobs à exécuter, et que les map slots sont pleins, les reduce slots ne peuvent pas être utilisés, et vice-versa   Problème de scalabilité et de goulot d'étranglement : les nombreux datanodes existants ne sont pas exploités: max de 5000 noeuds et 40,000 tasks s’executant simultanément (yahoo).  Problème de disponibilité: SPoF (single point of failure)   Problème d’interoperabilité: impossible d’exécuter des applications non-MR sur HDFS BigData
  • 15. 92     BigData et NOSQL– MP2 BigData 93     BigData 94        BigData 95         BigData
  • 16. Job Tracker Resources allocation – scheduling - monitoring Task Tracker Task Tracker Task Tracker Client Client Map task Map task Map task Map task Reduce task Resources Manager Application Master Application Master container Node Manager Node Manager Node Manager container container container Assign tasks Periodic reports Node status Request resources MapReduce status Yarn=Cerveau de l’écosystème de Hadoop BigData 97 BigData 98 BigData 99 BigData et NOSQL– MP2 BigData
  • 17. 100 BigData 101 BigData 102   Distributed Shell  Impala  Apache Giraph  Spark  Autres : https://cwiki.apache.org/confluence/display/HADOOP2/PoweredByYarn BigData et NOSQL– MP2 103      BigData
  • 20. 112 BigData 113   BigData et NOSQL– MP2 BigData 114 BigData et NOSQL– MP2 115  Comme indiqué précédemment, Hadoop est développé en Java. Les tâches MAP/REDUCE sont donc implémentables par le biais d'interfaces Java (il existe cependant des wrappers très simples permettant d'implémenter ses tâches dans n'importe quel langage).  Un programme Hadoop se compile au sein d'un .jar.   Une classe dite « DRIVER » qui contient la fonction main du programme. Cette classe se chargera d'informer Hadoop des types de données clef/valeur utilisées, des classes se chargeant des opérations MAP et REDUCE, et des fichiers HDFS à utiliser pour les entrées/sorties.  Une classe MAPPER (qui effectuera l'opération MAP).  Une classe REDUCER (qui effectuera l'opération REDUCE) BigData et NOSQL– MP2
  • 21. 116   BigData et NOSQL– MP2 117  La classe est une classe enveloppante pour les entiers (comme Integer en Java, mais permettant aussi de modifier les valeurs entières contenues), définie dans org.apache.hadoop.io.  Un objet x instance de cette classe est donc un pointeur sur un entier, que l’on peut modifier par x.set(val) (val étant un entier). On peut déterminer la valeur pointée par x par x.get(). BigData et NOSQL– MP2 118  La clé key est de type général  La classe est une classe définie par Hadoop (dans org.apache.hadoop.io.BinaryComparable) qui permet de coder du texte au standard d’encodage UTF8: c’est une classe sérialisable, et qui permet la comparaison (compareTo)  La fonction prend également en entrée un contexte d’exécution (de type Context) dans lequel la fonction map va écrire ses résultats.  La fonction doit pouvoir lancer des exceptions, de type IOException ou InterruptedException. 119  La classe StringTokenizer de java.lang.Object permet de découper une chaîne de caractères en mots.  On passe au StringTokenizer nouvellement créé le texte donné en entrée. En fait, TextInputFormat de la classe Text définit par défaut un mode d’entrée du texte, ligne par ligne. Donc il y aura ici un processus map par ligne de texte.  On itère ensuite sur les mots trouvés, séparés par un espace dans value (converti en chaîne de caractères).
  • 22. 120   121  Une fonction map doit être définie dans une classe héritant de Mapper (défini dans org.apache.hadoop.mapreduce.Mapper).  Cette classe est une classe générique Java : Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT> :  KEYIN qui sera le type des clés d’entrée pour la fonction map  VALUEIN pour le type des valeurs d’entrée,  KEYOUT pour le type des clés de sortie  VALUEOUT pour le type des valeurs de sortie  Mapper<Object, Text, Text, IntWritable> désigne une classe qui va comprendre une méthode map, prenant des entrées de type Object*Text et rendra des valeurs de type Text*IntWritable. 122  La fonction reduce prend en entrée :  un Text key (clé de sortie de fonctions map de la première phase),  une liste (Iterable<IntWritable>) de valeurs entières, qui correspondent à toutes les valeurs associées à la clé key,  et un Context context qui permet d’écrire une paire de valeurs de sortie, de type Text*IntWritable pour chaque mot, le nombre de fois qu’il apparaît dans le texte) 123 
  • 23. 124  On itère sur la liste (key, value) en sortie de map et on somme les value, dans sum. 125  126   127  BigData et NOSQL– MP2
  • 24. 128  BigData et NOSQL– MP2 129  BigData et NOSQL– MP2 130   BigData et NOSQL– MP2 131  Hadoop propose trois modes d'exécution   tout s’exécute au sein d’une seule JVM, en local.  mode recommandé en phase de développement (des petits tests et débogages)   le fonctionnement en mode cluster est simulé par le lancement des tâches dans différentes JVM exécutées localement.  La configuration est presque comme celle d'un cluster   c'est le mode d'exécution réel d'Hadoop.  Il permet de faire fonctionner le système de fichiers distribué et les tâches sur un ensemble de machines.  Une topologie est mise en place. BigData et NOSQL– MP2
  • 25. 132  BigData et NOSQL– MP2 133  BigData et NOSQL– MP2  134  BigData et NOSQL– MP2  135 BigData et NOSQL– MP2 L3