Lilia Sfaxi, profile picture
Téléchargé parLilia Sfaxi
38,995 vues

BigData_Chp2: Hadoop & Map-Reduce

Le document présente l'architecture et le fonctionnement du framework Hadoop, qui comprend le système de fichiers distribué HDFS et le modèle de traitement MapReduce. HDFS permet de stocker de grandes quantités de données sur un cluster, tandis que MapReduce facilite le traitement parallèle de ces données. Plusieurs outils et composants, tels que YARN et des bibliothèques comme Pig et Hive, viennent compléter Hadoop pour simplifier l'extraction, le stockage et le traitement des données.

Intégrer la présentation

Téléchargé 4 515 fois
Chp2 – Hadoop et MapReduce Architecture et Comportement Big Data GL4 (Option Management des Systèmes d'Information) - 2016 Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 1
HADOOP Chp2 – Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 2
Hadoop •  Le projet Hadoop consiste en deux grandes parties: §  Stockage des données : HDFS (Hadoop Distributed File System) §  Traitement des données : MapReduce / Yarn •  Principe : §  Diviser les données §  Les sauvegarder sur une collection de machines, appelées cluster §  Traiter les données directement là où elles sont stockées, plutôt que de les copier à partir d’un serveur distribué •  Il est possible d’ajouter des machines à votre cluster, au fur et à mesure que les données augmentent Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 3 Présentation du Framework
Hadoop, HDFS et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 4 Présentation du Framework Big  Data   HDFS   Données  U1les   NN   DN   DN   DN   DN   DN   DN   Données  U1les   Copie  du  local   MAP   REDUCE   Copie  vers  le  local  
Ecosystème de Hadoop Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 5 Présentation du Framework En plus des briques de base Yarn Map Reduce/HDFS, plusieurs outils existent pour permettre: §  L’extraction et le stockage des données de/sur HDFS §  La simplification des opérations de traitement sur ces données §  La gestion et coordination de la plateforme §  Le monitoring du cluster
Ecosystème de Hadoop Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 6 Présentation du Framework Parmi ces outils, certains se trouvent au dessus de la couche Yarn/MR, tel que: §  Pig: Langage de script §  Hive: Langage proche de SQL (Hive QL) §  R Connectors: permet l’accès à HDFS et l’exécution de requêtes Map/Reduce à partir du langage R §  Mahout: bibliothèque de machine learning et mathématiques §  Oozie: permet d’ordonnancer les jobs Map Reduce, en définissant des workflows
Ecosystème de Hadoop Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 7 Présentation du Framework D’autres outils sont directement au dessus de HDFS, tel que : §  Hbase : Base de données NoSQL orientée colonnes §  Impala (pas représenté dans la figure): Permet le requêtage de données directement à partir de HDFS (ou de Hbase) en utilisant des requêtes Hive SQL
Ecosystème de Hadoop Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 8 Présentation du Framework Certains outils permettent de connecter HDFS aux sources externes, tel que: §  Sqoop: Lecture et écriture des données à partir de bases de données externes §  Flume: Collecte de logs et stockage dans HDFS
Ecosystème de Hadoop Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 9 Présentation du Framework Enfin, d’autres outils permettent la gestion et administration de Hadoop, tel que: §  Ambari: outil pour le provisionnement, gestion et monitoring des clusters §  Zookeeper: fournit un service centralisé pour maintenir les information de configuration, de nommage et de synchronisation distribuée
HDFS: HADOOP DISTRIBUTED FILE SYSTEM Chp2 – Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 10
HDFS : Hadoop Distributed File System •  HDFS est un système de fichiers distribué, extensible et portable •  Ecrit en Java •  Permet de stocker de très gros volumes de données sur un grand nombre de machines (nœuds) équipées de disques durs banalisés è Cluster •  Quand un fichier mydata.txt est enregistré dans HDFS, il est décomposé en grands blocs (par défaut 64Mo), chaque bloc ayant un nom unique: blk_1, blk_2… Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 11 Architecture 64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   Nœuds     Cluster  
HDFS : Hadoop Distributed File System •  Chaque bloc est enregistré dans un nœud différent du cluster •  DataNode : démon sur chaque nœud du cluster •  NameNode : §  Démon s’exécutant sur une machine séparée §  Contient des méta-données §  Permet de retrouver les nœuds qui exécutent les blocs d’un fichier Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 12 Architecture DataNode   DN   DN   DN   DN   DN   NN   NameNode   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3  
HDFS : Hadoop Distributed File System •  Quels sont les problèmes possibles? q  Panne de réseau ? q  Panne de disque sur les DataNodes ? q  Pas tous les DN sont utilisés ? q  Les tailles des blocks sont différentes ? q  Panne de disque sur les NameNodes ? Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 13 Architecture ✓ ✓ ✓ DN   DN   DN   DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3  
HDFS : Hadoop Distributed File System •  Si l’un des nœuds a un problème, les données seront perdues §  Hadoop réplique chaque bloc 3 fois (par défaut) §  Il choisit 3 nœuds au hasard, et place une copie du bloc dans chacun d’eux §  Si le nœud est en panne, le NN le détecte, et s’occupe de répliquer encore les blocs qui y étaient hébergés pour avoir toujours 3 copies stockées §  Concept de Rack Awareness (rack = baie de stockage) •  Si le NameNode a un problème ? Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 14 Architecture DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   DN   DN   DN  
HDFS : Hadoop Distributed File System •  Si le NameNode a un problème : q  Pas de problème q  Données perdues à jamais q  Données inaccessibles? •  Si c’est un problème d’accès (réseau), les données sont temporairement inaccessibles •  Si le disque du NN est défaillant, les données seront perdues à jamais Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 15 Architecture ✓ ✓ DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   DN   DN   DN  
HDFS : Hadoop Distributed File System •  Pour éviter cela, le NameNode sera dupliqué, non seulement sur son propre disque, mais également quelque part sur le système de fichiers du réseau •  Définition d’un autre NN (standby namenode) pour reprendre le travail si le NameNode actif est défaillant Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 16 Architecture DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   DN   DN   DN   NN   Standby   NameNode  
MAP-REDUCE & YARN Chp2 – Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 17
Map-Reduce •  Patron d’architecture de développement permettant de traiter des données volumineuses de manière parallèle et distribuée •  A la base, le langage Java est utilisé, mais grâce à une caractéristique de Hadoop appelée Hadoop Streaming, il est possible d’utiliser d’autres langages comme Python ou Ruby •  Au lieu de parcourir le fichier séquentiellement (bcp de temps), il est divisé en morceaux qui sont parcourus en parallèle. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 18 Définition
Map-Reduce •  Imaginons que vous ayez plusieurs magasins que vous gérez à travers le monde •  Un très grand livre de comptes contenant TOUTES les ventes •  Objectif : Calculer le total des ventes par magasin pour l’année en cours •  Supposons que les lignes du livres aient la forme suivante: §  Jour Ville produit Prix Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 19 Exemple Grand Livre des Ventes 2012-­‐01-­‐01  London  Clothes  25.99   2012-­‐01-­‐01  Miami      Music          12.15   2012-­‐01-­‐02  NYC        Toys              3.10   2012-­‐01-­‐02  Miami      Clothes  50.00  
Map-Reduce •  Possibilité : §  Pour chaque entrée, saisir la ville et le prix de vente §  Si on trouve une entrée avec une ville déjà saisie, on les regroupe en faisant la somme des ventes •  Dans un environnement de calcul traditionnel, on utilise généralement des Hashtables, sous forme de: o  Clef Valeur •  Dans notre cas, la clef serait l’adresse du magasin, et la valeur le total des ventes. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 20 Exemple Grand Livre des Ventes London        25.99   Miami            12.15   NYC            3.10   London          25.99   Miami            62.15   NYC            3.10   2012-­‐01-­‐01  London  Clothes  25.99   2012-­‐01-­‐01  Miami      Music          12.15   2012-­‐01-­‐02  NYC        Toys              3.10   2012-­‐01-­‐02  Miami      Clothes  50.00  
Map-Reduce •  Si on utilise les hashtables sur 1To, Problèmes ? q  Ça ne marchera pas ? q  Problème de mémoire ? q  Temps de traitement long ? q  Réponses erronées ? •  Le traitement séquentiel de toutes les données peut s’avérer très long •  Plus on a de magasins, plus l’ajout des valeurs à la table est long •  Il est possible de tomber à court de mémoire pour enregistrer cette table •  Mais cela peut marcher, et le résultat sera correct Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 21 Exemple ✓ ✓ London      25.99   Miami          62.15   NYC          3.10   Clef      Valeur   2012-­‐01-­‐01  London  Clothes  25.99   2012-­‐01-­‐01  Miami      Music          12.15   2012-­‐01-­‐02  NYC        Toys              3.10   2012-­‐01-­‐02  Miami      Clothes  50.00   Grand Livre des Ventes
Map-Reduce •  Map-Reduce : Moyen plus efficace et rapide de traiter ces données •  Au lieu d’avoir une seule personne qui parcourt le livre, si on en recrutait plusieurs? •  Appeler un premier groupe les Mappers et un autre les Reducers •  Diviser le livre en plusieurs parties, et en donner une à chaque Mapper §  Les Mappers peuvent travailler en même temps, chacun sur une partie des données Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 22 Exemple Mappers Reducers
Map-Reduce Mappers •  Pour chaque entrée, saisir la ville, et le total des ventes et les enregistrer dans une fiche •  Rassembler les fiches du même magasin dans une même pile Reducers •  Chaque Reducer sera responsable d’un ensemble de magasins •  Ils collectent les fiches qui leur sont associées des différents Mappers •  Ils regroupent les petites piles d’une même ville en une seule •  Ils parcourent ensuite chaque pile par ordre alphabétique des villes (L.A avant Miami), et font la somme de l’ensemble des enregistrements Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 23 Exemple Mappers Reducers Miami   L.  A.   N.Y.C  N.Y.C.   N.Y.C.   Miami   L.  A.   Miami   Miami   L.  A.   L.  A.   N.Y.C   N.Y.C   N.Y.C   $300,578   $603.768   $432.900  
Map-Reduce •  Le Reducer reçoit des données comme suit : o  Miami 12.34 o  Miami 99.07 o  Miami 3.14 o  NYC 99.77 o  NYC 88.99 •  Pour chaque entrée, de quoi avons- nous besoin pour calculer la totalité des ventes pour chaque magasin? q  Coût précédent q  Coût en cours q  Ventes totales par magasin q  Magasin précédent q  Magasin en cours Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 24 Exemple ✓ ✓ ✓ ✓ Miami   L.  A.   N.Y.C  N.Y.C.   N.Y.C.   Miami   L.  A.   Miami   Miami   L.  A.   L.  A.   N.Y.C   N.Y.C   N.Y.C   $300,578   $603.768   $432.900   Mappers Reducers
Map-Reduce •  Les Mappers sont de petits programmes qui commencent par traiter chacun une petite partie des données •  Ils fonctionnent en parallèle •  Leurs sorties représentent les enregistrements intermédiaires: sous forme d’un couple (clef, valeur) •  Une étape de Mélange et Tri s’ensuit §  Mélange : Sélection des piles de fiches à partir des Mappers §  Tri : Rangement des piles par ordre au niveau de chaque Reducer •  Chaque Reducer traite un ensemble d’enregistrements à la fois, pour générer les résultats finaux Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 25 Fonctionnement Mappers Enregistrements Intermédiaires (Clef, Valeur) Mélange & Tri Reducers Résultats (Clef, Valeurs)
Map-Reduce •  Pour avoir un résultat trié par ordre, on doit: §  Soit avoir un seul Reducer, mais ça ne se met pas bien à l’échelle §  Soit ajouter une autre étape permettant de faire le tri final •  Si on a plusieurs Reducers, on ne peut pas savoir lesquels traitent quelles clefs: le partitionnement est aléatoire. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 26 Résultats Mappers Enregistrements Intermédiaires (Clef, Valeur) Mélange & Tri Reducers Résultats (Clef, Valeurs)
MapReduce V1 (MRv1) MapReduce v1 intègre trois composants •  API §  Pour permettre au programmeur l’écriture d’applications MapReduce •  Framework §  Services permettant l’exécution des Jobs MapReduce, le Shuffle/Sort… •  Resource Management §  Infrastructure pour gérer les noeuds du cluster, allouer des ressources et ordonnancer les jobs Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 27 Composants MapReduce 1 API   Framework   Resource   Management  
MapReduce V1 (MRv1) •  JobTracker §  Divise le travail sur les Mappers et Reducers, s’exécutant sur les différents nœuds •  TaskTracker §  S’exécute sur chacun des nœuds pour exécuter les vraies tâches de Map- Reduce §  Choisit en général de traiter (Map ou Reduce) un bloc sur la même machine que lui §  S’il est déjà occupé, la tâche revient à un autre tracker, qui utilisera le réseau (rare) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 28 Démons
MapReduce V1 (MRv1) •  Un job Map-Reduce (ou une Application Map-Reduce) est divisé sur plusieurs tâches appelées mappers et reducers •  Chaque tâche est exécutée sur un nœud du cluster •  Chaque nœud a un certain nombre de slots prédéfinis: §  Map Slots §  Reduce Slots •  Un slot est une unité d’exécution qui représente la capacité du task tracker à exécuter une tâche (map ou reduce) individuellement, à un moment donné •  Le Job Tracker se charge à la fois: §  D’allouer les ressources (mémoire, CPU…) aux différentes tâches §  De coordonner l’exécution des jobs Map-Reduce §  De réserver et ordonnancer les slots, et de gérer les fautes en réallouant les slots au besoin Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 29 Fonctionnement
MapReduce V1 (MRv1) •  Le Job Tracker s’exécute sur une seule machine, et fait plusieurs tâches (gestion de ressources, ordonnancement et monitoring des tâches…) §  Problème de scalabilité: les nombreux datanodes existants ne sont pas exploités, et le nombre de noeuds par cluster limité à 4000 •  Si le Job Tracker tombe en panne, tous les jobs doivent redémarrer §  Problème de disponibilité: SPoF •  Le nombre de map slots et de reduce slots est prédéfini §  Problème d’exploitation: si on a plusieurs map jobs à exécuter, et que les map slots sont pleins, les reduce slots ne peuvent pas être utilisés, et vice- versa •  Le Job Tracker est fortement intégré à Map Reduce §  Problème d’interoperabilité: impossible d’exécuter des applications non- MapReduce sur HDFS Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 30 Problèmes
MapReduce V2 (MRv2) •  MapReduce v2 sépare la gestion des ressources de celle des tâches MR •  Pas de notion de slots: §  les nœuds ont des ressources (CPU, mémoire..) allouées aux applications à la demande •  Définition de nouveaux démons §  La plupart des fonctionnalités du Job Tracker sont déplacées vers le Application Master §  Un cluster peut avoir plusieurs Application Masters •  Support les applications MR et non-MR Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 31 Composants MapReduce 2 MR  API   Framework   YARN Resource   Management   YARN  API  
MapReduce V2 (MRv2) •  Resource Manager (RM) §  Tourne sur le nœud master §  Ordonnanceur de ressources global §  Permet l’arbitrage des ressources entre plusieurs applications •  Node Manager (NM) §  S’exécute sur les nœuds esclaves §  Communique avec RM •  Containers §  Créés par RM à la demande §  Se voit allouer des ressources sur le nœud esclave •  Application Master (AM) §  Un seul par application §  S’exécute sur un container §  Demande plusieurs containers pour exécuter les tâches de l’application Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 32 Démons Resource Manager Node Manager Application Master 1 GB 1 core 3 GB 1 core
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 33 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Lance application MyApp 1   Déclenche 2   Application Master
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 34 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Demande Ressources3   Application Master Allocation4   Allocation 4   IDs Containers5  
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 35 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Application Master MyApp MyApp Déclenche 6   Déclenche 6  
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 36 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Application Master MyApp MyApp Client Application Master YourApp
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 37 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Application Master MyApp MyApp Client Application Master YourApp YourApp
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 38 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode WordCount Déclenche Application Master
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 39 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Demande Ressources (Mappers) Application Master Allocation
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 40 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Application Master WordCount Map Task WordCount Map Task
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 41 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Application Master WordCount Map Task WordCount Map Task Demande Ressources (Reducers) Allocation
MapReduce V2 (MRv2) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 42 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Application Master WordCount ReduceTask WordCount ReduceTask
MAP-REDUCE DESIGN PATTERNS Chp2 – Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 43
Map-Reduce Design Patterns •  Les designs patterns (Patrons de Conception) représentent les types de traitements Map-Reduce les plus utilisés avec Hadoop •  Classés en trois catégories: §  Patrons de Filtrage (Filtering Patterns) o  Echantillonnage de données o  Listes des top-n §  Patrons de Récapitulation (Summarization Patterns) o  Comptage des enregistrements o  Trouver les min et les max o  Statistiques o  Indexes §  Patrons Structurels o  Combinaison de données relationnelles Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 44 Présentation
Patrons de Filtrage •  Ne modifient pas les données •  Trient, parmi les données présentes, lesquelles garder et lesquelles enlever •  On peut obtenir: §  Des filtres simples : définition d’une fonction indiquant le critère de filtrage §  L’échantillonnage (sampling): création d’un petit ensemble d’enregistrements à partir d’un grand ensemble, en retenant des échantillons (comme la valeur la plus élevée d’un champs particulier) §  L’échantillonnage aléatoire : retenir un échantillon représentatif des données initiales §  Les listes Top-n Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 45 Présentation ✗ ✓ ✗ ✗ ✓ ✓ ✗ ✗ ✓
Patrons de Filtrage •  Exemple de Filtrage Simple: §  Cas d’étude : fichier contenant tous les posts des utilisateurs sur un forum §  Filtre : Retenir les posts les plus courts, contenant une seule phrase o  Une phrase est un post qui ne contient aucune ponctuation de la forme: .!?, ou alors une seule à la fin. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 46 Exemple
Patrons de Filtrage •  Exemple: Top 10 §  Trouver parmi les différents posts des forums, les 10 posts les plus longs §  Dans une Base de données Relationnelle: o  Trier les données o  Extraire les 10 premières §  Map-Reduce (de la même manière qu’une sélection sportive) o  Chaque Mapper génère une liste Top-10 o  Le Reducer trouve les Top 10 globaux Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 47 Exemple
Patrons de Récapitulation •  Permettent de vous donner une idée de haut niveau de vos données •  On distingue deux types: §  Index : Tels que les index à la fin d’un livre, ou les index utilisés par google pour représenter les pages web §  Récapitulation (ou résumé) numérique : par exemple: o  Chercher des chiffres, des comptes (combien dispose-t-on d’un certain type d’entrées) o  Min et Max o  Premier et dernier o  Moyenne o  … Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 48 Présentation
Patrons de Récapitulation •  Les index permettent une recherche plus rapide •  Dans un livre: pour chaque mot donné, indiquer les différentes pages où se trouve ce mot •  Dans le web: on trouve des liens vers des pages web à partir d’un ensemble de mots clefs Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 49 Index
Patrons de Récapitulation •  Exemple : Indexation des mots dans les posts d’un forum •  Mapper è Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 50 Index
Patrons de Récapitulation •  Exemple : Indexation des mots dans les posts d’un forum •  Reducer è Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 51 Index
Patrons de Récapitulation •  Peuvent être: §  Le nombre de mots, enregistrements… o  Souvent: la clef = l’objet à compter, et la valeur = 1 (nombre d’occurrences) §  Min-Max / Premier-Dernier §  La moyenne §  La médiane §  Écart type §  … •  Exemple de question: §  Y’a-t-il une relation entre le jour de la semaine et la somme dépensée par les clients? §  Mapper : clef = jour_de_la_semaine; valeur = somme_dépensée §  Reducer : calcul Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 52 Récapitulations Numériques
Patrons de Récapitulation •  Possibilité d’utiliser un mélangeur (Combiner) entre les mappers et les reducers •  Permettent de réaliser la réduction en local dans chacun des DataNodes Mappers AVANT de faire appel au nœud réducteur principal. •  Exemple: pour calculer la moyenne des ventes par jour de la semaine: §  Sans Combiner o  Les Mappers parcourent les données, et affichent le couple (Jour_de_la_semaine, montant) o  Pour chaque jour, le Reducer conserve une somme et un compteur o  Il divise à la fin la somme par le compteur §  Avec Combiner o  Chaque nœud réalise une première réduction où les moyennes locales sont calculées o  Le Reducer final regroupe ces moyennes et synthétise la moyenne finale o  Nombre d’enregistrements envoyés au réducteur significativement réduit o  Temps nécessaire pour la réduction diminue Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 53 Mélangeur
Patrons Structurels •  Utilisés quand les données proviennent d’une base de données structurée •  Plusieurs tables, donc plusieurs sources de données, liées par clef étrangère •  Les données des différentes tables sont exportées sous forme de fichiers délimités •  Le Mapper aura donc comme tâche de : §  Parcourir l’ensemble des fichiers correspondant aux tables de la base §  Extraire de chacune des entrées les données nécessaires, en utilisant comme clef la clef étrangère joignant les deux tables §  Afficher les données extraites des différentes tables, chacune sur une ligne, en créant un champs supplémentaire indiquant la source des données. •  Reducer : §  Fera l’opération de jointure entre les deux sources, en testant la provenance avec le champs supplémentaire (A ou B) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 54 Présentation Id_user   Source  des  données  (A  si  de  la  table  1,  B  si  de   la  table  2)  
EN CONCLUSION… Chp2 – Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 55
Hadoop… •  La gestion des défaillances : que ce soit au niveau du stockage ou traitement, les nœuds responsables de ces opérations sont automatiquement gérés en cas de défaillance. Nous avons donc une forte tolérance aux pannes. •  La sécurité et persistance des données : Grâce au concept « Rack Awarness », il n’y a plus de soucis de perte de données. •  La montée en charge: garantie d’une montée en charge maximale. •  La complexité réduite: capacité d'analyse et de traitement des données à grande échelle. •  Le coût réduit : Hadoop est open source, et malgré leur massivité et complexité, les données sont traitées efficacement et à très faible coût Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 56 Avantages
Hadoop… •  Difficulté d’intégration avec d’autres systèmes informatiques: le transfert de données d’une structure Hadoop vers des bases de données traditionnelles est loin d’être trivial •  Administration complexe : Hadoop utilise son propre langage. L’entreprise doit donc développer une expertise spécifique Hadoop ou faire appel à des prestataires extérieurs •  Traitement de données différé et temps de latence important: Hadoop n’est pas fait pour l’analyse temps réel des données. •  Produit en développement continu : manque de maturité Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 57 Inconvénients
Sources •  Cours §  Big Data Analytics – Lesson 1: What is Big Data, IBM, Big Data University §  Intro to Hadoop and MapReduce, Coursera, Udacity •  Présentations §  Introduction to YARN and MapReduce2, Cloudera Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 58

Contenu connexe

PDF
BigData_Chp1: Introduction à la Big Data
parLilia Sfaxi
 
PDF
BigData_Chp3: Data Processing
parLilia Sfaxi
 
PDF
Cours Big Data Chap2
parAmal Abid
 
PDF
BigData_Chp4: NOSQL
parLilia Sfaxi
 
PDF
BigData_TP1: Initiation à Hadoop et Map-Reduce
parLilia Sfaxi
 
PDF
BigData_TP3 : Spark
parLilia Sfaxi
 
PDF
BigData_TP4 : Cassandra
parLilia Sfaxi
 
PDF
BigData_Chp5: Putting it all together
parLilia Sfaxi
 
BigData_Chp1: Introduction à la Big Data
parLilia Sfaxi
 
BigData_Chp3: Data Processing
parLilia Sfaxi
 
Cours Big Data Chap2
parAmal Abid
 
BigData_Chp4: NOSQL
parLilia Sfaxi
 
BigData_TP1: Initiation à Hadoop et Map-Reduce
parLilia Sfaxi
 
BigData_TP3 : Spark
parLilia Sfaxi
 
BigData_TP4 : Cassandra
parLilia Sfaxi
 
BigData_Chp5: Putting it all together
parLilia Sfaxi
 

Tendances

PDF
TP1 Big Data - MapReduce
parAmal Abid
 
PDF
Chapitre 2 hadoop
parMouna Torjmen
 
PDF
Cours Big Data Chap1
parAmal Abid
 
PDF
Technologies pour le Big Data
parMinyar Sassi Hidri
 
PDF
Cours Big Data Chap4 - Spark
parAmal Abid
 
PDF
Traitement distribue en BIg Data - KAFKA Broker and Kafka Streams
parENSET, Université Hassan II Casablanca
 
PPTX
Big data
parYosra ADDALI
 
PDF
Bases de Données non relationnelles, NoSQL (Introduction) 1er cours
parHatim CHAHDI
 
PDF
Les BD NoSQL
parMinyar Sassi Hidri
 
PPSX
Introduction au BIG DATA
parZakariyaa AIT ELMOUDEN
 
PPTX
Introduction au big data
parAbdelghani Azri
 
PDF
Intégration des données avec Talend ETL
parLilia Sfaxi
 
PDF
Big Data, Hadoop & Spark
parAlexia Audevart
 
PDF
BigData_TP2: Design Patterns dans Hadoop
parLilia Sfaxi
 
PDF
Cours Big Data Chap5
parAmal Abid
 
PPTX
Chp2 - Les Entrepôts de Données
parLilia Sfaxi
 
PDF
Rapport pfe isi_Big data Analytique
parYosra ADDALI
 
PPTX
Hadoop
parInstitut supérieur des études technologiques de Radès
 
PDF
Chapitre1 introduction
parMouna Torjmen
 
PPTX
Big data
parMarwoua Ben Salem
 
TP1 Big Data - MapReduce
parAmal Abid
 
Chapitre 2 hadoop
parMouna Torjmen
 
Cours Big Data Chap1
parAmal Abid
 
Technologies pour le Big Data
parMinyar Sassi Hidri
 
Cours Big Data Chap4 - Spark
parAmal Abid
 
Traitement distribue en BIg Data - KAFKA Broker and Kafka Streams
parENSET, Université Hassan II Casablanca
 
Big data
parYosra ADDALI
 
Bases de Données non relationnelles, NoSQL (Introduction) 1er cours
parHatim CHAHDI
 
Les BD NoSQL
parMinyar Sassi Hidri
 
Introduction au BIG DATA
parZakariyaa AIT ELMOUDEN
 
Introduction au big data
parAbdelghani Azri
 
Intégration des données avec Talend ETL
parLilia Sfaxi
 
Big Data, Hadoop & Spark
parAlexia Audevart
 
BigData_TP2: Design Patterns dans Hadoop
parLilia Sfaxi
 
Cours Big Data Chap5
parAmal Abid
 
Chp2 - Les Entrepôts de Données
parLilia Sfaxi
 
Rapport pfe isi_Big data Analytique
parYosra ADDALI
 
Hadoop
parInstitut supérieur des études technologiques de Radès
 
Chapitre1 introduction
parMouna Torjmen
 
Big data
parMarwoua Ben Salem
 

En vedette

PDF
BigData_TP5 : Neo4J
parLilia Sfaxi
 
PPTX
Big data - Cours d'introduction l Data-business
parVincent de Stoecklin
 
PPTX
MapReduce Design Patterns
parDonald Miner
 
PDF
Thinking BIG
parLilia Sfaxi
 
PDF
Business Intelligence
parLilia Sfaxi
 
PDF
Thinking Big - Big data: principes et architecture
parLilia Sfaxi
 
PDF
Introduction au Web
parLilia Sfaxi
 
PDF
Javascript Design Patterns
parLilia Sfaxi
 
PDF
Testing Angular
parLilia Sfaxi
 
PDF
Client-side JavaScript
parLilia Sfaxi
 
PDF
Angular
parLilia Sfaxi
 
PDF
Core JavaScript
parLilia Sfaxi
 
PDF
Server-side JS with NodeJS
parLilia Sfaxi
 
PDF
Mobile developement
parLilia Sfaxi
 
PPTX
Présentation Big Data et REX Hadoop
parJoseph Glorieux
 
PDF
Bases de données NoSQL
parSamy Dindane
 
PDF
Une introduction à MapReduce
parModern Data Stack France
 
PDF
Big Data Analytics for connected home
parHéloïse Nonne
 
PPTX
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
parBenoît de CHATEAUVIEUX
 
PDF
Enquête RegionsJob : emploi et réseaux sociaux, deuxième édition
parHelloWork
 
BigData_TP5 : Neo4J
parLilia Sfaxi
 
Big data - Cours d'introduction l Data-business
parVincent de Stoecklin
 
MapReduce Design Patterns
parDonald Miner
 
Thinking BIG
parLilia Sfaxi
 
Business Intelligence
parLilia Sfaxi
 
Thinking Big - Big data: principes et architecture
parLilia Sfaxi
 
Introduction au Web
parLilia Sfaxi
 
Javascript Design Patterns
parLilia Sfaxi
 
Testing Angular
parLilia Sfaxi
 
Client-side JavaScript
parLilia Sfaxi
 
Angular
parLilia Sfaxi
 
Core JavaScript
parLilia Sfaxi
 
Server-side JS with NodeJS
parLilia Sfaxi
 
Mobile developement
parLilia Sfaxi
 
Présentation Big Data et REX Hadoop
parJoseph Glorieux
 
Bases de données NoSQL
parSamy Dindane
 
Une introduction à MapReduce
parModern Data Stack France
 
Big Data Analytics for connected home
parHéloïse Nonne
 
Casablanca Hadoop & Big Data Meetup - Introduction à Hadoop
parBenoît de CHATEAUVIEUX
 
Enquête RegionsJob : emploi et réseaux sociaux, deuxième édition
parHelloWork
 

Similaire à BigData_Chp2: Hadoop & Map-Reduce

PDF
chp
parDOUA9
 
PPTX
Chapitre2_Hadoop_MapReduce----------------.pptx
parNidhalgharbi3
 
PDF
Hadoop Introduction in Paris
parTed Drake
 
PDF
Plongée dans la plateforme hadoop
parpkernevez
 
PPTX
Hadoop
parkamar MEDDAH
 
PPTX
Présentation Hadoop SECURINETS INSAT (MAP & REDUCE )
parHamza Ben Marzouk
 
PPTX
10 big data hadoop
parPatrick Bury
 
PPTX
10 big data hadoop
parPatrick Bury
 
PDF
ch2-hadoop-L3-2023-4p (1).pdf
parsalmanakbi
 
PPTX
Spad big data - sfds - 2016
parJulien BLAIZE
 
PDF
Afterwork hadoop
parOCTO Technology Suisse
 
PDF
CHAPITRE3_Fondements_Big_Data_MR_YARN - converted (1).pdf
parYounesOuladSayad1
 
PDF
Cours_de_Big_Data_LF2_IG_EbhkjbhkhfhSB.pdf
parRihabBENLAMINE
 
PDF
Hadoop
parAS Stitou
 
TXT
Aqui hadoop draft
parEric Papet
 
PDF
Techday Arrow Group: Hadoop & le Big Data
parArrow Group
 
PDF
Tech day hadoop, Spark
parArrow-Institute
 
PPTX
mix-it 2011
parOlivier Mallassi
 
PDF
Hadoop and friends : introduction
parfredcons
 
PPTX
Presentation Hadoop Québec
parMathieu Dumoulin
 
chp
parDOUA9
 
Chapitre2_Hadoop_MapReduce----------------.pptx
parNidhalgharbi3
 
Hadoop Introduction in Paris
parTed Drake
 
Plongée dans la plateforme hadoop
parpkernevez
 
Hadoop
parkamar MEDDAH
 
Présentation Hadoop SECURINETS INSAT (MAP & REDUCE )
parHamza Ben Marzouk
 
10 big data hadoop
parPatrick Bury
 
10 big data hadoop
parPatrick Bury
 
ch2-hadoop-L3-2023-4p (1).pdf
parsalmanakbi
 
Spad big data - sfds - 2016
parJulien BLAIZE
 
Afterwork hadoop
parOCTO Technology Suisse
 
CHAPITRE3_Fondements_Big_Data_MR_YARN - converted (1).pdf
parYounesOuladSayad1
 
Cours_de_Big_Data_LF2_IG_EbhkjbhkhfhSB.pdf
parRihabBENLAMINE
 
Hadoop
parAS Stitou
 
Aqui hadoop draft
parEric Papet
 
Techday Arrow Group: Hadoop & le Big Data
parArrow Group
 
Tech day hadoop, Spark
parArrow-Institute
 
mix-it 2011
parOlivier Mallassi
 
Hadoop and friends : introduction
parfredcons
 
Presentation Hadoop Québec
parMathieu Dumoulin
 

Plus de Lilia Sfaxi

PDF
chp1-Intro à l'urbanisation des SI.pdf
parLilia Sfaxi
 
PDF
Plan d'études_INSAT_2022_2023.pdf
parLilia Sfaxi
 
PDF
Lab3-DB_Neo4j
parLilia Sfaxi
 
PDF
Lab2-DB-Mongodb
parLilia Sfaxi
 
PDF
Lab1-DB-Cassandra
parLilia Sfaxi
 
PDF
TP2-UML-Correction
parLilia Sfaxi
 
PDF
TP1-UML-Correction
parLilia Sfaxi
 
PDF
TP0-UML-Correction
parLilia Sfaxi
 
PDF
TD4-UML
parLilia Sfaxi
 
PDF
TD4-UML-Correction
parLilia Sfaxi
 
PDF
TD3-UML-Séquences
parLilia Sfaxi
 
PDF
TD3-UML-Correction
parLilia Sfaxi
 
PDF
TD2 - UML - Correction
parLilia Sfaxi
 
PDF
TD1 - UML - DCU
parLilia Sfaxi
 
PDF
TD1-UML-correction
parLilia Sfaxi
 
PDF
Android - Tp1 - installation et démarrage
parLilia Sfaxi
 
PDF
Android - Tp2 - Elements graphiques
parLilia Sfaxi
 
PDF
Android - Tp3 - intents
parLilia Sfaxi
 
PDF
Android - TPBonus - web services
parLilia Sfaxi
 
PDF
Android - Tp4 - graphiques avancés
parLilia Sfaxi
 
chp1-Intro à l'urbanisation des SI.pdf
parLilia Sfaxi
 
Plan d'études_INSAT_2022_2023.pdf
parLilia Sfaxi
 
Lab3-DB_Neo4j
parLilia Sfaxi
 
Lab2-DB-Mongodb
parLilia Sfaxi
 
Lab1-DB-Cassandra
parLilia Sfaxi
 
TP2-UML-Correction
parLilia Sfaxi
 
TP1-UML-Correction
parLilia Sfaxi
 
TP0-UML-Correction
parLilia Sfaxi
 
TD4-UML
parLilia Sfaxi
 
TD4-UML-Correction
parLilia Sfaxi
 
TD3-UML-Séquences
parLilia Sfaxi
 
TD3-UML-Correction
parLilia Sfaxi
 
TD2 - UML - Correction
parLilia Sfaxi
 
TD1 - UML - DCU
parLilia Sfaxi
 
TD1-UML-correction
parLilia Sfaxi
 
Android - Tp1 - installation et démarrage
parLilia Sfaxi
 
Android - Tp2 - Elements graphiques
parLilia Sfaxi
 
Android - Tp3 - intents
parLilia Sfaxi
 
Android - TPBonus - web services
parLilia Sfaxi
 
Android - Tp4 - graphiques avancés
parLilia Sfaxi
 

BigData_Chp2: Hadoop & Map-Reduce

  • 1.
    Chp2 – Hadoopet MapReduce Architecture et Comportement Big Data GL4 (Option Management des Systèmes d'Information) - 2016 Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 1
  • 2.
    HADOOP Chp2 – Hadoopet MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 2
  • 3.
    Hadoop •  Le projetHadoop consiste en deux grandes parties: §  Stockage des données : HDFS (Hadoop Distributed File System) §  Traitement des données : MapReduce / Yarn •  Principe : §  Diviser les données §  Les sauvegarder sur une collection de machines, appelées cluster §  Traiter les données directement là où elles sont stockées, plutôt que de les copier à partir d’un serveur distribué •  Il est possible d’ajouter des machines à votre cluster, au fur et à mesure que les données augmentent Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 3 Présentation du Framework
  • 4.
    Hadoop, HDFS etMapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 4 Présentation du Framework Big  Data   HDFS   Données  U1les   NN   DN   DN   DN   DN   DN   DN   Données  U1les   Copie  du  local   MAP   REDUCE   Copie  vers  le  local  
  • 5.
    Ecosystème de Hadoop Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 5 Présentation du Framework En plus des briques de base Yarn Map Reduce/HDFS, plusieurs outils existent pour permettre: §  L’extraction et le stockage des données de/sur HDFS §  La simplification des opérations de traitement sur ces données §  La gestion et coordination de la plateforme §  Le monitoring du cluster
  • 6.
    Ecosystème de Hadoop Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 6 Présentation du Framework Parmi ces outils, certains se trouvent au dessus de la couche Yarn/MR, tel que: §  Pig: Langage de script §  Hive: Langage proche de SQL (Hive QL) §  R Connectors: permet l’accès à HDFS et l’exécution de requêtes Map/Reduce à partir du langage R §  Mahout: bibliothèque de machine learning et mathématiques §  Oozie: permet d’ordonnancer les jobs Map Reduce, en définissant des workflows
  • 7.
    Ecosystème de Hadoop Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 7 Présentation du Framework D’autres outils sont directement au dessus de HDFS, tel que : §  Hbase : Base de données NoSQL orientée colonnes §  Impala (pas représenté dans la figure): Permet le requêtage de données directement à partir de HDFS (ou de Hbase) en utilisant des requêtes Hive SQL
  • 8.
    Ecosystème de Hadoop Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 8 Présentation du Framework Certains outils permettent de connecter HDFS aux sources externes, tel que: §  Sqoop: Lecture et écriture des données à partir de bases de données externes §  Flume: Collecte de logs et stockage dans HDFS
  • 9.
    Ecosystème de Hadoop Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 9 Présentation du Framework Enfin, d’autres outils permettent la gestion et administration de Hadoop, tel que: §  Ambari: outil pour le provisionnement, gestion et monitoring des clusters §  Zookeeper: fournit un service centralisé pour maintenir les information de configuration, de nommage et de synchronisation distribuée
  • 10.
    HDFS: HADOOP DISTRIBUTEDFILE SYSTEM Chp2 – Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 10
  • 11.
    HDFS : HadoopDistributed File System •  HDFS est un système de fichiers distribué, extensible et portable •  Ecrit en Java •  Permet de stocker de très gros volumes de données sur un grand nombre de machines (nœuds) équipées de disques durs banalisés è Cluster •  Quand un fichier mydata.txt est enregistré dans HDFS, il est décomposé en grands blocs (par défaut 64Mo), chaque bloc ayant un nom unique: blk_1, blk_2… Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 11 Architecture 64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   Nœuds     Cluster  
  • 12.
    HDFS : HadoopDistributed File System •  Chaque bloc est enregistré dans un nœud différent du cluster •  DataNode : démon sur chaque nœud du cluster •  NameNode : §  Démon s’exécutant sur une machine séparée §  Contient des méta-données §  Permet de retrouver les nœuds qui exécutent les blocs d’un fichier Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 12 Architecture DataNode   DN   DN   DN   DN   DN   NN   NameNode   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3  
  • 13.
    HDFS : HadoopDistributed File System •  Quels sont les problèmes possibles? q  Panne de réseau ? q  Panne de disque sur les DataNodes ? q  Pas tous les DN sont utilisés ? q  Les tailles des blocks sont différentes ? q  Panne de disque sur les NameNodes ? Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 13 Architecture ✓ ✓ ✓ DN   DN   DN   DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3  
  • 14.
    HDFS : HadoopDistributed File System •  Si l’un des nœuds a un problème, les données seront perdues §  Hadoop réplique chaque bloc 3 fois (par défaut) §  Il choisit 3 nœuds au hasard, et place une copie du bloc dans chacun d’eux §  Si le nœud est en panne, le NN le détecte, et s’occupe de répliquer encore les blocs qui y étaient hébergés pour avoir toujours 3 copies stockées §  Concept de Rack Awareness (rack = baie de stockage) •  Si le NameNode a un problème ? Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 14 Architecture DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   DN   DN   DN  
  • 15.
    HDFS : HadoopDistributed File System •  Si le NameNode a un problème : q  Pas de problème q  Données perdues à jamais q  Données inaccessibles? •  Si c’est un problème d’accès (réseau), les données sont temporairement inaccessibles •  Si le disque du NN est défaillant, les données seront perdues à jamais Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 15 Architecture ✓ ✓ DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   DN   DN   DN  
  • 16.
    HDFS : HadoopDistributed File System •  Pour éviter cela, le NameNode sera dupliqué, non seulement sur son propre disque, mais également quelque part sur le système de fichiers du réseau •  Définition d’un autre NN (standby namenode) pour reprendre le travail si le NameNode actif est défaillant Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 16 Architecture DN   DN   NN   64  Mo   64  Mo   22  Mo   mydata.txt  (150  Mo)   blk_1   blk_2   blk_3   DN   DN   DN   NN   Standby   NameNode  
  • 17.
    MAP-REDUCE & YARN Chp2– Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 17
  • 18.
    Map-Reduce •  Patron d’architecturede développement permettant de traiter des données volumineuses de manière parallèle et distribuée •  A la base, le langage Java est utilisé, mais grâce à une caractéristique de Hadoop appelée Hadoop Streaming, il est possible d’utiliser d’autres langages comme Python ou Ruby •  Au lieu de parcourir le fichier séquentiellement (bcp de temps), il est divisé en morceaux qui sont parcourus en parallèle. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 18 Définition
  • 19.
    Map-Reduce •  Imaginons quevous ayez plusieurs magasins que vous gérez à travers le monde •  Un très grand livre de comptes contenant TOUTES les ventes •  Objectif : Calculer le total des ventes par magasin pour l’année en cours •  Supposons que les lignes du livres aient la forme suivante: §  Jour Ville produit Prix Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 19 Exemple Grand Livre des Ventes 2012-­‐01-­‐01  London  Clothes  25.99   2012-­‐01-­‐01  Miami      Music          12.15   2012-­‐01-­‐02  NYC        Toys              3.10   2012-­‐01-­‐02  Miami      Clothes  50.00  
  • 20.
    Map-Reduce •  Possibilité : § Pour chaque entrée, saisir la ville et le prix de vente §  Si on trouve une entrée avec une ville déjà saisie, on les regroupe en faisant la somme des ventes •  Dans un environnement de calcul traditionnel, on utilise généralement des Hashtables, sous forme de: o  Clef Valeur •  Dans notre cas, la clef serait l’adresse du magasin, et la valeur le total des ventes. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 20 Exemple Grand Livre des Ventes London        25.99   Miami            12.15   NYC            3.10   London          25.99   Miami            62.15   NYC            3.10   2012-­‐01-­‐01  London  Clothes  25.99   2012-­‐01-­‐01  Miami      Music          12.15   2012-­‐01-­‐02  NYC        Toys              3.10   2012-­‐01-­‐02  Miami      Clothes  50.00  
  • 21.
    Map-Reduce •  Si onutilise les hashtables sur 1To, Problèmes ? q  Ça ne marchera pas ? q  Problème de mémoire ? q  Temps de traitement long ? q  Réponses erronées ? •  Le traitement séquentiel de toutes les données peut s’avérer très long •  Plus on a de magasins, plus l’ajout des valeurs à la table est long •  Il est possible de tomber à court de mémoire pour enregistrer cette table •  Mais cela peut marcher, et le résultat sera correct Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 21 Exemple ✓ ✓ London      25.99   Miami          62.15   NYC          3.10   Clef      Valeur   2012-­‐01-­‐01  London  Clothes  25.99   2012-­‐01-­‐01  Miami      Music          12.15   2012-­‐01-­‐02  NYC        Toys              3.10   2012-­‐01-­‐02  Miami      Clothes  50.00   Grand Livre des Ventes
  • 22.
    Map-Reduce •  Map-Reduce :Moyen plus efficace et rapide de traiter ces données •  Au lieu d’avoir une seule personne qui parcourt le livre, si on en recrutait plusieurs? •  Appeler un premier groupe les Mappers et un autre les Reducers •  Diviser le livre en plusieurs parties, et en donner une à chaque Mapper §  Les Mappers peuvent travailler en même temps, chacun sur une partie des données Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 22 Exemple Mappers Reducers
  • 23.
    Map-Reduce Mappers •  Pour chaqueentrée, saisir la ville, et le total des ventes et les enregistrer dans une fiche •  Rassembler les fiches du même magasin dans une même pile Reducers •  Chaque Reducer sera responsable d’un ensemble de magasins •  Ils collectent les fiches qui leur sont associées des différents Mappers •  Ils regroupent les petites piles d’une même ville en une seule •  Ils parcourent ensuite chaque pile par ordre alphabétique des villes (L.A avant Miami), et font la somme de l’ensemble des enregistrements Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 23 Exemple Mappers Reducers Miami   L.  A.   N.Y.C  N.Y.C.   N.Y.C.   Miami   L.  A.   Miami   Miami   L.  A.   L.  A.   N.Y.C   N.Y.C   N.Y.C   $300,578   $603.768   $432.900  
  • 24.
    Map-Reduce •  Le Reducerreçoit des données comme suit : o  Miami 12.34 o  Miami 99.07 o  Miami 3.14 o  NYC 99.77 o  NYC 88.99 •  Pour chaque entrée, de quoi avons- nous besoin pour calculer la totalité des ventes pour chaque magasin? q  Coût précédent q  Coût en cours q  Ventes totales par magasin q  Magasin précédent q  Magasin en cours Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 24 Exemple ✓ ✓ ✓ ✓ Miami   L.  A.   N.Y.C  N.Y.C.   N.Y.C.   Miami   L.  A.   Miami   Miami   L.  A.   L.  A.   N.Y.C   N.Y.C   N.Y.C   $300,578   $603.768   $432.900   Mappers Reducers
  • 25.
    Map-Reduce •  Les Mapperssont de petits programmes qui commencent par traiter chacun une petite partie des données •  Ils fonctionnent en parallèle •  Leurs sorties représentent les enregistrements intermédiaires: sous forme d’un couple (clef, valeur) •  Une étape de Mélange et Tri s’ensuit §  Mélange : Sélection des piles de fiches à partir des Mappers §  Tri : Rangement des piles par ordre au niveau de chaque Reducer •  Chaque Reducer traite un ensemble d’enregistrements à la fois, pour générer les résultats finaux Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 25 Fonctionnement Mappers Enregistrements Intermédiaires (Clef, Valeur) Mélange & Tri Reducers Résultats (Clef, Valeurs)
  • 26.
    Map-Reduce •  Pour avoirun résultat trié par ordre, on doit: §  Soit avoir un seul Reducer, mais ça ne se met pas bien à l’échelle §  Soit ajouter une autre étape permettant de faire le tri final •  Si on a plusieurs Reducers, on ne peut pas savoir lesquels traitent quelles clefs: le partitionnement est aléatoire. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 26 Résultats Mappers Enregistrements Intermédiaires (Clef, Valeur) Mélange & Tri Reducers Résultats (Clef, Valeurs)
  • 27.
    MapReduce V1 (MRv1) MapReducev1 intègre trois composants •  API §  Pour permettre au programmeur l’écriture d’applications MapReduce •  Framework §  Services permettant l’exécution des Jobs MapReduce, le Shuffle/Sort… •  Resource Management §  Infrastructure pour gérer les noeuds du cluster, allouer des ressources et ordonnancer les jobs Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 27 Composants MapReduce 1 API   Framework   Resource   Management  
  • 28.
    MapReduce V1 (MRv1) • JobTracker §  Divise le travail sur les Mappers et Reducers, s’exécutant sur les différents nœuds •  TaskTracker §  S’exécute sur chacun des nœuds pour exécuter les vraies tâches de Map- Reduce §  Choisit en général de traiter (Map ou Reduce) un bloc sur la même machine que lui §  S’il est déjà occupé, la tâche revient à un autre tracker, qui utilisera le réseau (rare) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 28 Démons
  • 29.
    MapReduce V1 (MRv1) • Un job Map-Reduce (ou une Application Map-Reduce) est divisé sur plusieurs tâches appelées mappers et reducers •  Chaque tâche est exécutée sur un nœud du cluster •  Chaque nœud a un certain nombre de slots prédéfinis: §  Map Slots §  Reduce Slots •  Un slot est une unité d’exécution qui représente la capacité du task tracker à exécuter une tâche (map ou reduce) individuellement, à un moment donné •  Le Job Tracker se charge à la fois: §  D’allouer les ressources (mémoire, CPU…) aux différentes tâches §  De coordonner l’exécution des jobs Map-Reduce §  De réserver et ordonnancer les slots, et de gérer les fautes en réallouant les slots au besoin Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 29 Fonctionnement
  • 30.
    MapReduce V1 (MRv1) • Le Job Tracker s’exécute sur une seule machine, et fait plusieurs tâches (gestion de ressources, ordonnancement et monitoring des tâches…) §  Problème de scalabilité: les nombreux datanodes existants ne sont pas exploités, et le nombre de noeuds par cluster limité à 4000 •  Si le Job Tracker tombe en panne, tous les jobs doivent redémarrer §  Problème de disponibilité: SPoF •  Le nombre de map slots et de reduce slots est prédéfini §  Problème d’exploitation: si on a plusieurs map jobs à exécuter, et que les map slots sont pleins, les reduce slots ne peuvent pas être utilisés, et vice- versa •  Le Job Tracker est fortement intégré à Map Reduce §  Problème d’interoperabilité: impossible d’exécuter des applications non- MapReduce sur HDFS Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 30 Problèmes
  • 31.
    MapReduce V2 (MRv2) • MapReduce v2 sépare la gestion des ressources de celle des tâches MR •  Pas de notion de slots: §  les nœuds ont des ressources (CPU, mémoire..) allouées aux applications à la demande •  Définition de nouveaux démons §  La plupart des fonctionnalités du Job Tracker sont déplacées vers le Application Master §  Un cluster peut avoir plusieurs Application Masters •  Support les applications MR et non-MR Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 31 Composants MapReduce 2 MR  API   Framework   YARN Resource   Management   YARN  API  
  • 32.
    MapReduce V2 (MRv2) • Resource Manager (RM) §  Tourne sur le nœud master §  Ordonnanceur de ressources global §  Permet l’arbitrage des ressources entre plusieurs applications •  Node Manager (NM) §  S’exécute sur les nœuds esclaves §  Communique avec RM •  Containers §  Créés par RM à la demande §  Se voit allouer des ressources sur le nœud esclave •  Application Master (AM) §  Un seul par application §  S’exécute sur un container §  Demande plusieurs containers pour exécuter les tâches de l’application Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 32 Démons Resource Manager Node Manager Application Master 1 GB 1 core 3 GB 1 core
  • 33.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 33 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Lance application MyApp 1   Déclenche 2   Application Master
  • 34.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 34 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Demande Ressources3   Application Master Allocation4   Allocation 4   IDs Containers5  
  • 35.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 35 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Application Master MyApp MyApp Déclenche 6   Déclenche 6  
  • 36.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 36 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Application Master MyApp MyApp Client Application Master YourApp
  • 37.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 37 Lancement d’une Application dans un Cluster YARN Resource Manager Node Manager Node Manager Node Manager Node Manager Client Application Master MyApp MyApp Client Application Master YourApp YourApp
  • 38.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 38 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode WordCount Déclenche Application Master
  • 39.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 39 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Demande Ressources (Mappers) Application Master Allocation
  • 40.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 40 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Application Master WordCount Map Task WordCount Map Task
  • 41.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 41 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Application Master WordCount Map Task WordCount Map Task Demande Ressources (Reducers) Allocation
  • 42.
    MapReduce V2 (MRv2) Dr.Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 42 Exécution d’un Job Map-Reduce Resource Manager Node Manager Node Manager Node Manager Node Manager Client myData Block1 Block2 DataNode DataNode DataNode DataNode Application Master WordCount ReduceTask WordCount ReduceTask
  • 43.
    MAP-REDUCE DESIGN PATTERNS Chp2– Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 43
  • 44.
    Map-Reduce Design Patterns • Les designs patterns (Patrons de Conception) représentent les types de traitements Map-Reduce les plus utilisés avec Hadoop •  Classés en trois catégories: §  Patrons de Filtrage (Filtering Patterns) o  Echantillonnage de données o  Listes des top-n §  Patrons de Récapitulation (Summarization Patterns) o  Comptage des enregistrements o  Trouver les min et les max o  Statistiques o  Indexes §  Patrons Structurels o  Combinaison de données relationnelles Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 44 Présentation
  • 45.
    Patrons de Filtrage • Ne modifient pas les données •  Trient, parmi les données présentes, lesquelles garder et lesquelles enlever •  On peut obtenir: §  Des filtres simples : définition d’une fonction indiquant le critère de filtrage §  L’échantillonnage (sampling): création d’un petit ensemble d’enregistrements à partir d’un grand ensemble, en retenant des échantillons (comme la valeur la plus élevée d’un champs particulier) §  L’échantillonnage aléatoire : retenir un échantillon représentatif des données initiales §  Les listes Top-n Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 45 Présentation ✗ ✓ ✗ ✗ ✓ ✓ ✗ ✗ ✓
  • 46.
    Patrons de Filtrage • Exemple de Filtrage Simple: §  Cas d’étude : fichier contenant tous les posts des utilisateurs sur un forum §  Filtre : Retenir les posts les plus courts, contenant une seule phrase o  Une phrase est un post qui ne contient aucune ponctuation de la forme: .!?, ou alors une seule à la fin. Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 46 Exemple
  • 47.
    Patrons de Filtrage • Exemple: Top 10 §  Trouver parmi les différents posts des forums, les 10 posts les plus longs §  Dans une Base de données Relationnelle: o  Trier les données o  Extraire les 10 premières §  Map-Reduce (de la même manière qu’une sélection sportive) o  Chaque Mapper génère une liste Top-10 o  Le Reducer trouve les Top 10 globaux Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 47 Exemple
  • 48.
    Patrons de Récapitulation • Permettent de vous donner une idée de haut niveau de vos données •  On distingue deux types: §  Index : Tels que les index à la fin d’un livre, ou les index utilisés par google pour représenter les pages web §  Récapitulation (ou résumé) numérique : par exemple: o  Chercher des chiffres, des comptes (combien dispose-t-on d’un certain type d’entrées) o  Min et Max o  Premier et dernier o  Moyenne o  … Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 48 Présentation
  • 49.
    Patrons de Récapitulation • Les index permettent une recherche plus rapide •  Dans un livre: pour chaque mot donné, indiquer les différentes pages où se trouve ce mot •  Dans le web: on trouve des liens vers des pages web à partir d’un ensemble de mots clefs Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 49 Index
  • 50.
    Patrons de Récapitulation • Exemple : Indexation des mots dans les posts d’un forum •  Mapper è Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 50 Index
  • 51.
    Patrons de Récapitulation • Exemple : Indexation des mots dans les posts d’un forum •  Reducer è Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 51 Index
  • 52.
    Patrons de Récapitulation • Peuvent être: §  Le nombre de mots, enregistrements… o  Souvent: la clef = l’objet à compter, et la valeur = 1 (nombre d’occurrences) §  Min-Max / Premier-Dernier §  La moyenne §  La médiane §  Écart type §  … •  Exemple de question: §  Y’a-t-il une relation entre le jour de la semaine et la somme dépensée par les clients? §  Mapper : clef = jour_de_la_semaine; valeur = somme_dépensée §  Reducer : calcul Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 52 Récapitulations Numériques
  • 53.
    Patrons de Récapitulation • Possibilité d’utiliser un mélangeur (Combiner) entre les mappers et les reducers •  Permettent de réaliser la réduction en local dans chacun des DataNodes Mappers AVANT de faire appel au nœud réducteur principal. •  Exemple: pour calculer la moyenne des ventes par jour de la semaine: §  Sans Combiner o  Les Mappers parcourent les données, et affichent le couple (Jour_de_la_semaine, montant) o  Pour chaque jour, le Reducer conserve une somme et un compteur o  Il divise à la fin la somme par le compteur §  Avec Combiner o  Chaque nœud réalise une première réduction où les moyennes locales sont calculées o  Le Reducer final regroupe ces moyennes et synthétise la moyenne finale o  Nombre d’enregistrements envoyés au réducteur significativement réduit o  Temps nécessaire pour la réduction diminue Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 53 Mélangeur
  • 54.
    Patrons Structurels •  Utilisésquand les données proviennent d’une base de données structurée •  Plusieurs tables, donc plusieurs sources de données, liées par clef étrangère •  Les données des différentes tables sont exportées sous forme de fichiers délimités •  Le Mapper aura donc comme tâche de : §  Parcourir l’ensemble des fichiers correspondant aux tables de la base §  Extraire de chacune des entrées les données nécessaires, en utilisant comme clef la clef étrangère joignant les deux tables §  Afficher les données extraites des différentes tables, chacune sur une ligne, en créant un champs supplémentaire indiquant la source des données. •  Reducer : §  Fera l’opération de jointure entre les deux sources, en testant la provenance avec le champs supplémentaire (A ou B) Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 54 Présentation Id_user   Source  des  données  (A  si  de  la  table  1,  B  si  de   la  table  2)  
  • 55.
    EN CONCLUSION… Chp2 –Hadoop et MapReduce Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi Slide 55
  • 56.
    Hadoop… •  La gestiondes défaillances : que ce soit au niveau du stockage ou traitement, les nœuds responsables de ces opérations sont automatiquement gérés en cas de défaillance. Nous avons donc une forte tolérance aux pannes. •  La sécurité et persistance des données : Grâce au concept « Rack Awarness », il n’y a plus de soucis de perte de données. •  La montée en charge: garantie d’une montée en charge maximale. •  La complexité réduite: capacité d'analyse et de traitement des données à grande échelle. •  Le coût réduit : Hadoop est open source, et malgré leur massivité et complexité, les données sont traitées efficacement et à très faible coût Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 56 Avantages
  • 57.
    Hadoop… •  Difficulté d’intégrationavec d’autres systèmes informatiques: le transfert de données d’une structure Hadoop vers des bases de données traditionnelles est loin d’être trivial •  Administration complexe : Hadoop utilise son propre langage. L’entreprise doit donc développer une expertise spécifique Hadoop ou faire appel à des prestataires extérieurs •  Traitement de données différé et temps de latence important: Hadoop n’est pas fait pour l’analyse temps réel des données. •  Produit en développement continu : manque de maturité Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 57 Inconvénients
  • 58.
    Sources •  Cours §  BigData Analytics – Lesson 1: What is Big Data, IBM, Big Data University §  Intro to Hadoop and MapReduce, Coursera, Udacity •  Présentations §  Introduction to YARN and MapReduce2, Cloudera Dr. Lilia SFAXI www.liliasfaxi.wix.com/liliasfaxi 58