Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Big Data: Concepts, techniques et démonstration de
...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Plan
Plan
1 Motivation et Concepts
2 Techniques
3 D...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Plan
1 Motivation et Concep...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
Plan
1...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
La vis...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
La 3èm...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
3ème R...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
Techno...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
Les no...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
Le TOP...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
Les mé...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Motivations Big Data
Big Da...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data
Plan
1...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data
Définit...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data
Les 5 ...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data
Divers...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data
Zoom s...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Motivations et Concepts
Concepts de Big Data
Le Big...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Plan
1 Motivation et Concepts
• Motivati...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Évolutions Technologiques (NoSQL et NewS...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Hadoop et son système de fichiers distrib...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le système Hadoop
Plan
1 Motivation et C...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le système Hadoop
Histoire de Hadoop et ...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le système Hadoop
L’incontournable Hadoo...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Le système Hadoop
Le framework Hadoop: E...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement
Plan
1 Motiv...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement
Utilisation ...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement
Détail de l’...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement
Détail de l’...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement
Découpage de...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Techniques
Principes et fonctionnement
Résultats ob...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Démonstration de Hadoop
Plan
1 Motivation et Concep...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Démonstration de Hadoop
Architecture applicative Ha...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Démonstration de Hadoop
Architecture applicative Ha...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Démonstration de Hadoop
Exemple MapReduce
Jalel Edd...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Conclusion
Plan
1 Motivation et Concepts
• Motivati...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Conclusion
Exemple MapReduce
Jalel Eddine HAJLAOUI ...
Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO
Conclusion
Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Dé...
Prochain SlideShare
Chargement dans…5
×

Big Data: Concepts, techniques et démonstration de Apache Hadoop

1 295 vues

Publié le

C'est une initiation au Big Data, qui est présenté dans un workshop organisé en 12 Décembre 2015 par un club TB3C (Tunisian Big Data Cloud Computing Community) au sein de ISSAT de Sousse

Publié dans : Ingénierie
0 commentaire
4 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 295
Sur SlideShare
0
Issues des intégrations
0
Intégrations
18
Actions
Partages
0
Téléchargements
147
Commentaires
0
J’aime
4
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Big Data: Concepts, techniques et démonstration de Apache Hadoop

  1. 1. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Big Data: Concepts, techniques et démonstration de Apache Hadoop Jalel Eddine HAJLAOUI hajlaouijalel.ig@gmail.com TB3C-ISSATSO 12 Décembre 2015 Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 1 / 38
  2. 2. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Plan Plan 1 Motivation et Concepts 2 Techniques 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 2 / 38
  3. 3. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 3 / 38
  4. 4. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 4 / 38
  5. 5. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data La vision d’un entrepreneur Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 5 / 38
  6. 6. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data La 3ème Révolution Numérique : Vision d’expertise et de Consulting Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 6 / 38
  7. 7. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data 3ème Révolution Numérique Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 7 / 38
  8. 8. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data Technologie de pointes [Gartner et Atos] Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 8 / 38
  9. 9. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data Les nouveaux métiers de l’économie numérique : Big Data, big jobs ? Altaide : Explosion du nombre d’offres d’emploi en 2015 Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 9 / 38
  10. 10. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data Le TOP 10 des nouveaux métiers du digital 1- Data Scientist 2- Chef de projet Web mobile 3- Chef de projet e-CRM 4- Responsable de la stratégie mobile 5- Directeur marketing digital 6- Chargé de communication Web et digital 7- Consultant Web analytique 8- Community manager interne et externe 9- Consultant e-réputation 10- Chef de projet technique Web Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 10 / 38
  11. 11. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data Les métier Big Data [Altaide] Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 11 / 38
  12. 12. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Motivations Big Data Big Data: Buzz ou Sujet de fond? Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 12 / 38
  13. 13. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 13 / 38
  14. 14. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data Définition du Big Data Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 14 / 38
  15. 15. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data Les 5 V du Big Data [Atos] Volume - Vélocité - Variété - Véracité - Valeur Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 15 / 38
  16. 16. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data Divers sources de données Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 16 / 38
  17. 17. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data Zoom sur la variété de données Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 17 / 38
  18. 18. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Motivations et Concepts Concepts de Big Data Le Big Data : une notion contextuelle La notion de Big Data présente un contexte offrant un potentiel d’évolution des aspects techniques et métiers (Opérationnel et BI). Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 18 / 38
  19. 19. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 19 / 38
  20. 20. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Évolutions Technologiques (NoSQL et NewSQL 2004: Google et Amazon font face à une croissance exponentielle des données: Création de BigTable, GFS et MapReduce (Besoin de performance et de scalabilité-Approche NOSQL) 2008: Publication des codes par Google 2008-2011: Adoption par les secteurs du WEB d’un clone Open Source nommé HADOOP à la suite de la concurrence par Google. 2011: Adaptation des offres éditeurs de solution pour les Entreprises à HADOOP. 2012: Prise de conscience par la communauté SQL des besoins de performance et de scalabilité (NewSQL: refonte de l’architecture des bases relationnelles) Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 20 / 38
  21. 21. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Hadoop et son système de fichiers distribués Des infrastructures de serveurs pour distribuer les traitements sur des dizaines, centaines, voire milliers de noeuds. C’est ce qu’on appelle le traitement massivement parallèle. Le Framework Hadoop est constitué d’un ensemble de modules développés pour répondre à des besoins précis : Stockage des données : HDFS (système de fichier distribué - Hadoop Cluster) Couche traitement de données : MapReduce (distribution des traitements), Apache Spark Modules complémentaires : Hbase, Hive, Solr, Pig, Oozie, Impala, Mahout, Sqoop, Langage R, Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 21 / 38
  22. 22. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 22 / 38
  23. 23. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop Histoire de Hadoop et de son créateur Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 23 / 38
  24. 24. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop L’incontournable Hadoop: Caractéristiques Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 24 / 38
  25. 25. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Le système Hadoop Le framework Hadoop: Ecosystème et Distributions Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 25 / 38
  26. 26. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 26 / 38
  27. 27. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement Utilisation d’un système Hadoop : les différentes étapes 1 et 2: Recopier les données/algorithmes vers HDFS 3: Démarrer le système Hadoop 4: Récupérer le résultat au disque local de l’user Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 27 / 38
  28. 28. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement Détail de l’étape Exécution Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 28 / 38
  29. 29. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement Détail de l’étape Exécution des calculs Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 29 / 38
  30. 30. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement Découpage des données d’un problème de dénombrement Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 30 / 38
  31. 31. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Techniques Principes et fonctionnement Résultats obtenus avec l’algorithme Reduce pour le dénombrement Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 31 / 38
  32. 32. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 32 / 38
  33. 33. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop Architecture applicative Hadoop (1) Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 33 / 38
  34. 34. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop Architecture applicative Hadoop (2) Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 34 / 38
  35. 35. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Démonstration de Hadoop Exemple MapReduce Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 35 / 38
  36. 36. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Conclusion Plan 1 Motivation et Concepts • Motivations de Big Data • Concepts de Big Data 2 Techniques • Le système Hadoop • Principes et fonctionnement 3 Démonstration de Hadoop 4 Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 36 / 38
  37. 37. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Conclusion Exemple MapReduce Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 37 / 38
  38. 38. Big Data: Concepts, techniques et démo de Apache Hadoop - TB3C-ISSATSO Conclusion Jalel Eddine HAJLAOUI TB3C-ISSATSO 12 Décembre 2015 38 / 38

×