Le document présente divers aspects du Big Data, notamment l'utilisation de Hadoop dans des environnements distribués et le rôle d'OpenStack et de son composant Sahara pour faciliter la gestion des clusters Hadoop. Il explique également le projet Apache Mahout, utilisé pour la création d'algorithmes d'apprentissage automatique, soulignant son intégration avec Hadoop et son utilisation pour le clustering. Enfin, des liens vers des démonstrations vidéo sont fournis pour illustrer ces concepts.

1. Mme Amal ABID - GI3 - ENIS 1

2. Annexe A
Etapes d’un projet Big Data
Mme Amal ABID - GI3 - ENIS 2

3. 3

4. 4

5. 5

6. 6

7. 7

8. Références: http://www.slideshare.net/jimmy_lai/when-big-data-meet-python

9. Annexe B
Schéma général de
l’Algorithme MapReduce
Mme Amal ABID - GI3 - ENIS

10. Mme Amal ABID - GI3 - ENIS 10

11. Annexe C
OpenStack & Hadoop
Mme Amal ABID - GI3 - ENIS 11

12. Explication
 Dans la partie du cours Big Data, nous avons utilisé Hadoop sur une seule machine et pas dans un cluster.
L’objectif était de comprendre Hadoop, le tester, écrire du code MapReduce et utiliser HBase.
 Afin d’analyser les données massives, il est impératifs d’utiliser Hadoop dans un cluster (plusieurs machines qui
fonctionnent ensemble d’une façon distribuée et parallèle).
 Puisque la manipulation et la gestion des systèmes distribués est relativement délicate et a besoin de compétences
techniques avancées, les frameworks Big Data sont utilisés généralement dans un environnement Cloud
Computing. En particulier, on utilise Hadoop-as-a-Service dans plusieurs fournisseurs de Cloud comme Amazon
et Windows Azure.
 Gestionnaire de Cloud (ou encore Cloud Manager) : C’est la couche la plus importante dans l’infrastructure
Cloud. C’est à travers le gestionnaire de Cloud que nous pouvons passer d’un environnement distribué à la notion du
Cloud Computing.
 En effet, le gestionnaire de Cloud présente la couche d’orchestration et automatisation qui :
 lie l’ensemble de l’infrastructure
 gère l’allocation des ressources de manière dynamique et assure la scalabilité.
 permet par la suite de construire une architecture Cloud
Mme Amal ABID - GI3 - ENIS 12

13. OpenStack : Sahara
 Sahara est le composant d'OpenStack pour le Big Data. Il permet d'utiliser Hadoop avec OpenStack.
 Sahara a pour but de fournir aux utilisateurs les moyens simples de provisionner des clusters de Hadoop en
spécifiant plusieurs paramètres comme la version, la topologie du cluster ou d'autres. Après avoir rempli ces
paramètres, Sahara déploie le cluster en quelques minutes.
 Sahara fournit aussi les moyens d'évolution du cluster en rajoutant des nœuds à la demande.
 Sahara : Hadoop dans OpenStack
 Facilite les soucis d'installation, de gestion, de monitoring des clusters
 Supporte différentes versions d'Hadoop
 Crée différents environnements Hadoop simplement : dev, test, pré-prod
 A une API pour construire et lancer un cluster à la volée, notamment lors des tests
 A la possibilité d'exploiter les mêmes données par plusieurs clusters
 Lien d’un démo vidéo : https://www.youtube.com/watch?v=vmry_kXqn4c
Mme Amal ABID - GI3 - ENIS

14. Mme Amal ABID - GI3 - ENIS 14

15. Mme Amal ABID - GI3 - ENIS 15

16. Mme Amal ABID - GI3 - ENIS 16

17. Mme Amal ABID - GI3 - ENIS 17

18. Mme Amal ABID - GI3 - ENIS 18

19. Mme Amal ABID - GI3 - ENIS 19

20. Annexe D
Mahout
Mme Amal ABID - GI3 - ENIS 20

21. Mahout : Présentation
 Apache Mahout est un projet de la fondation Apache visant à créer des implémentations d'algorithmes
d'apprentissage automatique (Machine Learning) distribués.
 D'abord développé au-dessus de la plate-forme Hadoop, Mahout a ensuite utilisé Apache Spark.
 Les algorithmes principaux proposés par Mahout pour faire du partitionnement de données et de la classification
automatique sont implémentés avec Apache Hadoop en utilisant le paradigme MapReduce.
 L’utilisation de Mahout sur Hadoop est simple.
 Par exemple si nous voulons faire du clustering avec K-means, il suffit de lancer une (ou des) commande(s) qui
contiennent quelques paramètres tels que :
 input : le chemin de votre dataset.
 clusters : les centroïdes d'entrée, en tant que vecteurs.
 output : le chemin du repertoire de sortie.
 distanceMeasure : Le nom de classe de la mesure de distance. La valeur par défaut est SquaredEuclidean.
 k : Le k dans k-Means. Si spécifié, une sélection aléatoire de k vecteurs sera choisie comme centroïde et écrite
dans le chemin d'entrée des clusters.
 Lien : https://mahout.apache.org/users/clustering/k-means-commandline.html
 Tuto exemple
 Lien : https://www.youtube.com/watch?v=Vub7ffAkn7Q