Définir un cluster
sous Hadoop avec
Apache Ambari
Charif Mahmoudi
Fabrice Mourlin
Architecture matérielle
Réseau
Nat virtuel
Node1 Node2 Node3
Architecture logicielle
Ambari
Server
node1.mcc
Ambari
Agent1
node1.mcc
Ambari
Agent2
node2.mcc
Ambari
Agent3
node3.mcc
Configuration des VMs
• Virtualisation par l’emploi de VirtualBox 4.3.28
• Chaque VM a pour image un Ubuntu 12.X (64 bits)...
CONFIGURATION RÉSEAU DU CLUSTER
Réseau VirtualBox
Configuration Host Only
HostOnly
adapter
169.254.198.27
node1.mcc
169.254.198.101
node2.mcc
169.254.198.102
node3.mcc
169....
Configuration Host Only
• Pour chacune des machines, modifier le fichier de
configuration réseau
sudo nano /etc/network/in...
Configuration de nom de domaine
• Pour chacune des machines, modifier le fichier de dns local
sudo nano /etc/hosts
• Les 3...
INSTALLATION AMBARI
Cluster Hadoop
Architecture logicielle (rappel)
Ambari
Server
node1.mcc
Ambari
Agent1
node1.mcc
Ambari
Agent2
node2.mcc
Ambari
Agent3
nod...
Configuration du serveur Ambari
• Sur node1, exécuter la liste des commandes
• cd /etc/apt/sources.list.d
• sudo wget http...
Configuration des agents Ambari
• Sur tous les noeurs, exécuter la liste des commandes
• cd /etc/apt/sources.list.d
• sudo...
Potentielles erreurs
• En cas d’erreur suite à l’apt-get update du type
• Hash sum mismatch
• sudo rm -f -R /var/lib/apt/l...
DEPLOIEMENT DES COMPOSANTS
Configuration de la stack Ambari
Deployer le cluster Hadoop
• Accès à Ambari WebUI
• http://169.254.198.101:8080
• Configurer un cluster et les services à ...
Réinitialiser un cluster Ambari
• Se placer sur node1.mcc
• sudo ambari-server stop
• sudo ambari-server reset
• sudo amba...
EXEMPLE MAPREDUCE
UtiliserHadoop
Exemple de Map Reduce
• Télécharger l’exemple Map Reduce Hadoop depuis
• sudo wget
http://central.maven.org/maven2/org/apa...
Bilan
• charif.mahmoudi@u-pec.fr
• fabrice.mourlin@u-pec.fr
Prochain SlideShare
Chargement dans…5
×

Définir un cluster sous hadoop avec apache ambari

461 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
461
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
20
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Définir un cluster sous hadoop avec apache ambari

  1. 1. Définir un cluster sous Hadoop avec Apache Ambari Charif Mahmoudi Fabrice Mourlin
  2. 2. Architecture matérielle Réseau Nat virtuel Node1 Node2 Node3
  3. 3. Architecture logicielle Ambari Server node1.mcc Ambari Agent1 node1.mcc Ambari Agent2 node2.mcc Ambari Agent3 node3.mcc
  4. 4. Configuration des VMs • Virtualisation par l’emploi de VirtualBox 4.3.28 • Chaque VM a pour image un Ubuntu 12.X (64 bits) • Chaque VM comporte • 8 Go de RAM • 32 Go de disque • appartient au réseau Nat (Natnetwork) • Il est possible d’ajouter une interface Host Only pour chacune des machines de l’architecture physique.
  5. 5. CONFIGURATION RÉSEAU DU CLUSTER Réseau VirtualBox
  6. 6. Configuration Host Only HostOnly adapter 169.254.198.27 node1.mcc 169.254.198.101 node2.mcc 169.254.198.102 node3.mcc 169.254.198.103
  7. 7. Configuration Host Only • Pour chacune des machines, modifier le fichier de configuration réseau sudo nano /etc/network/interfaces • node1.mcc auto eth1 iface eth1 inet static address 169.254.198.101 netmask 255.255.0.0 network 169.254.198.27 broadcast 169.254.198.255 • Redémarrer le service réseau sudo service networking restart
  8. 8. Configuration de nom de domaine • Pour chacune des machines, modifier le fichier de dns local sudo nano /etc/hosts • Les 3,lignes de configuration suivantes doivent apparaître sur tous les noeuds 169.254.198.101 node1.mcc node1 169.254.198.102 node2.mcc node2 169.254.198.103 node3.mcc node3
  9. 9. INSTALLATION AMBARI Cluster Hadoop
  10. 10. Architecture logicielle (rappel) Ambari Server node1.mcc Ambari Agent1 node1.mcc Ambari Agent2 node2.mcc Ambari Agent3 node3.mcc
  11. 11. Configuration du serveur Ambari • Sur node1, exécuter la liste des commandes • cd /etc/apt/sources.list.d • sudo wget http://public-repo- 1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.0 .1/ambari.list • sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD • sudo apt-get update • sudo apt-get install ambari-server • sudo ambari-server setup • sudo ambari-server start • Il est possible d’accéder à l’interface Web depuis l’adresse http://169.254.198.101:8080 • Login admin • Pass admin
  12. 12. Configuration des agents Ambari • Sur tous les noeurs, exécuter la liste des commandes • cd /etc/apt/sources.list.d • sudo wget http://public-repo- 1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.0.1/am bari.list • sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD • sudo apt-get update • sudo apt-get install ntp • sudo apt-get install ambari-agent • Il faut configurer l’agent Ambari • sudo nano /etc/ambari-agent/conf/ambari-agent.ini • [server] • hostname=node1.mcc • url_port=4080 • secured_url_port=8443 • Pour démarrer l’agent Ambari • sudo ambari-agent start
  13. 13. Potentielles erreurs • En cas d’erreur suite à l’apt-get update du type • Hash sum mismatch • sudo rm -f -R /var/lib/apt/lists/* • sudo apt-get update • Il faut reprendre après l’apt-get update du slide précédent
  14. 14. DEPLOIEMENT DES COMPOSANTS Configuration de la stack Ambari
  15. 15. Deployer le cluster Hadoop • Accès à Ambari WebUI • http://169.254.198.101:8080 • Configurer un cluster et les services à démarrer
  16. 16. Réinitialiser un cluster Ambari • Se placer sur node1.mcc • sudo ambari-server stop • sudo ambari-server reset • sudo ambari-server start • sudo ambari-agent restart • Puis, il faut utiliser le client WebUI à l’url http://169.254.198.101:8080
  17. 17. EXEMPLE MAPREDUCE UtiliserHadoop
  18. 18. Exemple de Map Reduce • Télécharger l’exemple Map Reduce Hadoop depuis • sudo wget http://central.maven.org/maven2/org/apache/hadoop/hadoop- mapreduce-examples/2.6.0/hadoop-mapreduce-examples-2.6.0.jar • Créer un fichier où il y a des données à utiliser • Par exemple rediriger la sortie de la commande • ps –eaf 2> mccdemo.txt • Se connecter en tant qu’utilisateur hdfs • sudo su hdfs • hdfs dfs –mkdir /mcc • hdfs dfs –mkdir /mcc/input • hdfs dfs –put mccdemo.txt /mcc/input • hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /mcc/input /mcc/output • hdfs dfs –cat /mcc/output/*
  19. 19. Bilan • charif.mahmoudi@u-pec.fr • fabrice.mourlin@u-pec.fr

×