1. Définir un cluster
sous Hadoop avec
Apache Ambari
Charif Mahmoudi
Fabrice Mourlin

2. Architecture matérielle
Réseau
Nat virtuel
Node1 Node2 Node3

3. Architecture logicielle
Ambari
Server
node1.mcc
Ambari
Agent1
node1.mcc
Ambari
Agent2
node2.mcc
Ambari
Agent3
node3.mcc

4. Configuration des VMs
• Virtualisation par l’emploi de VirtualBox 4.3.28
• Chaque VM a pour image un Ubuntu 12.X (64 bits)
• Chaque VM comporte
• 8 Go de RAM
• 32 Go de disque
• appartient au réseau Nat (Natnetwork)
• Il est possible d’ajouter une interface Host Only pour chacune
des machines de l’architecture physique.

5. CONFIGURATION RÉSEAU DU CLUSTER
Réseau VirtualBox

6. Configuration Host Only
HostOnly
adapter
169.254.198.27
node1.mcc
169.254.198.101
node2.mcc
169.254.198.102
node3.mcc
169.254.198.103

7. Configuration Host Only
• Pour chacune des machines, modifier le fichier de
configuration réseau
sudo nano /etc/network/interfaces
• node1.mcc
auto eth1
iface eth1 inet static
address 169.254.198.101
netmask 255.255.0.0
network 169.254.198.27
broadcast 169.254.198.255
• Redémarrer le service réseau
sudo service networking restart

8. Configuration de nom de domaine
• Pour chacune des machines, modifier le fichier de dns local
sudo nano /etc/hosts
• Les 3,lignes de configuration suivantes doivent apparaître sur
tous les noeuds
169.254.198.101 node1.mcc node1
169.254.198.102 node2.mcc node2
169.254.198.103 node3.mcc node3

9. INSTALLATION AMBARI
Cluster Hadoop

10. Architecture logicielle (rappel)
Ambari
Server
node1.mcc
Ambari
Agent1
node1.mcc
Ambari
Agent2
node2.mcc
Ambari
Agent3
node3.mcc

11. Configuration du serveur Ambari
• Sur node1, exécuter la liste des commandes
• cd /etc/apt/sources.list.d
• sudo wget http://public-repo-
1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.0
.1/ambari.list
• sudo apt-key adv --recv-keys --keyserver
keyserver.ubuntu.com B9733A7A07513CAD
• sudo apt-get update
• sudo apt-get install ambari-server
• sudo ambari-server setup
• sudo ambari-server start
• Il est possible d’accéder à l’interface Web depuis l’adresse
http://169.254.198.101:8080
• Login admin
• Pass admin

12. Configuration des agents Ambari
• Sur tous les noeurs, exécuter la liste des commandes
• cd /etc/apt/sources.list.d
• sudo wget http://public-repo-
1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.0.1/am
bari.list
• sudo apt-key adv --recv-keys --keyserver
keyserver.ubuntu.com B9733A7A07513CAD
• sudo apt-get update
• sudo apt-get install ntp
• sudo apt-get install ambari-agent
• Il faut configurer l’agent Ambari
• sudo nano /etc/ambari-agent/conf/ambari-agent.ini
• [server]
• hostname=node1.mcc
• url_port=4080
• secured_url_port=8443
• Pour démarrer l’agent Ambari
• sudo ambari-agent start

13. Potentielles erreurs
• En cas d’erreur suite à l’apt-get update du type
• Hash sum mismatch
• sudo rm -f -R /var/lib/apt/lists/*
• sudo apt-get update
• Il faut reprendre après l’apt-get update du slide
précédent

14. DEPLOIEMENT DES COMPOSANTS
Configuration de la stack Ambari

15. Deployer le cluster Hadoop
• Accès à Ambari WebUI
• http://169.254.198.101:8080
• Configurer un cluster et les services à démarrer

16. Réinitialiser un cluster Ambari
• Se placer sur node1.mcc
• sudo ambari-server stop
• sudo ambari-server reset
• sudo ambari-server start
• sudo ambari-agent restart
• Puis, il faut utiliser le client WebUI à l’url
http://169.254.198.101:8080

17. EXEMPLE MAPREDUCE
UtiliserHadoop

18. Exemple de Map Reduce
• Télécharger l’exemple Map Reduce Hadoop depuis
• sudo wget
http://central.maven.org/maven2/org/apache/hadoop/hadoop-
mapreduce-examples/2.6.0/hadoop-mapreduce-examples-2.6.0.jar
• Créer un fichier où il y a des données à utiliser
• Par exemple rediriger la sortie de la commande
• ps –eaf 2> mccdemo.txt
• Se connecter en tant qu’utilisateur hdfs
• sudo su hdfs
• hdfs dfs –mkdir /mcc
• hdfs dfs –mkdir /mcc/input
• hdfs dfs –put mccdemo.txt /mcc/input
• hadoop jar hadoop-mapreduce-examples-2.6.0.jar
wordcount /mcc/input /mcc/output
• hdfs dfs –cat /mcc/output/*

19. Bilan
• charif.mahmoudi@u-pec.fr
• fabrice.mourlin@u-pec.fr