installation hadoop

1. Université de Kairouan
Institut Supérieur d’Informatique
et de Gestion de Kairouan
Réalisé par:
Jamli Rim
Khalfaoui Ichraf
Élaborée par :
Mr. Abbassi Hafedh
Guide
D’installation
HADOOP

2. 1 Pré-Requis

3. Agenda
JAVA & HADOOP
01
JAVA HOME & HADOOP HOME
02
FICHIER & HADOOP
03
TEST D’INSTALLATION
CORRECTE
04
INSTALLATION
Environnement & PATH
Configuration
1

4. 2
1
1 JAVA & HADOOP
INSTALLATION
Nous savons tous que Hadoop est construit sur java donc tout d’abord nous devons télécharger et installer JAVA :
Nous devons comprendre quelles versions de hadoop nous installerons et quelle version de java est compatible avec cette version Hadoop 3.2.2 qui
prend en charge JAVA 8, il existe d’autres versions d’Hadoop 2.6 nécessite JAVA 6, Hadoop 2.7 : JAVA 7.
Aller sur le site de hadoop et voyer quelle est la dernière version que nous allons télécharger : https://hadoop.apache.org/releases.html

5. 3
1
1
Sur la page de l’organisation Apache vous pouvez voir différents versions de hadoop et vous pouvez voir que la dernière version est 3.2.2 que nous allons
télécharger.
Nous allons cliquer sur « binary », puis une nouvelle page apparaisse et juste après avoir cliqué sur le lien votre téléchargement commencera.
JAVA & HADOOP
INSTALLATION

6. 4
1
1 JAVA & HADOOP
INSTALLATION
Nous allons télécharger hadoop 3.2.2 donc maintenant nous savons que la version java dont nous avons besoin est java 8, nous allons donc télécharger JDK 8.
3-Allons sur la page https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
Où nous allons télécharger jdk8. Faites défiler la page vers le bas et vous verrez le lien pour Windows 64bits.

7. 5
1
1 JAVA & HADOOP
INSTALLATION
Après avoir téléchargé les deux fichiers avec succès,
vous pouvez voir HADOOP 3.2.2 et JDK8.
Commencez l’installation avec java double clique puis suivant (next) -> suivant (next)

8. 6
1
1 JAVA & HADOOP
INSTALLATION
Maintenant cliquer sur change pour installer dans un nouveau dossier dans le répertoire C dans un dossier nommé java donc :
Sélectionnez le répertoire C
Créez un nouveau dossier nommé java
Validez par ok
Donc votre destination maintenant est c:java cliquez sur suivant pour que l’installation démarre

9. 7
1
1 JAVA & HADOOP
INSTALLATION
Le kit Java a été installé avec
succès :
Vous devez fusionner les deux
dossiers :
Déplacez le dossier
c:programmesjdk dans c:java
Pour éviter les erreurs lors de la
création des variables
d’environnement

10. 8
2 JAVA HOME & HADOOP HOME
Environnement & PATH
Passons maintenant à la deuxième étape et définissons l’environnement et le chemin
variable pour JAVA :
Démarrer -> paramètres ->système
Puis tapez modifier les variables d’environnement système

11. 9
2 JAVA HOME & HADOOP HOME
Environnement & PATH
Cliquez sur variable d’environnement.
Nous devons faire est ajouter un nouvelle variable cliquez sur nouveau type java :
Nom de variable : JAVA_HOME
Valeur de variable :C:javajdk1.8.0_281bin (le chemin du dossier bin de jdk8)

12. 2 JAVA HOME & HADOOP HOME
Environnement & PATH
Sur le variables système choisissez PUTH, puis cliquez sur modifier ->
Nouveau et coller le même chemin du JDK et validez. Vous avez terminé
installation java dans le système, voyons si l’installation a été terminée,
réussi ou non.
Visitez Invite de commande et tapez :
javac notre java fonctionne correctement.
Vous pouvez également voir la version de java tapez :
java -version
10

13. 11
3
2019
2019
Maintenant l’installation Hadoop, puisque
l’extension de fichier Hadoop est tar vous devez
l’extraire et déplacer le dans le dossier C :
Vous effectuerez certaines configurations, ouvrez
votre dossier Hadoop et allez dans dossier etc vous
trouverez un autre dossier hadoop ouvrez le. Un
ensemble de cinq fichiers XML que devez éditer
(Notepad++).
Core-site.xml :
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</Configuration>
Reste des configurations dans l’annexe
FICHIER & HADOOP
Configuration

14. 12
3
2019
2019
FICHIER & HADOOP
Configuration

15. 13
3
2019
2019
FICHIER & HADOOP
Configuration

16. 14
3
2019
2019
FICHIER & HADOOP
Configuration

17. 15
3
2019
2019
FICHIER & HADOOP
Configuration

18. 16
3
2019
2019
FICHIER & HADOOP
Configuration

19. 17
3
2019
2019
FICHIER & HADOOP
Configuration

20. 18
3
2019
2019
FICHIER & HADOOP
Configuration
Enregistrez et allez pour définissez les variables
d’environnement et les variables de chemin pour
Hadoop. Même étapes pour java et hadoop :
Cliquez sur variable d’environnement.
Nous devons faire est ajouter un nouvelle variable
cliquez sur nouveau type hadoop :
Nom de variable : HADOOP_HOME
Valeur de variable : C:hadoop-3.2.2hadoopbin
Sur le variables système choisissez PUTH, puis cliquez
sur modifier -> Nouveau et coller le même chemin du
hadoop :
C:hadoop-3.2.2hadoopbin
C:hadoop-3.2.2hadoopsbin
Et validez.

21. 19
3
2019
2019
FICHIER & HADOOP
Configuration
Enregistrez et allez pour définissez les variables
d’environnement et les variables de chemin pour
Hadoop. Même étapes pour java et hadoop :
Cliquez sur variable d’environnement.
Nous devons faire est ajouter un nouvelle variable
cliquez sur nouveau type hadoop :
Nom de variable : HADOOP_HOME
Valeur de variable : C:hadoop-3.2.2hadoopbin
Sur le variables système choisissez PUTH, puis cliquez
sur modifier -> Nouveau et coller le même chemin du
hadoop :
C:hadoop-3.2.2hadoopbin
C:hadoop-3.2.2hadoopsbin
Et validez.

22. 2 JAVA HOME & HADOOP HOME
Environnement & PATH
Donc maintenant vous avez mis en place toutes les
variables d’environnement et le chemin variables,
définissez les fichiers de configuration dans le dossier
bin de hadoop puisque certains fichiers de configuration
importants sont manquants pour corriger cela vous
trouvez dans cette lien contient la configuration :
https://drive.google.com/file/d/1zuT8G3D2JFkbkd
v6fMhnhBOj8YSsgJc-/view
Télécharger ->extraire
Il suffit de copier et le coller dans le dossier hadoop,
enfin supprimez l’ancien dossier
Vous avez enfin configuré hadoop avec succès.
20

23. 4
2019
2019
Hadoop est installé et configuré avec succès maintenant, pour vérifier si l’installation a réussi ou non.
Exécutez l’invite de commande en tant que administrateur, tapez l’espace de nœud de nom d’espace HDFS : hdfs namenode –format
Donc cela montre que Hadoop est installe avec succès
21
TEST D’INSTALLATION CORRECTE
TEST

24. 4
2019
2019
22
TEST D’INSTALLATION CORRECTE
TEST

25. 4
2019
2019
23
TEST D’INSTALLATION CORRECTE
TEST

26. 4
2019
2019
a) File C:/Hadoop-3.2.2/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
b) C:/Hadoop-3.2.2/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
c) Create folder "data" under "C:Hadoop-3.2.2"
1) Create folder "datanode" under "C:Hadoop-3.2.2data"
2) Create folder "namenode" under "C:Hadoop-3.2.2data" data
d) Edit file C:Hadoop-3.2.2/etc/hadoop/hdfs-site.xml,
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>C:hadoop-3.2.2hadoopdatanamenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>C:hadoop-3.2.2hadoopdatadatanode</value>
</property>
</configuration>
Annexe
24

27. INSTALLATION
AVEC
SUCCES

28. MERCI POUR VOTRE ATTENTION