Université de Kairouan
Institut Supérieur d’Informatique
et de Gestion de Kairouan
Réalisé par:
Jamli Rim
Khalfaoui Ichraf
Élaborée par :
Mr. Abbassi Hafedh
Guide
D’installation
HADOOP
1 Pré-Requis
Agenda
JAVA & HADOOP
01
JAVA HOME & HADOOP HOME
02
FICHIER & HADOOP
03
TEST D’INSTALLATION
CORRECTE
04
INSTALLATION
Environnement & PATH
Configuration
1
2
1
1 JAVA & HADOOP
INSTALLATION
Nous savons tous que Hadoop est construit sur java donc tout d’abord nous devons télécharger et installer JAVA :
Nous devons comprendre quelles versions de hadoop nous installerons et quelle version de java est compatible avec cette version Hadoop 3.2.2 qui
prend en charge JAVA 8, il existe d’autres versions d’Hadoop 2.6 nécessite JAVA 6, Hadoop 2.7 : JAVA 7.
Aller sur le site de hadoop et voyer quelle est la dernière version que nous allons télécharger : https://hadoop.apache.org/releases.html
3
1
1
Sur la page de l’organisation Apache vous pouvez voir différents versions de hadoop et vous pouvez voir que la dernière version est 3.2.2 que nous allons
télécharger.
Nous allons cliquer sur « binary », puis une nouvelle page apparaisse et juste après avoir cliqué sur le lien votre téléchargement commencera.
JAVA & HADOOP
INSTALLATION
4
1
1 JAVA & HADOOP
INSTALLATION
Nous allons télécharger hadoop 3.2.2 donc maintenant nous savons que la version java dont nous avons besoin est java 8, nous allons donc télécharger JDK 8.
3-Allons sur la page https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
Où nous allons télécharger jdk8. Faites défiler la page vers le bas et vous verrez le lien pour Windows 64bits.
5
1
1 JAVA & HADOOP
INSTALLATION
Après avoir téléchargé les deux fichiers avec succès,
vous pouvez voir HADOOP 3.2.2 et JDK8.
Commencez l’installation avec java double clique puis suivant (next) -> suivant (next)
6
1
1 JAVA & HADOOP
INSTALLATION
Maintenant cliquer sur change pour installer dans un nouveau dossier dans le répertoire C dans un dossier nommé java donc :
Sélectionnez le répertoire C
Créez un nouveau dossier nommé java
Validez par ok
Donc votre destination maintenant est c:java cliquez sur suivant pour que l’installation démarre
7
1
1 JAVA & HADOOP
INSTALLATION
Le kit Java a été installé avec
succès :
Vous devez fusionner les deux
dossiers :
Déplacez le dossier
c:programmesjdk dans c:java
Pour éviter les erreurs lors de la
création des variables
d’environnement
8
2 JAVA HOME & HADOOP HOME
Environnement & PATH
Passons maintenant à la deuxième étape et définissons l’environnement et le chemin
variable pour JAVA :
Démarrer -> paramètres ->système
Puis tapez modifier les variables d’environnement système
9
2 JAVA HOME & HADOOP HOME
Environnement & PATH
Cliquez sur variable d’environnement.
Nous devons faire est ajouter un nouvelle variable cliquez sur nouveau type java :
Nom de variable : JAVA_HOME
Valeur de variable :C:javajdk1.8.0_281bin (le chemin du dossier bin de jdk8)
2 JAVA HOME & HADOOP HOME
Environnement & PATH
Sur le variables système choisissez PUTH, puis cliquez sur modifier ->
Nouveau et coller le même chemin du JDK et validez. Vous avez terminé
installation java dans le système, voyons si l’installation a été terminée,
réussi ou non.
Visitez Invite de commande et tapez :
javac notre java fonctionne correctement.
Vous pouvez également voir la version de java tapez :
java -version
10
11
3
2019
2019
Maintenant l’installation Hadoop, puisque
l’extension de fichier Hadoop est tar vous devez
l’extraire et déplacer le dans le dossier C :
Vous effectuerez certaines configurations, ouvrez
votre dossier Hadoop et allez dans dossier etc vous
trouverez un autre dossier hadoop ouvrez le. Un
ensemble de cinq fichiers XML que devez éditer
(Notepad++).
Core-site.xml :
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</Configuration>
Reste des configurations dans l’annexe
FICHIER & HADOOP
Configuration
12
3
2019
2019
FICHIER & HADOOP
Configuration
13
3
2019
2019
FICHIER & HADOOP
Configuration
14
3
2019
2019
FICHIER & HADOOP
Configuration
15
3
2019
2019
FICHIER & HADOOP
Configuration
16
3
2019
2019
FICHIER & HADOOP
Configuration
17
3
2019
2019
FICHIER & HADOOP
Configuration
18
3
2019
2019
FICHIER & HADOOP
Configuration
Enregistrez et allez pour définissez les variables
d’environnement et les variables de chemin pour
Hadoop. Même étapes pour java et hadoop :
Cliquez sur variable d’environnement.
Nous devons faire est ajouter un nouvelle variable
cliquez sur nouveau type hadoop :
Nom de variable : HADOOP_HOME
Valeur de variable : C:hadoop-3.2.2hadoopbin
Sur le variables système choisissez PUTH, puis cliquez
sur modifier -> Nouveau et coller le même chemin du
hadoop :
C:hadoop-3.2.2hadoopbin
C:hadoop-3.2.2hadoopsbin
Et validez.
19
3
2019
2019
FICHIER & HADOOP
Configuration
Enregistrez et allez pour définissez les variables
d’environnement et les variables de chemin pour
Hadoop. Même étapes pour java et hadoop :
Cliquez sur variable d’environnement.
Nous devons faire est ajouter un nouvelle variable
cliquez sur nouveau type hadoop :
Nom de variable : HADOOP_HOME
Valeur de variable : C:hadoop-3.2.2hadoopbin
Sur le variables système choisissez PUTH, puis cliquez
sur modifier -> Nouveau et coller le même chemin du
hadoop :
C:hadoop-3.2.2hadoopbin
C:hadoop-3.2.2hadoopsbin
Et validez.
2 JAVA HOME & HADOOP HOME
Environnement & PATH
Donc maintenant vous avez mis en place toutes les
variables d’environnement et le chemin variables,
définissez les fichiers de configuration dans le dossier
bin de hadoop puisque certains fichiers de configuration
importants sont manquants pour corriger cela vous
trouvez dans cette lien contient la configuration :
https://drive.google.com/file/d/1zuT8G3D2JFkbkd
v6fMhnhBOj8YSsgJc-/view
Télécharger ->extraire
Il suffit de copier et le coller dans le dossier hadoop,
enfin supprimez l’ancien dossier
Vous avez enfin configuré hadoop avec succès.
20
4
2019
2019
Hadoop est installé et configuré avec succès maintenant, pour vérifier si l’installation a réussi ou non.
Exécutez l’invite de commande en tant que administrateur, tapez l’espace de nœud de nom d’espace HDFS : hdfs namenode –format
Donc cela montre que Hadoop est installe avec succès
21
TEST D’INSTALLATION CORRECTE
TEST
4
2019
2019
22
TEST D’INSTALLATION CORRECTE
TEST
4
2019
2019
23
TEST D’INSTALLATION CORRECTE
TEST
4
2019
2019
a) File C:/Hadoop-3.2.2/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
b) C:/Hadoop-3.2.2/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
c) Create folder "data" under "C:Hadoop-3.2.2"
1) Create folder "datanode" under "C:Hadoop-3.2.2data"
2) Create folder "namenode" under "C:Hadoop-3.2.2data" data
d) Edit file C:Hadoop-3.2.2/etc/hadoop/hdfs-site.xml,
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>C:hadoop-3.2.2hadoopdatanamenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>C:hadoop-3.2.2hadoopdatadatanode</value>
</property>
</configuration>
Annexe
24
INSTALLATION
AVEC
SUCCES
MERCI POUR VOTRE ATTENTION

Hadoop

  • 1.
    Université de Kairouan InstitutSupérieur d’Informatique et de Gestion de Kairouan Réalisé par: Jamli Rim Khalfaoui Ichraf Élaborée par : Mr. Abbassi Hafedh Guide D’installation HADOOP
  • 2.
  • 3.
    Agenda JAVA & HADOOP 01 JAVAHOME & HADOOP HOME 02 FICHIER & HADOOP 03 TEST D’INSTALLATION CORRECTE 04 INSTALLATION Environnement & PATH Configuration 1
  • 4.
    2 1 1 JAVA &HADOOP INSTALLATION Nous savons tous que Hadoop est construit sur java donc tout d’abord nous devons télécharger et installer JAVA : Nous devons comprendre quelles versions de hadoop nous installerons et quelle version de java est compatible avec cette version Hadoop 3.2.2 qui prend en charge JAVA 8, il existe d’autres versions d’Hadoop 2.6 nécessite JAVA 6, Hadoop 2.7 : JAVA 7. Aller sur le site de hadoop et voyer quelle est la dernière version que nous allons télécharger : https://hadoop.apache.org/releases.html
  • 5.
    3 1 1 Sur la pagede l’organisation Apache vous pouvez voir différents versions de hadoop et vous pouvez voir que la dernière version est 3.2.2 que nous allons télécharger. Nous allons cliquer sur « binary », puis une nouvelle page apparaisse et juste après avoir cliqué sur le lien votre téléchargement commencera. JAVA & HADOOP INSTALLATION
  • 6.
    4 1 1 JAVA &HADOOP INSTALLATION Nous allons télécharger hadoop 3.2.2 donc maintenant nous savons que la version java dont nous avons besoin est java 8, nous allons donc télécharger JDK 8. 3-Allons sur la page https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html Où nous allons télécharger jdk8. Faites défiler la page vers le bas et vous verrez le lien pour Windows 64bits.
  • 7.
    5 1 1 JAVA &HADOOP INSTALLATION Après avoir téléchargé les deux fichiers avec succès, vous pouvez voir HADOOP 3.2.2 et JDK8. Commencez l’installation avec java double clique puis suivant (next) -> suivant (next)
  • 8.
    6 1 1 JAVA &HADOOP INSTALLATION Maintenant cliquer sur change pour installer dans un nouveau dossier dans le répertoire C dans un dossier nommé java donc : Sélectionnez le répertoire C Créez un nouveau dossier nommé java Validez par ok Donc votre destination maintenant est c:java cliquez sur suivant pour que l’installation démarre
  • 9.
    7 1 1 JAVA &HADOOP INSTALLATION Le kit Java a été installé avec succès : Vous devez fusionner les deux dossiers : Déplacez le dossier c:programmesjdk dans c:java Pour éviter les erreurs lors de la création des variables d’environnement
  • 10.
    8 2 JAVA HOME& HADOOP HOME Environnement & PATH Passons maintenant à la deuxième étape et définissons l’environnement et le chemin variable pour JAVA : Démarrer -> paramètres ->système Puis tapez modifier les variables d’environnement système
  • 11.
    9 2 JAVA HOME& HADOOP HOME Environnement & PATH Cliquez sur variable d’environnement. Nous devons faire est ajouter un nouvelle variable cliquez sur nouveau type java : Nom de variable : JAVA_HOME Valeur de variable :C:javajdk1.8.0_281bin (le chemin du dossier bin de jdk8)
  • 12.
    2 JAVA HOME& HADOOP HOME Environnement & PATH Sur le variables système choisissez PUTH, puis cliquez sur modifier -> Nouveau et coller le même chemin du JDK et validez. Vous avez terminé installation java dans le système, voyons si l’installation a été terminée, réussi ou non. Visitez Invite de commande et tapez : javac notre java fonctionne correctement. Vous pouvez également voir la version de java tapez : java -version 10
  • 13.
    11 3 2019 2019 Maintenant l’installation Hadoop,puisque l’extension de fichier Hadoop est tar vous devez l’extraire et déplacer le dans le dossier C : Vous effectuerez certaines configurations, ouvrez votre dossier Hadoop et allez dans dossier etc vous trouverez un autre dossier hadoop ouvrez le. Un ensemble de cinq fichiers XML que devez éditer (Notepad++). Core-site.xml : <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </Configuration> Reste des configurations dans l’annexe FICHIER & HADOOP Configuration
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
    18 3 2019 2019 FICHIER & HADOOP Configuration Enregistrezet allez pour définissez les variables d’environnement et les variables de chemin pour Hadoop. Même étapes pour java et hadoop : Cliquez sur variable d’environnement. Nous devons faire est ajouter un nouvelle variable cliquez sur nouveau type hadoop : Nom de variable : HADOOP_HOME Valeur de variable : C:hadoop-3.2.2hadoopbin Sur le variables système choisissez PUTH, puis cliquez sur modifier -> Nouveau et coller le même chemin du hadoop : C:hadoop-3.2.2hadoopbin C:hadoop-3.2.2hadoopsbin Et validez.
  • 21.
    19 3 2019 2019 FICHIER & HADOOP Configuration Enregistrezet allez pour définissez les variables d’environnement et les variables de chemin pour Hadoop. Même étapes pour java et hadoop : Cliquez sur variable d’environnement. Nous devons faire est ajouter un nouvelle variable cliquez sur nouveau type hadoop : Nom de variable : HADOOP_HOME Valeur de variable : C:hadoop-3.2.2hadoopbin Sur le variables système choisissez PUTH, puis cliquez sur modifier -> Nouveau et coller le même chemin du hadoop : C:hadoop-3.2.2hadoopbin C:hadoop-3.2.2hadoopsbin Et validez.
  • 22.
    2 JAVA HOME& HADOOP HOME Environnement & PATH Donc maintenant vous avez mis en place toutes les variables d’environnement et le chemin variables, définissez les fichiers de configuration dans le dossier bin de hadoop puisque certains fichiers de configuration importants sont manquants pour corriger cela vous trouvez dans cette lien contient la configuration : https://drive.google.com/file/d/1zuT8G3D2JFkbkd v6fMhnhBOj8YSsgJc-/view Télécharger ->extraire Il suffit de copier et le coller dans le dossier hadoop, enfin supprimez l’ancien dossier Vous avez enfin configuré hadoop avec succès. 20
  • 23.
    4 2019 2019 Hadoop est installéet configuré avec succès maintenant, pour vérifier si l’installation a réussi ou non. Exécutez l’invite de commande en tant que administrateur, tapez l’espace de nœud de nom d’espace HDFS : hdfs namenode –format Donc cela montre que Hadoop est installe avec succès 21 TEST D’INSTALLATION CORRECTE TEST
  • 24.
  • 25.
  • 26.
    4 2019 2019 a) File C:/Hadoop-3.2.2/etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> b)C:/Hadoop-3.2.2/etc/hadoop/mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> c) Create folder "data" under "C:Hadoop-3.2.2" 1) Create folder "datanode" under "C:Hadoop-3.2.2data" 2) Create folder "namenode" under "C:Hadoop-3.2.2data" data d) Edit file C:Hadoop-3.2.2/etc/hadoop/hdfs-site.xml, <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>C:hadoop-3.2.2hadoopdatanamenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>C:hadoop-3.2.2hadoopdatadatanode</value> </property> </configuration> Annexe 24
  • 27.
  • 28.

Notes de l'éditeur

  • #11 Le data mining comprend l’ensemble des technologies permettent d’analyser les informations d’une base de données Le but est de trouver des informations utiles pour les actions marketing et pourquoi pas des relations des tendances et des caractéristiques identiques entre les données. Pour faire plus simple il s’agit d’un processus de filtrage qui extrait les informations pertinentes depuis un grand nombre d’informations Donc l’exploration des données s’applique a tous les domaines
  • #12 Le data mining comprend l’ensemble des technologies permettent d’analyser les informations d’une base de données Le but est de trouver des informations utiles pour les actions marketing et pourquoi pas des relations des tendances et des caractéristiques identiques entre les données. Pour faire plus simple il s’agit d’un processus de filtrage qui extrait les informations pertinentes depuis un grand nombre d’informations Donc l’exploration des données s’applique a tous les domaines
  • #13 Le data mining comprend l’ensemble des technologies permettent d’analyser les informations d’une base de données Le but est de trouver des informations utiles pour les actions marketing et pourquoi pas des relations des tendances et des caractéristiques identiques entre les données. Pour faire plus simple il s’agit d’un processus de filtrage qui extrait les informations pertinentes depuis un grand nombre d’informations Donc l’exploration des données s’applique a tous les domaines
  • #23 Le data mining comprend l’ensemble des technologies permettent d’analyser les informations d’une base de données Le but est de trouver des informations utiles pour les actions marketing et pourquoi pas des relations des tendances et des caractéristiques identiques entre les données. Pour faire plus simple il s’agit d’un processus de filtrage qui extrait les informations pertinentes depuis un grand nombre d’informations Donc l’exploration des données s’applique a tous les domaines