Découvrez chaque composant BigData et son écosystème. Cette formation vidéo va vous permettre de : - Découvrir les enjeux du BigData. - Savoir les métiers du BigData (les ingenieurs,les Data scientiste, le Business intelligence...). - Connaitre les acteurs du BigData. - Avoir idée sur les certifications BigData (Cloudera, Hortonworks et MAPR). - Etre capable de décrire chaque composant BigData : le HDFS, le MapReduce, le Yarn, le Hcatalog, le Flume, le SQOOP, l'Oozie, le Zookeeper, le Spark et le NoSQL. - Etre capable de monter son propre distribution Hadoop Découvrez la formation complète par ici : https://www.smartnskilled.com/tutoriel/formation-en-ligne-bienvenue-au-monde-du-bigdata

1. Formation Bienvenue au monde du Big Data
La cuisine interne du Flume
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

2. Formation Bienvenue au monde du Big Data
Introduction
 Présentation de Flume

3. Formation Bienvenue au monde du Big Data
Présentation de Flume
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Notions
5

4. Formation Bienvenue au monde du Big Data
Présentation de Flume
Event
Transport des flux
Multiplexage
Filtrage
Concurrence
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Interception
Multiplexage
Notions
5

5. Formation Bienvenue au monde du Big Data
Présentation de Flume
Agent Flume
Agent Flume
Agent Flume
Agent Flume
Agent Flume
Collecteur
Collecteur
Agent Flume
Agent Flume
Générateur
de données
Générateur
de données
Générateur
de données
Générateur
de données
Générateur
de données
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Notions
5

6. Formation Bienvenue au monde du Big Data
Agent
Présentation de Flume
Source 1 Sink 1
Channel 1
Evènements
Channel NSource N
Sink N
Evènements
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Notions
5

7. Formation Bienvenue au monde du Big Data
Présentation de Flume
Fan-out Flow Fan- in Flow
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Notions
5

8. Formation Bienvenue au monde du Big Data
Agent
Présentation de Flume
Source 1
Sink 1
Channel 1
Evènements
Channel N
Source N Sink NEvènementsIntercepteurs
IntercepteursSélecteurs
de
chaines
Processeurs
de Sink
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Notions
5

9. Formation Bienvenue au monde du Big Data
Présentation de Flume
1
2
Les agents Flume
Le rôle
3
Les canaux
4
Gestion des erreurs
Notions
5

10. Formation Bienvenue au monde du Big Data
Présentation de Flume
Source1.
Sink2.
Chaîne3.
Intercepteur4.
Sélectionneur de
chaine5.
Agent6.
Processeurs de Sink7.
Evènement Flume8.
1
Les agents Flume
Le rôle
Les canaux
Gestion des erreurs
2
3
4
Notions
5

11. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de Flume

12. Formation Bienvenue au monde du Big Data
La cuisine interne du Sqoop
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

13. Formation Bienvenue au monde du Big Data
Introduction
 Présentation de Sqoop

14. Formation Bienvenue au monde du Big Data
Présentation de Sqoop
Import
Export
Sqoop c’est quoi ?
1
2
4
Fonctionnement
Sqoop vs Flume
5
Traitement données
3
Composants

15. Formation Bienvenue au monde du Big Data
Présentation de Sqoop
VS
Sqoop c’est quoi ?
Fonctionnement
Sqoop vs Flume
Traitement données
Composants
1
2
4
5
3

16. Formation Bienvenue au monde du Big Data
Présentation de Sqoop
Map
Reduce
Connectors
Web UI
Rest API
Méta données
Sqoop c’est quoi ?
1
2
3
Fonctionnement
Sqoop vs Flume
4
Traitement données
2
Composants
1
4
2
3
Common Connectors
Fast Connectors

17. Formation Bienvenue au monde du Big Data
Présentation de Sqoop
1
2
5
6
Sqoop c’est quoi ?
Fonctionnement
Sqoop vs Flume
Traitement données
Composants
1
2
4
5
3
3
4

18. Formation Bienvenue au monde du Big Data
Présentation de Sqoop
1
Détermine la clé primaire
2
SELECT MIN(id), MAX(id)
FROM TABLE;
Sqoop c’est quoi ?
Fonctionnement
Sqoop vs Flume
Traitement données
Composants
1
2
4
5
3
Importation Bulk
Importation « Append » Importation « Last modified »

19. Formation Bienvenue au monde du Big Data
Présentation de Sqoop
Workflow Extracteurs Chargeurs
Sqoop c’est quoi ?
Fonctionnement
Sqoop vs Flume
Traitement données
Composants
1
2
4
5
3
Initiateur
Destructeur
Métadonnées

20. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de Sqoop

21. Formation Bienvenue au monde du Big Data
La cuisine interne du Oozie
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

22. Formation Bienvenue au monde du Big Data
Introduction
 Présentation du Oozie

23. Formation Bienvenue au monde du Big Data
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3
Job1 Job2 Job3 Job4 Job5 Job6
Job1 Job2 Job3 Job4 Job5
Job1 Job2 Job3 Job4
Situation 1

24. Formation Bienvenue au monde du Big Data
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3
Situation 2
Job1 Job2 Job3 Job4 Job5 Job6
Job1 Job2 Job3 Job4 Job5
Job1 Job2 Job3 Job4

25. Formation Bienvenue au monde du Big Data
Job1 Job2 Job3 Job4 Job5 Job6
Job1 Job2 Job3 Job4 Job5
Job1 Job2 Job3 Job4
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3
Situation 3

26. Formation Bienvenue au monde du Big Data
Job1 Job2 Job3 Job4 Job5 Job6
Job1 Job2 Job3 Job4 Job5
Job1 Job2 Job3 Job4
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3
Situation 3

27. Formation Bienvenue au monde du Big Data
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3
Situation 3
Job1 Job2 Job3 Job4 Job5 Job6
Job1 Job2 Job3 Job4 Job5
Job1 Job2 Job3 Job4

28. Formation Bienvenue au monde du Big Data
Oozie Workflow
« Moteur »
Oozie Cordinator
« Ordonnancement en f(t) »
Oozie Bundles
« Gestion d’état »
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3

29. Formation Bienvenue au monde du Big Data
Fed 3
Présentation du Oozie
Problématique
1
2
Types de JOB
Interface HUE pour gérer les Workflows Oozie
Composants de JOB
4
Edition des Workflows
3

30. Formation Bienvenue au monde du Big Data
Fed 3
Présentation du Oozie
Plugin Eclipse pour gérer les Workflows Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3

31. Formation Bienvenue au monde du Big Data
Fed 3
Présentation du Oozie
Traitement des Workflows Oozie à bas niveau
Action
Statut
Message
Contrôle Start
Contrôle End
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3

32. Formation Bienvenue au monde du Big Data
Forked 1
Fed 3
Action Nodes:
Control Nodes:
Joined 1 Decisioned 1Started 1 Ended 1
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3

33. Formation Bienvenue au monde du Big Data
Présentation du Oozie
Problématique
1
2
Types de JOB
Composants de JOB
4
Edition des Workflows
3
Start
Decision
JoinFork
End
Multi/Uni Input
Multi/Uni Output
Flow normal

34. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de Oozie

35. Formation Bienvenue au monde du Big Data
La cuisine interne du Zookeeper
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

36. Formation Bienvenue au monde du Big Data
Introduction
 Présentation du Zookeeper

37. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Situation 1
1 2
34
5
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader
N

38. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Situation 2
1 2
Job A Job B
Attend
Attend
Dead Lock
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

39. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Situation 3
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

40. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Naming Service
Cluster management
Synchronisation des tâches
Election du Leader Gestion de configuration
Apache Zookeeper
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

41. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Apache Zookeeper
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

42. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Service Zookeeper
10 Secondes
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

43. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Service Zookeeper
10 Secondes
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

44. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Service
Zookeeper
Leader
Followers
Followers
Worker
Worker
Worker
Worker
Worker
Worker
ClientsProblématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

45. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
/
/
config
/
workers
/
app1
/
appN
/
App2/
data1
/
App2/
data2
/
App1/
data1
/
App1/
data2
ZNode
ZNode
ZNode
ZNode
Espace nom hiérarchique – Hierarchical Namespace
métadonnées
Nom/@IP
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

46. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Persistance Znode
Client
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

47. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Ephemeral Znode
Client
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

48. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Sequential Znode
Client
Espace nom
/myapp0000000001
/myapp0000000002
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

49. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Clients
Espace nom
1 2 3 4
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

50. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Clients
Espace nom
2 3 4
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

51. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Clients
Espace nom
3 4
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

52. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Clients
Espace nom
4
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

53. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Client
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

54. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Client
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

55. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Client
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

56. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Client
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

57. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Lecture
Client
/Config/AppN/DataN
/Config/AppN/DataN
Espace nom
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

58. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Client
Espace Nom
/Config/AppN/DataN
/Config/AppN/DataN
Leader
Quorum
Ecriture
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

59. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Quorum
/app/leader_election/guid_00000000100
/app/leader_election/guid_00000000004
/app/leader_election/guid_00000000018
/app/leader_election/guid_0000000006
/app/leader_election/guid_00000000002
/app/leader_election/guid_00000000005
/app/leader_election/guid_00000000003
/app/leader_election/guid_000000000250
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

60. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Leader
Quorum
/app/leader_election/guid_00000000100
/app/leader_election/guid_00000000004
/app/leader_election/guid_00000000018
/app/leader_election/guid_0000000006
/app/leader_election/guid_00000000002
/app/leader_election/guid_00000000005
/app/leader_election/guid_00000000003
/app/leader_election/guid_000000000250
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

61. Formation Bienvenue au monde du Big Data
Présentation du Zookeeper
Ancien
Leader
Quorum
/app/leader_election/guid_00000000100
/app/leader_election/guid_00000000004
/app/leader_election/guid_00000000018
/app/leader_election/guid_0000000006
/app/leader_election/guid_00000000002
/app/leader_election/guid_00000000005
/app/leader_election/guid_00000000003
/app/leader_election/guid_000000000250
Nouveau
Leader
Problématique
1
2
3
Znode
Le rôle
4
Session
5
Election Leader

62. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de Zookeeper

63. Formation Bienvenue au monde du Big Data
La cuisine interne du Spark
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

64. Formation Bienvenue au monde du Big Data
Introduction
 Présentation du Spark

65. Formation Bienvenue au monde du Big Data
Fed 3
Présentation du Spark
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
Map Reduce
90%
Problématique
1
2
Avantages
Notion DDR
4
Architecture
3

66. Formation Bienvenue au monde du Big Data
Présentation du Spark
Sérialisation
Désérialisation
RéplicationSérialisation Entrée / Sortie
Problématique
1
2
Avantages
Notion DDR
4
Architecture
3

67. Formation Bienvenue au monde du Big Data
Fed 3
Présentation du Spark
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
<x , y>
Map Reduce
90%
Problématique
1
2
Avantages
Notion DDR
4
Architecture
3

68. Formation Bienvenue au monde du Big Data
Présentation du Spark
Problématique
1
2
Avantages
Notion DDR
4
Architecture
3

69. Formation Bienvenue au monde du Big Data
Présentation du Spark
Problématique
1
2
Avantages
Notion DDR
4
Architecture
3

70. Formation Bienvenue au monde du Big Data
Présentation du Spark
Problématique
1
2
Avantages
≠Notion DDR
4
Architecture
3

71. Formation Bienvenue au monde du Big Data
Présentation du Spark
Problématique
1
2
Avantages
La rapidité Le support des langages
Notion DDR
4
Architecture
3
L’analyse avancée

72. Formation Bienvenue au monde du Big Data
Présentation du Spark
RAM
1 2
Problématique
1
2
Avantages
4
Architecture
3
Notion DDR

73. Formation Bienvenue au monde du Big Data
Présentation du Spark
Contexte Spark
Le programme pilote
« Driver program »
Le gestionnaire du cluster
« Cluster manager »
Cluster
Problématique
1
2
Avantages
4
Architecture
3
Notion DDR

74. Formation Bienvenue au monde du Big Data
Présentation du Spark
Problématique
1
2
Avantages
4
Architecture
3
Notion DDR

75. Formation Bienvenue au monde du Big Data
Présentation du Spark
RAMRAMRAM
Itération X
Itération
Itération
…
Problématique
1
2
Avantages
4
Architecture
3
Notion DDR

76. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de Spark

77. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

78. Formation Bienvenue au monde du Big Data
Introduction
 Présentation du NoSQL

79. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
NoSQLProblématique
1
2
Comparaison
Types
3
= Not Only SQL

80. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
NoSQL = Not Only SQLProblématique
1
2
Comparaison
Types
3

81. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
Problématique
1
2
Comparaison
Types
3
Extension verticale
Extension Horizontale
SQL
NOSQL

82. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
SQL
NOSQL
Problématique
1
2
Comparaison
Types
3

83. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
SQL
NOSQL
SGBDR Classiques
SGBD orientés
documents
NOSQL
SGBD orientés
graphe
NOSQL
SGBD orientés
Colonnes
NOSQL
SGBD orientés
Clé valeur
Problématique
1
2
Comparaison
Types
3

84. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
NOSQL
SGBD orientés
documents
DocumentDB
Simple DB
Problématique
1
2
Comparaison
Types
3

85. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
NOSQL
SGBD orientés
graphe
Problématique
1
2
Comparaison
Types
3

86. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
NOSQL
SGBD orientés
Colonnes
Click House
Problématique
1
2
Comparaison
Types
3

87. Formation Bienvenue au monde du Big Data
Présentation du NoSQL
NOSQL
SGBD orientés
Clé valeur
Problématique
1
2
Comparaison
Types
3

88. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation du NoSQL

89. Formation Bienvenue au monde du Big Data
Préparation du premier Cluster Hadoop
« Mode Single Node »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

90. Formation Bienvenue au monde du Big Data
Introduction
 Préparation du premier Cluster Hadoop
en mode single Node

91. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Préparation du premier Cluster Hadoop
en mode single Node

92. Formation Bienvenue au monde du Big Data
Installation du Hadoop
« Mode Single Node Distribué »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

93. Formation Bienvenue au monde du Big Data
Introduction
 Installation du Hadoop

94. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Installation du Hadoop

95. Formation Bienvenue au monde du Big Data
Installation du Hadoop
« Mode Single Node Distribué »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

96. Formation Bienvenue au monde du Big Data
Introduction
 Installation du Hadoop

97. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Installation du Hadoop

98. Formation Bienvenue au monde du Big Data
Installation du Cluster Hadoop MultiNode
« Installation NameNode »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

99. Formation Bienvenue au monde du Big Data
Introduction
 Installation du NameNode

100. Formation Bienvenue au monde du Big Data
Installation du NameNode
La topologie
1
2
L’installation
NameNode
Système: Linux Ubuntu - GNome
RAM: 1024 Mega
Disque: 20 Giga
Carte Réseau 1: LAN1
Carte Réseau 2: NAT
DataNode1
Système: Linux CentOS 7 - Core
RAM: 512 Mega
Disque: 20 Giga
Carte Réseau 1: LAN1
Carte Réseau 2: NAT
DataNode2
Système: Linux CentOS 7 - Core
RAM: 512 Mega
Disque: 20 Giga
Carte Réseau 1: LAN1
Carte Réseau 2: NAT

101. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Installation du NameNode

102. Formation Bienvenue au monde du Big Data
Installation du Cluster Hadoop MultiNode
« Configuration NameNode »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

103. Formation Bienvenue au monde du Big Data
Introduction
 Configuration du NameNode

104. Formation Bienvenue au monde du Big Data
Configuration du NameNode
Les fichiers config
1
core-site.xml hdfs-site.xml
mapred-site.xml yarn-site.xml

105. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Configuration du NameNode

106. Formation Bienvenue au monde du Big Data
Installation du Cluster Hadoop MultiNode
« Ajout du premier DataNode »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

107. Formation Bienvenue au monde du Big Data
Introduction
 Ajout du premier DataNode

108. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Ajout du premier DataNode

109. Formation Bienvenue au monde du Big Data
Installation du Cluster Hadoop MultiNode
« Installation du EdgeNode »
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

110. Formation Bienvenue au monde du Big Data
Introduction
 Présentation de la topologie finale

111. Formation Bienvenue au monde du Big Data
 Présentation de la topologie finale
Topologie finale
1
Name Node
Data Nodes
Le cluster HadoopLe cluster EdgeNode

112. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de la topologie finale

113. Formation Bienvenue au monde du Big Data
Techniques de dépannages
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

114. Formation Bienvenue au monde du Big Data
Introduction
 Présentation de quelques procédures préliminaires

115. Formation Bienvenue au monde du Big Data
 Présentation de quelques procédures préliminaires
La JVM
1
2
Les variables ENV
3
Le fichier hosts
4
Les fichiers config
5
Autres
~/.bashrc
~/.hadoop-env.sh

116. Formation Bienvenue au monde du Big Data
 Présentation de quelques procédures préliminaires
La JVM
1
2
Les variables ENV
3
Le fichier hosts
4
Les fichiers config
5
Autres
~/.bashrc

117. Formation Bienvenue au monde du Big Data
 Présentation de quelques procédures préliminaires
La JVM
1
2
Les variables ENV
3
Le fichier hosts
4
Les fichiers config
5
Autres
/etc/hosts

118. Formation Bienvenue au monde du Big Data
 Présentation de quelques procédures préliminaires
La JVM
1
2
Les variables ENV
3
Le fichier hosts
4
Les fichiers config
5
Autres
core-site.xml, yarn-site.xml,hdfs-site.xml,map-red.site

119. Formation Bienvenue au monde du Big Data
 Présentation de quelques procédures préliminaires
La JVM
1
2
Les variables ENV
3
Le fichier hosts
4
Les fichiers config
5
Autres

120. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Présentation de quelques procédures préliminaires

121. Formation Bienvenue au monde du Big Data
Big Data les défis et les perspectives
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

122. Formation Bienvenue au monde du Big Data
Introduction
 Les défis du Big Data
 Les perspectives du Big Data

123. Formation Bienvenue au monde du Big Data
 Les défis du Big Data
Les défis
1
2
Les perspectives
Défi 1
• Hadoop est un système distribué complexe avec des API
de bas niveau souvent développées en mode Open Source
Défi 2
• Des compétences spécialisées sont requises pour utiliser
Hadoop, notamment en Java et Linux empêchant la
plupart des développeurs de créer des solutions efficaces
Défi 3
• Les API de logique métier et d'infrastructure n'ont pas de
séparation claire

124. Formation Bienvenue au monde du Big Data
 Les défis du Big Data
Défi 4
• Les tests automatisés de solutions sont difficiles à
réaliser voir impossibles dans certain cas
Défi 5
• Passer de la preuve de concept à la pratique n’est pas
évidente, en effet sa peut prendre quelques semaines
voir quelques mois ou des trimestres
Défi 6
• Différents procédures de traitement nécessitent que
les données soient stockées d’une manière spécifique
Les défis
1
2
Les perspectives

125. Formation Bienvenue au monde du Big Data
 Les défis du Big Data
Défi 7
• L’intégration des services en temps réel nécessite une
manœuvre profonde de plusieurs composants à la fois
sans compter le facteur incompatibilité
Défi 8
• Traiter certain composants nécessitent une
documentation complète et à jour ce qu’il n’est pas
tout à fait le cas dans ce cas
Défi 9
• Les opérations ETL avancées ne sont pas accès faciles
comme elles sont décrites en théorie
Les défis
1
2
Les perspectives

126. Formation Bienvenue au monde du Big Data
 Les perspectives du Big Data
Les défis
1
2
Les perspectives

127. Formation Bienvenue au monde du Big Data
 Les perspectives Big Data
Les défis
1
2
Les perspectives

128. Formation Bienvenue au monde du Big Data
 Les perspectives Big Data
Les défis
1
2
Les perspectives

129. Formation Bienvenue au monde du Big Data
Ce que nous avons vu
 Les défis du Big Data
 Les perspectives du Big Data

130. Formation Bienvenue au monde du Big Data
Bienvenue au monde du Big Data
Le Bilan
Présentée par:
Béchir BEJAOUI
Formateur et consultant indépendant

131. Formation Bienvenue au monde du Big Data
Introduction
 Le bilan

132. Formation Bienvenue au monde du Big Data
Ce qu’on a vu
 Présentation de la formation

133. Formation Bienvenue au monde du Big Data
Présentation de la formation
Formateur
Public
1
2
3
4
Plan
Prérequis
Objectifs
5
Présentation de la
formation
Les enjeux du Big Data
Les métiers du Big
Data
Les principaux acteurs
Big Data-Partie I
Les principaux acteurs
Big Data –Partie II
Les certifications du
Big Data
« Chapitre introductif »

134. Formation Bienvenue au monde du Big Data
Présentation de la formation
Formateur
Public
1
2
3
4
Plan
Prérequis
Objectifs
5
Ecosystème du Big
Data
Le HDFS Le MapReduce
Le YARN Le HCatalog Le Flume
« L’écosystème du Big Data »

135. Formation Bienvenue au monde du Big Data
Présentation de la formation
Formateur
Public
1
2
3
4
Plan
Prérequis
Objectifs
5
Le SQOOP Le Oozie Le Zoo Keeper
Le Spark Le NoSQL
« L’écosystème du Big Data »

136. Formation Bienvenue au monde du Big Data
Présentation de la formation
Formateur
Public
1
2
3
4
Plan
Prérequis
Objectifs
5
Préparation du premier
nœud Hadoop
Installation du Hadoop
Configuration du
Hadoop
Installation NameNode
Configuration
NameNode
« Montez votre propre cluster Hadoop à partir de zéro »
Ajout du premier
DataNode

137. Formation Bienvenue au monde du Big Data
Présentation de la formation
Formateur
Public
1
2
3
4
Plan
Prérequis
Objectifs
5
Ajout du EdgeNode
Erreurs communes &
Techniques de
dépannages
La théorie la pratique
et les perspectives
« Montez votre propre cluster Hadoop à partir de zéro »

138. Formation Bienvenue au monde du Big Data
Présentation de la formation
Formateur
Public
1
2
3
4
Plan
Prérequis
Objectifs
5
Le Bilan
« Le Bilan »

139. Formation Bienvenue au monde du Big Data
Ce qu’on a vu
 Le bilan