CERTYOU, 37 rue des Mathurins, 75008 PARIS - SAS au capital de 10 000 Euros
Tél : 01 42 93 52 72 - Fax : 01 70 72 02 72 - contact@certyou.com - www.certyou.com
RCS de Paris n° 804 509 461- TVA intracommunautaire FR03 804509461 - APE 8559A
Déclaration d’activité enregistrée sous le N° 11 75 52524 75 auprès du préfet de région d’Ile-de-France
Hadoop : Déployer du Big Data
Formation Informatique / SGBD et Aide à la décision / Big Data
OBJECTIFS
• Comprendre le Big Data et ses enjeux
• Savoir déployer Hadoop et son écosystème
• Comprendre HDFS, MapReduce
• Structurer les données avec HBase
• Écrire des requêtes avec HiveQL
• Lancer une analyse avec Pig
PUBLIC
Administrateurs systèmes
PRE-REQUIS
• Connaissances en administration système, préférablement Java
PROGRAMME
Introduction au Big Data
Qu'est-ce que le BigData ?
Source des données :l'homme, la machine
La problématique de taille
Position de Hadoopdans le paysage
Introduction à Hadoop
L'origine du projet
Le système de fichiers HDFS
Comprendrel'algorithme MapReduce
L'environnement d'Hadoop : HBase,ZooKeeper, Hive, Pig…
L'API YARN
Mettre Hadoop en place : HDFS
Du mode autonome au mode complètement distribué encluster
Pré-requis, distributions Hadoop
Cluster Hadoop :NameNode, ResourceManager, DataNode, NodeManager
Les fichiers deconfiguration
Opérations de base sur le cluster HDFS :formatage, démarrage, arrêt
Atelier pratique : installer Hadoop sur 2 nœuds, formateret manipuler HDFS
Travailler avec MapReduce
L'intérêt de MapReduce
Mappers, reducers, parallélisme etindépendance des traitements
Entrées, sorties
Soumission d'unjob à Hadoop
Atelier pratique : exécuter une tâche via MapReduce,avec sortie dans HDFS
Une base de données distribuée : HBase
L'accès aléatoire, temps réel, lecture-écriture au BigData
Fonctionnalités de HBase, NoSQL
Pré-requis,configuration
Manipulation via le shell HBase
Atelier pratique : mettre en place HBase sur Hadoop, créeret manipuler une table
Et pourquoi pas un peu de SQL avec Hive ?
Présentation de Hive
Gérer le schéma : bases, tables,vues, partitions
A retenir
Durée : 4 jours soit 28h.
Réf. HADOOP
Dates des sessions
Cette
formation est
également
proposée en
formule
INTRA-ENTREPRISE.
Inclus dans cette formation
Coaching Après-COURS
Pendant 30 jours, votre formateur
sera disponible pour vous aider.
CERTyou s'engage dans la réalisation
de vos objectifs.
Votre garantie 100%
SATISFACTION
Notre engagement 100% satisfaction
vous garantit la plus grande qualité
de formation.
CERTYOU, 37 rue des Mathurins, 75008 PARIS - SAS au capital de 10 000 Euros
Tél : 01 42 93 52 72 - Fax : 01 70 72 02 72 - contact@certyou.com - www.certyou.com
RCS de Paris n° 804 509 461- TVA intracommunautaire FR03 804509461 - APE 8559A
Déclaration d’activité enregistrée sous le N° 11 75 52524 75 auprès du préfet de région d’Ile-de-France
Hadoop : Déployer du Big Data
Formation Informatique / SGBD et Aide à la décision / Big Data
Manipulation des données, requêtes etmap-reduce avec HiveQL
Audits et journal d'erreurs
Atelier pratique : chargement de données massives dansHive, requêtes
Analyser les données avec Pig
Présentation, installation du projet Apache Pig
Exécutions dePig en local, en mode map-reduce
Scripter pour Pig
Le langagePig Latin
Manipulations de données et stockage avec Pig
Atelier pratique : écrire un script contenant du PigLatin pour une tâche simple, et l'exécuter en local, puis en
modemap reduce.
Aller plus loin avec Hadoop
Gérer les logs et l'audit de tâches Hadoop
Découvrir MRUnitpour les test unitaires dans Hadoop
Débogage enlocal
Surveillance des perfomances
Atelier pratique : mise en place d'un job MapReduce pluscomplexe avec traces et tests unitaires

Hadoop formation-hadoop-deployer-du-big-data

  • 1.
    CERTYOU, 37 ruedes Mathurins, 75008 PARIS - SAS au capital de 10 000 Euros Tél : 01 42 93 52 72 - Fax : 01 70 72 02 72 - contact@certyou.com - www.certyou.com RCS de Paris n° 804 509 461- TVA intracommunautaire FR03 804509461 - APE 8559A Déclaration d’activité enregistrée sous le N° 11 75 52524 75 auprès du préfet de région d’Ile-de-France Hadoop : Déployer du Big Data Formation Informatique / SGBD et Aide à la décision / Big Data OBJECTIFS • Comprendre le Big Data et ses enjeux • Savoir déployer Hadoop et son écosystème • Comprendre HDFS, MapReduce • Structurer les données avec HBase • Écrire des requêtes avec HiveQL • Lancer une analyse avec Pig PUBLIC Administrateurs systèmes PRE-REQUIS • Connaissances en administration système, préférablement Java PROGRAMME Introduction au Big Data Qu'est-ce que le BigData ? Source des données :l'homme, la machine La problématique de taille Position de Hadoopdans le paysage Introduction à Hadoop L'origine du projet Le système de fichiers HDFS Comprendrel'algorithme MapReduce L'environnement d'Hadoop : HBase,ZooKeeper, Hive, Pig… L'API YARN Mettre Hadoop en place : HDFS Du mode autonome au mode complètement distribué encluster Pré-requis, distributions Hadoop Cluster Hadoop :NameNode, ResourceManager, DataNode, NodeManager Les fichiers deconfiguration Opérations de base sur le cluster HDFS :formatage, démarrage, arrêt Atelier pratique : installer Hadoop sur 2 nœuds, formateret manipuler HDFS Travailler avec MapReduce L'intérêt de MapReduce Mappers, reducers, parallélisme etindépendance des traitements Entrées, sorties Soumission d'unjob à Hadoop Atelier pratique : exécuter une tâche via MapReduce,avec sortie dans HDFS Une base de données distribuée : HBase L'accès aléatoire, temps réel, lecture-écriture au BigData Fonctionnalités de HBase, NoSQL Pré-requis,configuration Manipulation via le shell HBase Atelier pratique : mettre en place HBase sur Hadoop, créeret manipuler une table Et pourquoi pas un peu de SQL avec Hive ? Présentation de Hive Gérer le schéma : bases, tables,vues, partitions A retenir Durée : 4 jours soit 28h. Réf. HADOOP Dates des sessions Cette formation est également proposée en formule INTRA-ENTREPRISE. Inclus dans cette formation Coaching Après-COURS Pendant 30 jours, votre formateur sera disponible pour vous aider. CERTyou s'engage dans la réalisation de vos objectifs. Votre garantie 100% SATISFACTION Notre engagement 100% satisfaction vous garantit la plus grande qualité de formation.
  • 2.
    CERTYOU, 37 ruedes Mathurins, 75008 PARIS - SAS au capital de 10 000 Euros Tél : 01 42 93 52 72 - Fax : 01 70 72 02 72 - contact@certyou.com - www.certyou.com RCS de Paris n° 804 509 461- TVA intracommunautaire FR03 804509461 - APE 8559A Déclaration d’activité enregistrée sous le N° 11 75 52524 75 auprès du préfet de région d’Ile-de-France Hadoop : Déployer du Big Data Formation Informatique / SGBD et Aide à la décision / Big Data Manipulation des données, requêtes etmap-reduce avec HiveQL Audits et journal d'erreurs Atelier pratique : chargement de données massives dansHive, requêtes Analyser les données avec Pig Présentation, installation du projet Apache Pig Exécutions dePig en local, en mode map-reduce Scripter pour Pig Le langagePig Latin Manipulations de données et stockage avec Pig Atelier pratique : écrire un script contenant du PigLatin pour une tâche simple, et l'exécuter en local, puis en modemap reduce. Aller plus loin avec Hadoop Gérer les logs et l'audit de tâches Hadoop Découvrir MRUnitpour les test unitaires dans Hadoop Débogage enlocal Surveillance des perfomances Atelier pratique : mise en place d'un job MapReduce pluscomplexe avec traces et tests unitaires