SlideShare une entreprise Scribd logo
1  sur  17
Télécharger pour lire hors ligne
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Les Big Data ont déjà leur standard : Hadoop !
Charly CLAIRMONT
Altic - http://altic.org
charly.clairmont@altic.org
@egwada
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
On a un problème !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Un problème de données !
1.2 Zettabytes
Attendu d'ici la fin
2013
Gigabyte -> Terabyte -> Petabyte -> Exabyte -> Zettabyte
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Tout le monde a ce problème !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-
Traitant
Producteur
de Machines
Fournisseurs
Supply
Chain
Managt
B to B
Web
Fournisseurs
Soc de
Service
Push
Banque
Actionnaires
Sites de
Recrutement
E-learning Télé-
Tutoring
Distributeur
Marchand
e-
com
merc
e
Sites
d ’appel
d ’offre
CONCURRENTS
Marketing
one to
one
Site
Financier
e-mailing, bandeaux,
site promotionnel...
tracking
Logistique
CLIENTS
Back-up
techniciens
SVP
réclamations
Tutoring
Club
utilisateur
Télémaintenan
ce
B
to
B
Co-
ingienerie
Extranet
Administr@tions
Site
de
crise
DG
Bureau
d’Etude
Maintenance
EDI
Back-up
commerciau
x
Partenaires
Veille
Concurrentielle
et Intelligence
Economique
$
Gestion Trésorerie
Dématérialisation
des procédures
Télémaintenanc
e machines
Veille
Technologique
Recherche
nouveaux
Fournisseurs
Market-Place
Télétravail
ASP
Gestion
Source :
Jean-Michel YOLIN
http://yolin.net/
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
DRH SAV
Achats
Marketing
Publicité
Vente
Sous-
Traitant
Producteur
de Machines
Fournisseurs
Supply
Chain
Managt
B to B
Web
Fournisseurs
Soc de
Service
Push
Banque
Actionnaires
Sites de
Recrutement
E-learning Télé-
Tutoring
Distributeur
Marchand
e-
com
merc
e
Sites
d ’appel
d ’offre
CONCURRENTS
Marketing
one to
one
Site
Financier
e-mailing, bandeaux,
site promotionnel...
tracking
Logistique
CLIENTS
Back-up
techniciens
SVP
réclamations
Tutoring
Club
utilisateur
Télémaintenan
ce
B
to
B
Co-
ingienerie
Extranet
Administr@tions
Site
de
crise
DG
Bureau
d’Etude
Maintenance
EDI
Back-up
commerciau
x
Partenaires
Veille
Concurrentielle
et Intelligence
Economique
$
Gestion Trésorerie
Dématérialisation
des procédures
Télémaintenanc
e machines
Veille
Technologique
Recherche
nouveaux
Fournisseurs
Market-Place
Télétravail
ASP
GestionBig DATA
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Où est ce problème ?
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Mais où ? Là !!
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Heureusement il y a des solutions !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Avec Hadoop... ça passe !
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop !
EDW
Applications d’Entreprise
ODS &
Datamarts
Applications &
Feuille de Calcul
Visualisation &
BI
Découverte
Exploration
DEV / IDE
Low Latency
NoSQL
Web
Web
Applications
Opérations
(API)
Custom Existing
Templeton SqoopWebHDFS Flume
HCatalog
Pig
HBase
Hive
Ambari HAOozie
ZooKeeper
MapReduce HDFS
Big Data Sources
(transactions, observations, interactions)
CRM ERP
Exhaust
Data
logs files
financials
Social
Media
Nouvelle
techno
Tableau
sources
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop
● WebHDFS
Facilite l’accès au données, même depuis votre explorateur de fichiers
● HCatalog
Vision unifiée de la donnée
● Pig
Langage de très haut niveau, aussi simple que SQL
Transformation, Filtre, Statistique, Scripting
● Hive
Implémentation du langage SQL
● Hbase
Système de base de données orienté colonnes
● Ambari
Gestion & Surveillance plateforme Hadoop
● Map / Reduce
Framework de calcul
● HDFS
Système de fichiers distribué
● ...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Pourquoi
faire ?
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Et pour quels besoins ?
Media Meilleur Contenu
Intelligence Meilleure Détection
Finance Meilleur Algorithme
Publicité Meilleure Performance
Fraude Meilleure Prévention
Distribution Meilleure Rotation des stocks
Production Meilleure Chaîne logistique
Santé Meilleur Soin
Education Meilleur Enseignement
Gouvernement Meilleur Service Citoyens
Source: Geoffrey Moore. Hadoop Summit 2012 keynote presentation.
sources
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Hadoop, de l'Open Source pour un vrai
marché économique
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Au fait pourquoi Hadoop ?
Flexibilité
Scalabilité
Économique
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
HUG France SL2013 – Mai 2013
Une Introduction à Hadoop
Merci !
Charly CLAIRMONT
Altic - http://altic.org
charly.clairmont@altic.org
@egwada

Contenu connexe

Tendances

Hadoop et son écosystème
Hadoop et son écosystèmeHadoop et son écosystème
Hadoop et son écosystèmeKhanh Maudoux
 
TP1 Big Data - MapReduce
TP1 Big Data - MapReduceTP1 Big Data - MapReduce
TP1 Big Data - MapReduceAmal Abid
 
BigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-ReduceBigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-ReduceLilia Sfaxi
 
Cours Big Data Chap4 - Spark
Cours Big Data Chap4 - SparkCours Big Data Chap4 - Spark
Cours Big Data Chap4 - SparkAmal Abid
 
BigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-ReduceBigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-ReduceLilia Sfaxi
 
Cours Big Data Chap1
Cours Big Data Chap1Cours Big Data Chap1
Cours Big Data Chap1Amal Abid
 
Hadoop et son écosystème - v2
Hadoop et son écosystème - v2Hadoop et son écosystème - v2
Hadoop et son écosystème - v2Khanh Maudoux
 
BigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big DataBigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big DataLilia Sfaxi
 
Cours Big Data Chap5
Cours Big Data Chap5Cours Big Data Chap5
Cours Big Data Chap5Amal Abid
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - IntroductionBlandine Larbret
 
BigData_Chp5: Putting it all together
BigData_Chp5: Putting it all togetherBigData_Chp5: Putting it all together
BigData_Chp5: Putting it all togetherLilia Sfaxi
 
Big Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendancesBig Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendancesJean-Michel Franco
 
Chp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesChp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesLilia Sfaxi
 
BigData_TP4 : Cassandra
BigData_TP4 : CassandraBigData_TP4 : Cassandra
BigData_TP4 : CassandraLilia Sfaxi
 
Introduction aux bases de données NoSQL
Introduction aux bases de données NoSQLIntroduction aux bases de données NoSQL
Introduction aux bases de données NoSQLAntoine Augusti
 
Conception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseAbderrahmane Filali
 

Tendances (20)

Hadoop et son écosystème
Hadoop et son écosystèmeHadoop et son écosystème
Hadoop et son écosystème
 
TP1 Big Data - MapReduce
TP1 Big Data - MapReduceTP1 Big Data - MapReduce
TP1 Big Data - MapReduce
 
Chapitre 2 hadoop
Chapitre 2 hadoopChapitre 2 hadoop
Chapitre 2 hadoop
 
BigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-ReduceBigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-Reduce
 
Cours Big Data Chap4 - Spark
Cours Big Data Chap4 - SparkCours Big Data Chap4 - Spark
Cours Big Data Chap4 - Spark
 
BigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-ReduceBigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-Reduce
 
Cours Big Data Chap1
Cours Big Data Chap1Cours Big Data Chap1
Cours Big Data Chap1
 
Hadoop et son écosystème - v2
Hadoop et son écosystème - v2Hadoop et son écosystème - v2
Hadoop et son écosystème - v2
 
BigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big DataBigData_Chp1: Introduction à la Big Data
BigData_Chp1: Introduction à la Big Data
 
Cours Big Data Chap5
Cours Big Data Chap5Cours Big Data Chap5
Cours Big Data Chap5
 
Hadoop
HadoopHadoop
Hadoop
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - Introduction
 
BigData_Chp5: Putting it all together
BigData_Chp5: Putting it all togetherBigData_Chp5: Putting it all together
BigData_Chp5: Putting it all together
 
Hive ppt (1)
Hive ppt (1)Hive ppt (1)
Hive ppt (1)
 
Big Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendancesBig Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendances
 
Chp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de DonnéesChp2 - Les Entrepôts de Données
Chp2 - Les Entrepôts de Données
 
Une introduction à Hive
Une introduction à HiveUne introduction à Hive
Une introduction à Hive
 
BigData_TP4 : Cassandra
BigData_TP4 : CassandraBigData_TP4 : Cassandra
BigData_TP4 : Cassandra
 
Introduction aux bases de données NoSQL
Introduction aux bases de données NoSQLIntroduction aux bases de données NoSQL
Introduction aux bases de données NoSQL
 
Conception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data Warehouse
 

En vedette (6)

Presentation Hadoop Québec
Presentation Hadoop QuébecPresentation Hadoop Québec
Presentation Hadoop Québec
 
Hadopp Vue d'ensemble
Hadopp Vue d'ensembleHadopp Vue d'ensemble
Hadopp Vue d'ensemble
 
Introduction à HDFS
Introduction à HDFSIntroduction à HDFS
Introduction à HDFS
 
Un introduction à Pig
Un introduction à PigUn introduction à Pig
Un introduction à Pig
 
Une introduction à HBase
Une introduction à HBaseUne introduction à HBase
Une introduction à HBase
 
Introduction à Hadoop
Introduction à HadoopIntroduction à Hadoop
Introduction à Hadoop
 

Similaire à Une Introduction à Hadoop

Talend Open Studio for Big Data (powered by Apache Hadoop)
Talend Open Studio for Big Data (powered by Apache Hadoop)Talend Open Studio for Big Data (powered by Apache Hadoop)
Talend Open Studio for Big Data (powered by Apache Hadoop)Modern Data Stack France
 
Offre de service de François Ziserman
Offre de service de François ZisermanOffre de service de François Ziserman
Offre de service de François Zisermanziserman
 
2010.10.13 - Welcome Package IBM pour Editeurs
2010.10.13 - Welcome Package IBM pour Editeurs2010.10.13 - Welcome Package IBM pour Editeurs
2010.10.13 - Welcome Package IBM pour EditeursClub Alliances
 
BigData en France par Excelerate Systems
BigData en France par Excelerate Systems BigData en France par Excelerate Systems
BigData en France par Excelerate Systems Excelerate Systems
 
Guide Magento Community Edition 1.8 & Enterprise Edition 1.13
Guide Magento Community Edition 1.8 & Enterprise Edition 1.13Guide Magento Community Edition 1.8 & Enterprise Edition 1.13
Guide Magento Community Edition 1.8 & Enterprise Edition 1.13X2i
 
Ibm cloud support for partners 9 feb 2011
Ibm cloud support for partners   9 feb 2011Ibm cloud support for partners   9 feb 2011
Ibm cloud support for partners 9 feb 2011Club Alliances
 
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...drupagora
 
Cloud saas & innovation forum numérique Poitiers 300611
Cloud saas & innovation forum numérique Poitiers  300611Cloud saas & innovation forum numérique Poitiers  300611
Cloud saas & innovation forum numérique Poitiers 300611SaaS Guru
 
Bien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerceBien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerceEnzo
 
Bien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerceBien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerceEnzo
 
Adonis developpement nearshore présentation
Adonis developpement nearshore présentationAdonis developpement nearshore présentation
Adonis developpement nearshore présentationDeveloppementNearshore
 
Web semantique et e-commerce : la vague va déferler !
Web semantique et e-commerce : la vague va déferler !Web semantique et e-commerce : la vague va déferler !
Web semantique et e-commerce : la vague va déferler !Antidot
 
Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...
Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...
Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...Société 1789.fr
 
Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05
Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05
Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05Club Alliances
 
compu Base - comment trouver les bon partenaires?
compu Base - comment trouver les bon partenaires?compu Base - comment trouver les bon partenaires?
compu Base - comment trouver les bon partenaires?Jack Mandard
 
Le Cloud Computing avec Google Apps
Le Cloud Computing avec Google AppsLe Cloud Computing avec Google Apps
Le Cloud Computing avec Google AppsAisne Numérique
 

Similaire à Une Introduction à Hadoop (20)

Talend Open Studio for Big Data (powered by Apache Hadoop)
Talend Open Studio for Big Data (powered by Apache Hadoop)Talend Open Studio for Big Data (powered by Apache Hadoop)
Talend Open Studio for Big Data (powered by Apache Hadoop)
 
Retour Hadoop Summit 2012
Retour Hadoop Summit 2012Retour Hadoop Summit 2012
Retour Hadoop Summit 2012
 
Offre de service de François Ziserman
Offre de service de François ZisermanOffre de service de François Ziserman
Offre de service de François Ziserman
 
Hadoop chez Kobojo
Hadoop chez KobojoHadoop chez Kobojo
Hadoop chez Kobojo
 
2010.10.13 - Welcome Package IBM pour Editeurs
2010.10.13 - Welcome Package IBM pour Editeurs2010.10.13 - Welcome Package IBM pour Editeurs
2010.10.13 - Welcome Package IBM pour Editeurs
 
Présentation de SugarCRM v.5.2
Présentation de SugarCRM v.5.2Présentation de SugarCRM v.5.2
Présentation de SugarCRM v.5.2
 
BigData en France par Excelerate Systems
BigData en France par Excelerate Systems BigData en France par Excelerate Systems
BigData en France par Excelerate Systems
 
Guide Magento Community Edition 1.8 & Enterprise Edition 1.13
Guide Magento Community Edition 1.8 & Enterprise Edition 1.13Guide Magento Community Edition 1.8 & Enterprise Edition 1.13
Guide Magento Community Edition 1.8 & Enterprise Edition 1.13
 
Ibm cloud support for partners 9 feb 2011
Ibm cloud support for partners   9 feb 2011Ibm cloud support for partners   9 feb 2011
Ibm cloud support for partners 9 feb 2011
 
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
 
Cloud saas & innovation forum numérique Poitiers 300611
Cloud saas & innovation forum numérique Poitiers  300611Cloud saas & innovation forum numérique Poitiers  300611
Cloud saas & innovation forum numérique Poitiers 300611
 
Bien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerceBien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerce
 
Bien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerceBien débuter avec une plateforme e-commerce
Bien débuter avec une plateforme e-commerce
 
Adonis developpement nearshore présentation
Adonis developpement nearshore présentationAdonis developpement nearshore présentation
Adonis developpement nearshore présentation
 
Web semantique et e-commerce : la vague va déferler !
Web semantique et e-commerce : la vague va déferler !Web semantique et e-commerce : la vague va déferler !
Web semantique et e-commerce : la vague va déferler !
 
Hadoop prêt pour l'Entreprise
Hadoop prêt pour l'EntrepriseHadoop prêt pour l'Entreprise
Hadoop prêt pour l'Entreprise
 
Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...
Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...
Livre blanc : Les stratégies web pour les franchises et les groupements d'ent...
 
Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05
Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05
Forum - Solutions-as-a-Service et Club Alliances - Plénière Matin - 2009.06.05
 
compu Base - comment trouver les bon partenaires?
compu Base - comment trouver les bon partenaires?compu Base - comment trouver les bon partenaires?
compu Base - comment trouver les bon partenaires?
 
Le Cloud Computing avec Google Apps
Le Cloud Computing avec Google AppsLe Cloud Computing avec Google Apps
Le Cloud Computing avec Google Apps
 

Plus de Modern Data Stack France

Talend spark meetup 03042017 - Paris Spark Meetup
Talend spark meetup 03042017 - Paris Spark MeetupTalend spark meetup 03042017 - Paris Spark Meetup
Talend spark meetup 03042017 - Paris Spark MeetupModern Data Stack France
 
Paris Spark Meetup - Trifacta - 03_04_2017
Paris Spark Meetup - Trifacta - 03_04_2017Paris Spark Meetup - Trifacta - 03_04_2017
Paris Spark Meetup - Trifacta - 03_04_2017Modern Data Stack France
 
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Modern Data Stack France
 
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...Modern Data Stack France
 
Hadoop France meetup Feb2016 : recommendations with spark
Hadoop France meetup  Feb2016 : recommendations with sparkHadoop France meetup  Feb2016 : recommendations with spark
Hadoop France meetup Feb2016 : recommendations with sparkModern Data Stack France
 
HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlusModern Data Stack France
 
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)Modern Data Stack France
 
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015Modern Data Stack France
 
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...Modern Data Stack France
 
Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015
Record linkage, a real use case with spark ml  - Paris Spark meetup Dec 2015Record linkage, a real use case with spark ml  - Paris Spark meetup Dec 2015
Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015Modern Data Stack France
 
June Spark meetup : search as recommandation
June Spark meetup : search as recommandationJune Spark meetup : search as recommandation
June Spark meetup : search as recommandationModern Data Stack France
 
Spark ML par Xebia (Spark Meetup du 11/06/2015)
Spark ML par Xebia (Spark Meetup du 11/06/2015)Spark ML par Xebia (Spark Meetup du 11/06/2015)
Spark ML par Xebia (Spark Meetup du 11/06/2015)Modern Data Stack France
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielModern Data Stack France
 

Plus de Modern Data Stack France (20)

Stash - Data FinOPS
Stash - Data FinOPSStash - Data FinOPS
Stash - Data FinOPS
 
Vue d'ensemble Dremio
Vue d'ensemble DremioVue d'ensemble Dremio
Vue d'ensemble Dremio
 
From Data Warehouse to Lakehouse
From Data Warehouse to LakehouseFrom Data Warehouse to Lakehouse
From Data Warehouse to Lakehouse
 
Talend spark meetup 03042017 - Paris Spark Meetup
Talend spark meetup 03042017 - Paris Spark MeetupTalend spark meetup 03042017 - Paris Spark Meetup
Talend spark meetup 03042017 - Paris Spark Meetup
 
Paris Spark Meetup - Trifacta - 03_04_2017
Paris Spark Meetup - Trifacta - 03_04_2017Paris Spark Meetup - Trifacta - 03_04_2017
Paris Spark Meetup - Trifacta - 03_04_2017
 
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
 
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
 
Hadoop France meetup Feb2016 : recommendations with spark
Hadoop France meetup  Feb2016 : recommendations with sparkHadoop France meetup  Feb2016 : recommendations with spark
Hadoop France meetup Feb2016 : recommendations with spark
 
Hug janvier 2016 -EDF
Hug   janvier 2016 -EDFHug   janvier 2016 -EDF
Hug janvier 2016 -EDF
 
HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlus
 
Hugfr SPARK & RIAK -20160114_hug_france
Hugfr  SPARK & RIAK -20160114_hug_franceHugfr  SPARK & RIAK -20160114_hug_france
Hugfr SPARK & RIAK -20160114_hug_france
 
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
 
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
 
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
 
Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015
Record linkage, a real use case with spark ml  - Paris Spark meetup Dec 2015Record linkage, a real use case with spark ml  - Paris Spark meetup Dec 2015
Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015
 
Spark dataframe
Spark dataframeSpark dataframe
Spark dataframe
 
June Spark meetup : search as recommandation
June Spark meetup : search as recommandationJune Spark meetup : search as recommandation
June Spark meetup : search as recommandation
 
Spark ML par Xebia (Spark Meetup du 11/06/2015)
Spark ML par Xebia (Spark Meetup du 11/06/2015)Spark ML par Xebia (Spark Meetup du 11/06/2015)
Spark ML par Xebia (Spark Meetup du 11/06/2015)
 
Spark meetup at viadeo
Spark meetup at viadeoSpark meetup at viadeo
Spark meetup at viadeo
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
 

Une Introduction à Hadoop

  • 1. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ HUG France SL2013 – Mai 2013 Une Introduction à Hadoop Les Big Data ont déjà leur standard : Hadoop ! Charly CLAIRMONT Altic - http://altic.org charly.clairmont@altic.org @egwada
  • 2. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ On a un problème !
  • 3. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Un problème de données ! 1.2 Zettabytes Attendu d'ici la fin 2013 Gigabyte -> Terabyte -> Petabyte -> Exabyte -> Zettabyte
  • 4. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Tout le monde a ce problème !
  • 5. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ DRH SAV Achats Marketing Publicité Vente Sous- Traitant Producteur de Machines Fournisseurs Supply Chain Managt B to B Web Fournisseurs Soc de Service Push Banque Actionnaires Sites de Recrutement E-learning Télé- Tutoring Distributeur Marchand e- com merc e Sites d ’appel d ’offre CONCURRENTS Marketing one to one Site Financier e-mailing, bandeaux, site promotionnel... tracking Logistique CLIENTS Back-up techniciens SVP réclamations Tutoring Club utilisateur Télémaintenan ce B to B Co- ingienerie Extranet Administr@tions Site de crise DG Bureau d’Etude Maintenance EDI Back-up commerciau x Partenaires Veille Concurrentielle et Intelligence Economique $ Gestion Trésorerie Dématérialisation des procédures Télémaintenanc e machines Veille Technologique Recherche nouveaux Fournisseurs Market-Place Télétravail ASP Gestion Source : Jean-Michel YOLIN http://yolin.net/
  • 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ DRH SAV Achats Marketing Publicité Vente Sous- Traitant Producteur de Machines Fournisseurs Supply Chain Managt B to B Web Fournisseurs Soc de Service Push Banque Actionnaires Sites de Recrutement E-learning Télé- Tutoring Distributeur Marchand e- com merc e Sites d ’appel d ’offre CONCURRENTS Marketing one to one Site Financier e-mailing, bandeaux, site promotionnel... tracking Logistique CLIENTS Back-up techniciens SVP réclamations Tutoring Club utilisateur Télémaintenan ce B to B Co- ingienerie Extranet Administr@tions Site de crise DG Bureau d’Etude Maintenance EDI Back-up commerciau x Partenaires Veille Concurrentielle et Intelligence Economique $ Gestion Trésorerie Dématérialisation des procédures Télémaintenanc e machines Veille Technologique Recherche nouveaux Fournisseurs Market-Place Télétravail ASP GestionBig DATA
  • 7. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Où est ce problème ?
  • 8. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Mais où ? Là !!
  • 9. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Heureusement il y a des solutions !
  • 10. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Avec Hadoop... ça passe !
  • 11. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Hadoop ! EDW Applications d’Entreprise ODS & Datamarts Applications & Feuille de Calcul Visualisation & BI Découverte Exploration DEV / IDE Low Latency NoSQL Web Web Applications Opérations (API) Custom Existing Templeton SqoopWebHDFS Flume HCatalog Pig HBase Hive Ambari HAOozie ZooKeeper MapReduce HDFS Big Data Sources (transactions, observations, interactions) CRM ERP Exhaust Data logs files financials Social Media Nouvelle techno Tableau sources
  • 12. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Hadoop ● WebHDFS Facilite l’accès au données, même depuis votre explorateur de fichiers ● HCatalog Vision unifiée de la donnée ● Pig Langage de très haut niveau, aussi simple que SQL Transformation, Filtre, Statistique, Scripting ● Hive Implémentation du langage SQL ● Hbase Système de base de données orienté colonnes ● Ambari Gestion & Surveillance plateforme Hadoop ● Map / Reduce Framework de calcul ● HDFS Système de fichiers distribué ● ...
  • 13. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Pourquoi faire ?
  • 14. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Et pour quels besoins ? Media Meilleur Contenu Intelligence Meilleure Détection Finance Meilleur Algorithme Publicité Meilleure Performance Fraude Meilleure Prévention Distribution Meilleure Rotation des stocks Production Meilleure Chaîne logistique Santé Meilleur Soin Education Meilleur Enseignement Gouvernement Meilleur Service Citoyens Source: Geoffrey Moore. Hadoop Summit 2012 keynote presentation. sources
  • 15. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Hadoop, de l'Open Source pour un vrai marché économique
  • 16. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ Au fait pourquoi Hadoop ? Flexibilité Scalabilité Économique
  • 17. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/ HUG France SL2013 – Mai 2013 Une Introduction à Hadoop Merci ! Charly CLAIRMONT Altic - http://altic.org charly.clairmont@altic.org @egwada