Copyright Synaltic 2015
CDAP,
la boîte à outil pour concevoir
vos applications Big Data
Simplifier l'approche Big Data
Cha...
Copyright Synaltic 2015
Plus d'une dizaine d'années d'expérience
Co-fondateur d'Altic, maintenant Synaltic
Co-fondateur du...
Copyright Synaltic 2015
Société de conseils et de services spécialisée dans la mise
en œuvre de projets de Data Management...
Copyright Synaltic 2015
Big Data, un écosystème « hyperactif »
Core Hadoop
HDFS, MR
2006
Hbase
Zookeeper
Core Hadoop
2008
...
Copyright Synaltic 2015
!! Simplifier Hadoop !!
Copyright Synaltic 2015
Le nouveau mot d'ordre : « Le Data Lake »
Data Lake
« Enterprise-wide data
management platforms fo...
Copyright Synaltic 2015
« Le Data Lake », plusieurs architectures
« Étang » « Lac » « Réservoir »
Données Internes Existan...
Copyright Synaltic 2015
« Le Data Lake », de nombreux challenges
« Étang » « Lac » « Réservoir »
Traitements manuels
Traça...
Copyright Synaltic 2015
Attention aux enjeux techniques des projets !
Consistance Intégration Éviter l'inutile
Ré-utilisab...
Copyright Synaltic 2015
Cask Data Application Platform
L'objectif de Cask Data Application Platform, CDAP, est de
permettr...
Copyright Synaltic
Open Source (Licence Apache V 2.0)
Framework & Plateforme pour développeurs & organisations
Construire,...
Copyright Synaltic
CDAP, tout en un !
12
Copyright Synaltic
Architecture hautement disponible
13
Copyright Synaltic
CDAP, tout en un !
14
Copyright Synaltic
Hydrator, un ETL pour le Big Data
15
Copyright Synaltic
Ex : Réputation de pages web, architecture application
16
Programmes
– Injection des paires d'url
– Spa...
Copyright Synaltic
Ex : Réputation de pages web, l'application
17
Copyright Synaltic
Ex : Réputation de pages web, déploiement de l'application
18
Enregistrement et déploiement de l'applic...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Liste des applications,
Liste des jeux de
...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Pour chaque
application
– Les programmes
a...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Pour chaque
application
– Les jeux de
donn...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Pour chaque
application
– Paramétrage
– Ex...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Pour chaque
application
– Suivi des
exécut...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Les services sont
disponibles pour
l'intég...
Copyright Synaltic
Ex : Réputation de pages web, visible depuis l'interface web
Les jeux de données
peuvent être accédés
v...
Copyright Synaltic
CDAP simplifie les projets Big Data
CDAP apporte une gestion de bout en bout de vos projets Big
Data
CD...
Copyright Synaltic
CDAP :
– http://cdap.io/
Documentation :
– http://docs.cdap.io/cdap/current/en/index.html
Source :
– ht...
Copyright Synaltic 2015
Questions / Réponses
Prochain SlideShare
Chargement dans…5
×

CDAP, la boîte à outil pour concevoir vos applications Big Data

1 053 vues

Publié le

Une petite découverte de Cask Data Application Platform par Charly CLAIRMONT Synaltic

Publié dans : Technologie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 053
Sur SlideShare
0
Issues des intégrations
0
Intégrations
138
Actions
Partages
0
Téléchargements
17
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

CDAP, la boîte à outil pour concevoir vos applications Big Data

  1. 1. Copyright Synaltic 2015 CDAP, la boîte à outil pour concevoir vos applications Big Data Simplifier l'approche Big Data Charly Clairmont Synaltic @egwada cclairmont@synaltic.fr http://synaltic.fr
  2. 2. Copyright Synaltic 2015 Plus d'une dizaine d'années d'expérience Co-fondateur d'Altic, maintenant Synaltic Co-fondateur du Hadoop User Groupe France Aime faire connaître les technologies open source surtout celles dédiées à l'entreprise Charly Clairmont 2
  3. 3. Copyright Synaltic 2015 Société de conseils et de services spécialisée dans la mise en œuvre de projets de Data Management Créée en 2004, Synaltic est la fusion des sociétés Synotis et Altic 25 spécialistes en Data Management Filiale en Suisse , à Lausanne Nos valeurs Engagement Expertise Fidélité Synaltic 3 R&D Training SupportProject Expertise Data Intelligence Data Platform Data Governance Data Exchange SYNALTIC
  4. 4. Copyright Synaltic 2015 Big Data, un écosystème « hyperactif » Core Hadoop HDFS, MR 2006 Hbase Zookeeper Core Hadoop 2008 Hive Pig Mahout Hbase Zookeeper Core Hadoop 2009 Sqoop whirr Avro Hive Pig Mahout Hbase Zookeeper Core Hadoop 2010 Flume Bigtop Oozie MRUnit HCatalog Sqoop whirr Avro Hive Pig Mahout Hbase Zookeeper Core Hadoop 2011 Spark Impala Solr Kafka Flume Bigtop Oozie MRUnit HCatalog Sqoop whirr Avro Hive Pig Mahout Hbase Zookeeper Core Hadoop 2012 Nifi Flink Atlas Ranger Drill Parquet Sentry Spark Impala Solr Kafka Flume Bigtop Oozie MRUnit HCatalog Sqoop whirr Avro Hive Pig Mahout Hbase Zookeeper Core Hadoop Aujourd'hui Arun Murthy, founder of Hortonworks : « I think you are getting a lot more attention to fit and finish rather than to just getting the new technology in»
  5. 5. Copyright Synaltic 2015 !! Simplifier Hadoop !!
  6. 6. Copyright Synaltic 2015 Le nouveau mot d'ordre : « Le Data Lake » Data Lake « Enterprise-wide data management platforms for analyzing disparate sources of data in its native format » Data Lake « Collect everything, dive in anywhere, give flexible access. Maximum scale and insight with the lowest Possible friction and cost. » Data Hub « A centralized, unified data Source that can quickly provide diverse business users with the information they need to do their jobs. » Gartner Hortonworks Cloudera
  7. 7. Copyright Synaltic 2015 « Le Data Lake », plusieurs architectures « Étang » « Lac » « Réservoir » Données Internes Existantes Traitements / Analyses Diffusion Données Externes PME / Business Units « Dessilotage » Startups / IoT Stockage & Analyse de logs logs brutes Traitements & Analyses Toutes données !! Audits Gouvernance Traitements & Analyses Grandes Organisations Passage à l'échelle du DWH Diffusion Données Internes Existantes DiffusionDonnées Externes
  8. 8. Copyright Synaltic 2015 « Le Data Lake », de nombreux challenges « Étang » « Lac » « Réservoir » Traitements manuels Traçabilité (lineage) Exploitabilité Découpler ingestion et traitements Conserver la donnée d'origine Partager l'infrastructure Couvrir plusieurs architectures Traçabilité Agile / réactif
  9. 9. Copyright Synaltic 2015 Attention aux enjeux techniques des projets ! Consistance Intégration Éviter l'inutile Ré-utilisabilité Simplicité Productivité
  10. 10. Copyright Synaltic 2015 Cask Data Application Platform L'objectif de Cask Data Application Platform, CDAP, est de permettre à tout développeur ou toute organisation de rapidement et facilement créer, déployer, exécuter et suivre des applications modernes à l'aide de technologies Big Data telles que Hadoop
  11. 11. Copyright Synaltic Open Source (Licence Apache V 2.0) Framework & Plateforme pour développeurs & organisations Construire, déployer, et gérer vos applications CDAP 11 Supporte les principales distributions Hadoop S'appuie sur les dernières technologies Big Data Standards
  12. 12. Copyright Synaltic CDAP, tout en un ! 12
  13. 13. Copyright Synaltic Architecture hautement disponible 13
  14. 14. Copyright Synaltic CDAP, tout en un ! 14
  15. 15. Copyright Synaltic Hydrator, un ETL pour le Big Data 15
  16. 16. Copyright Synaltic Ex : Réputation de pages web, architecture application 16 Programmes – Injection des paires d'url – SparkPageRankProgram : Calcul des PageRank, via Apache Spark ⇒ résultat d'un jeu de données : ranks – RanksCounter : Agrégation des résultats pour toutes les url, via Map / Reduce ⇒ résultat d'un jeu de données : rankscount Workflow – PageRankWorkflow : Enchaînement des programmes SparkPageRankProgram et RanksCounter Service : – SparkPageRankService : connaître le rang d'une url
  17. 17. Copyright Synaltic Ex : Réputation de pages web, l'application 17
  18. 18. Copyright Synaltic Ex : Réputation de pages web, déploiement de l'application 18 Enregistrement et déploiement de l'application Lancement du service Exécution d'un flux de l'application
  19. 19. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Liste des applications, Liste des jeux de données
  20. 20. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Pour chaque application – Les programmes associés – Traçabilité des programmes
  21. 21. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Pour chaque application – Les jeux de données associés ● Traçabilité des jeux de données
  22. 22. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Pour chaque application – Paramétrage – Exécution de l'application
  23. 23. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Pour chaque application – Suivi des exécutions
  24. 24. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Les services sont disponibles pour l'intégration aux applications tierces
  25. 25. Copyright Synaltic Ex : Réputation de pages web, visible depuis l'interface web Les jeux de données peuvent être accédés via JDBC
  26. 26. Copyright Synaltic CDAP simplifie les projets Big Data CDAP apporte une gestion de bout en bout de vos projets Big Data CDAP offre une vision complète et unifiée pour l'ensemble de vos applications Big Data – Extensibilité – Metadonnées – Audit – Suivi Ce qu'il faut retenir 26
  27. 27. Copyright Synaltic CDAP : – http://cdap.io/ Documentation : – http://docs.cdap.io/cdap/current/en/index.html Source : – https://github.com/caskdata/cdap Editeur : – http://cask.co/ Liens 27
  28. 28. Copyright Synaltic 2015 Questions / Réponses

×