Hadoop en Entreprise
Les vraies opportunités aujourd’hui
4 décembre, 2013
Marc-Eric LaRocque
•
•
•
•

Associé principal chez
Consultant depuis 1997
En données et en BI depuis 1994
BI et données ma...
Hadoop = Big Data?
Hadoop: cool, mais utile?
Une seule diapositive, promis

POURQUOI PROCIMA EXPERTS?
Pourquoi Procima Experts?

Partenaires

Partenaires

Procima est intégrateur
de solutions Hortonworks

Procima est intégra...
HDInsight, Hadoop et Hortonworks Data Platform

UN PEU DE BACKGROUND
Big Data Microsoft et Hadoop
INSIGHT
Self-Service

Collaboration

Corporate Apps

Devices

DATA ENRICHMENT
Discover

Combi...
Hadoop derrière les couvertes

Stockage distribué
Traitement distribué

“MPP” sur stéroide
Hadoop dans HDInsight
C’est la question qui vaut la peine d’être répondue

POURQUOI HADOOP EST PLUS QUE
COOL, MAIS PEUT ÊTRE UTILE
Cadre d’évaluation

Revenue Generation

Cost Savings

• Archivage de données

• Analyses Exploratoires
• Analyse de Découv...
Mais on peut faire tout ceci avec une
BD?
Vrai, mais Hadoop est différent

1. Peut gérer et traiter des volumes
massifs “facilement”. Sans dépenser
une fortune en é...
Structure imposée à la lecture
• Une BD nous force à structurer pour pouvoir insérer
• Structurer requiert
–De l’analyse
–...
Ok, mais…
Pourquoi stocker des données si on
a pas l’intention de les analyser?
Parce que la découverte est nonprévisible

• Analyses Exploratoires
• Analyse de Découverte
Analyse et prédiction
Proposition: Hadoop comme “data lake”
• Amenez les données dans Hadoop autant que possible
• Elles seront dispos au moment...
Le data lake nous supporte l’archivage
aussi

• Archivage de données

• Analyses Exploratoires
• Analyse de Découverte
Parce qu’il en faut, c’est tout

SECTION DES DESSINS TECHNIQUES
Le “data lake”
Insérer toutes les
sources
de données
Data Lake, Data
Reservoir, Landing
Zone, Catch Basin, etc.
Garde les ...
Utiliser le data lake
“Cruncher” les données
en-place sans les
transférer ailleurs pour
analyses pointues
En fait, on commence par où exactement?

COMMENT COMMENCER
Pour commencer
1. Comprendre ce qu’est Hadoop
2. Valider le business case possible
3. Valider le cadrage éventuel dans l’a...
Document de Vision
•
•
•
•
•
•

Énoncés de problèmes
Fonctionnalités clés attendues
Diagramme de contexte (sources, cible,...
Exécution: la Preuve de concept (5
étapes)
• Analyse et architecture
•
•
•
•
•

Cédule
Kickoff
Revue des besoins
Analyse d...
CONCLUSION
Conseils
•
•
•
•
•
•
•
•

Informez-vous
Soyez supportés
Choisissez un business case clair, de base
Assurez-vous que les bé...
Prochain SlideShare
Chargement dans…5
×

Commencer avec Hadoop

930 vues

Publié le

Présentation faite à la journée Microsoft Insight, tenue à Montréal le 4 décembre 2013.

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
930
Sur SlideShare
0
Issues des intégrations
0
Intégrations
150
Actions
Partages
0
Téléchargements
39
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Commencer avec Hadoop

  1. 1. Hadoop en Entreprise Les vraies opportunités aujourd’hui 4 décembre, 2013
  2. 2. Marc-Eric LaRocque • • • • Associé principal chez Consultant depuis 1997 En données et en BI depuis 1994 BI et données mais avec un focus sur –Gestion de projet et programme –Stratégie –Agilité • MBA, PMP, CBIP et CSM • Président du Salon BI
  3. 3. Hadoop = Big Data?
  4. 4. Hadoop: cool, mais utile?
  5. 5. Une seule diapositive, promis POURQUOI PROCIMA EXPERTS?
  6. 6. Pourquoi Procima Experts? Partenaires Partenaires Procima est intégrateur de solutions Hortonworks Procima est intégrateur de solutions Microsoft BI Partenaires technologiques Microsoft HDInsight Server Hadoop sur Windows Azure
  7. 7. HDInsight, Hadoop et Hortonworks Data Platform UN PEU DE BACKGROUND
  8. 8. Big Data Microsoft et Hadoop INSIGHT Self-Service Collaboration Corporate Apps Devices DATA ENRICHMENT Discover Combine Refine DATA MANAGEMENT Relational Non-relational Analytical Streaming
  9. 9. Hadoop derrière les couvertes Stockage distribué Traitement distribué “MPP” sur stéroide
  10. 10. Hadoop dans HDInsight
  11. 11. C’est la question qui vaut la peine d’être répondue POURQUOI HADOOP EST PLUS QUE COOL, MAIS PEUT ÊTRE UTILE
  12. 12. Cadre d’évaluation Revenue Generation Cost Savings • Archivage de données • Analyses Exploratoires • Analyse de Découverte • Engins de recommandations • Analyses de sentiments
  13. 13. Mais on peut faire tout ceci avec une BD?
  14. 14. Vrai, mais Hadoop est différent 1. Peut gérer et traiter des volumes massifs “facilement”. Sans dépenser une fortune en équipement. 2. Pas une BD*, mais un système de stockage de fichiers. Donc la structure est imposée à la lecture * une BD peu être créée sur HDFS
  15. 15. Structure imposée à la lecture • Une BD nous force à structurer pour pouvoir insérer • Structurer requiert –De l’analyse –De l’architecture –Du design –Du développement “up-front” –Donc…de l’argent • Structurer nous force à faire des choix de priorités • Sans avoir à structurer à l’écriture –On peut insérer plein de choses sans investissement “up-front” –On structure au moment ou le besoin d’analyse se manifeste –Si les données sont accessibles, on est déjà bien partis
  16. 16. Ok, mais… Pourquoi stocker des données si on a pas l’intention de les analyser?
  17. 17. Parce que la découverte est nonprévisible • Analyses Exploratoires • Analyse de Découverte
  18. 18. Analyse et prédiction
  19. 19. Proposition: Hadoop comme “data lake” • Amenez les données dans Hadoop autant que possible • Elles seront dispos au moment ou on en aura besoin pour analyse de découverte ou autre • Nous n’auront pas investi dans l’analyse et le design au début • Essentiellement, Hadoop comme landing-zone
  20. 20. Le data lake nous supporte l’archivage aussi • Archivage de données • Analyses Exploratoires • Analyse de Découverte
  21. 21. Parce qu’il en faut, c’est tout SECTION DES DESSINS TECHNIQUES
  22. 22. Le “data lake” Insérer toutes les sources de données Data Lake, Data Reservoir, Landing Zone, Catch Basin, etc. Garde les données “en ligne” longtemps Peut garder les formats intermédiaires aussi
  23. 23. Utiliser le data lake “Cruncher” les données en-place sans les transférer ailleurs pour analyses pointues
  24. 24. En fait, on commence par où exactement? COMMENT COMMENCER
  25. 25. Pour commencer 1. Comprendre ce qu’est Hadoop 2. Valider le business case possible 3. Valider le cadrage éventuel dans l’architecture informationnelle 4. Identifier les données et les fonction requises; valider qu’Hadoop couvre le besoin 5. Assurer que les différences de Hadoop par rapport aux technologies traditionnelles (RDBMS, appliance, etc.) sont mises en évidence par le business case choisit – pas de « trip techno » 6. Émettre un Document de Vision
  26. 26. Document de Vision • • • • • • Énoncés de problèmes Fonctionnalités clés attendues Diagramme de contexte (sources, cible, etc.) Architecture conceptuelle pour solution éventuelle Architecture logique pour la PdC Cas d’utilisation de la solution –Acteurs, profils d’utilisation –Envergure des données –Détail des sources –Traitements à appliquer à la lecture –Requêtes à supporter par la PdC
  27. 27. Exécution: la Preuve de concept (5 étapes) • Analyse et architecture • • • • • Cédule Kickoff Revue des besoins Analyse des données Conception de l’application • Installation • Configuration • Chargements, mise en place des données • Mise en place des composantes requises • Vérification • Déploiement • Transition (si la PdC demeure en place)
  28. 28. CONCLUSION
  29. 29. Conseils • • • • • • • • Informez-vous Soyez supportés Choisissez un business case clair, de base Assurez-vous que les bénéfices sont des retombées AFFAIRES Commencez par une preuve de concept Planifiez bien ce que vous désirez prouver Attachez les bons intervenants Utilisez Azure et HDInsight pour partir plus rapidement

×