Agilité en BI et Wherescape
Michael Tantrum
Wherescape USA
Marc-Eric LaRocque
Procima Experts
PROCIMAEXPERTS.COM/WHERESCAP...
L‟AGILITÉ APPLIQUÉE AU BI
Les 6 piliers permettant l’agilité
Ces éléments sont
facilitants afin d‟appliquer
Scrum/XP à
un projet DW/BI
avec succès
•...
Pilier #1
Composition d'équipe et dynamique
Rôles sur une équipe Scrum DW/BI
–Product Owner: à lui le résultat, il décide
–Scrum Master: à lui le processus, pas un PM...
Pilier #2
Adapter le concept du sprint au BI
Le Pipeline : adaptation Scrum au BI
– Donne à chaque
métier un sprint
complet pour
exécuter son travail
– Les rencontres
...
Pilier #3
Meilleures estimations: “size-based”
Le problème avec l'estimation
– Distribution des estimés traditionnels
– Pour avoir 95% de certitude, on doit multiplier l...
Estimation fondée sur la taille
– Agile utilise une méthode en
pair fondée sur la taille
comparative
– L'estimation de ce ...
Carte de base d'estimation (CBE)
– Consensus d'équipe sur tâches
requises pour chaque objet DW/BI
majeur
– Estimés pro for...
Pilier #4
L'assurance qualité dans le cadre agile BI
Deux éléments souhaitables
– Tests automatisés
• Découverte immédiate d'erreurs de code
• Plus facile de cibler les erreur...
Maintenir la vitesse des développeurs
– Développeurs doivent travailler indépendamment
• leur procurer un sandbox
• contrô...
Toute l'équipe a un rôle à jouer
– Architecte de projet
• Requêtes-utilisateur pour chaque étoile, sujet
• Scripts de démo...
Pilier #5
Interface à l'organisation
Gestion des besoins agile BI 80/20
Phase d‟initiation
Concept du
système
(Analyste Aff.)
Demande
client
(Analyste Aff.)
Do...
S'intégrer à l'organisation
Phases typiques Réponse Agile DW
80/20, 25% du temps
Phase gérée en
Identification ou
Bonne id...
Pilier #6
La technologie
Deux points importants
– Un environnement technologique complexe freine l'agilité
• Viser à simplifier
• Viser à standardi...
Michael Tantrum
WhereScape USA
WhereScape
Automating The Development, Deployment &
Management of Data Warehouses To
Maximi...
History
 Founded in 1998 by Michael Whitehead & Wayne Richmond as a
Data Warehouse Consultancy in New Zealand
 RED relea...
Our Business
 Global – all types and sizes of customers
 650 in total; 350 in USA
 Target DB‟s = Teradata, Oracle, SQL ...
Some of Wherescape’s Customers
What We Believe
 Getting the data right is critically important.
 Business users/consumers of data must be served at the...
ETL Is Not The Same Thing as DW Development
Move Data
Transform Data
Load Data
From Sources including
OLTP, files, Hadoop,...
Our Value Proposition
 We empower IT organizations to build, deploy, and manage their
data in a timeframe and manner that...
Our Flagship Product: RED
RED is an Automated Data
Warehouse Development
Platform That Builds Native
Database Objects,
Doc...
Automation Use Cases
End-to-End
Data Warehouse
Development
Tool
Including All ETL
Complement to
Enterprise ETL, Used
For R...
3D: A New Tool For Planning
Data
Profiling
Warehouses
Databases
Files
XML
JDBC
ODBC
Source Model HTML
Word
Profile Design
...
“WhereScape RED’s tight integration with Teradata and built-in best
practices are empowering our resource-constrained deve...
“We estimate the development lifecycle is 20-25% of what it
was previously when we were hand coding.”
– Dan Mosher,
Direct...
Independent Analysts Say . . .
“WhereScape provides an attractive alternative
for quickly prototyping, building and deploy...
And. . .
“WhereScape can assist IT organizations not
only with building out a data warehouse, but
also keeping it updated ...
Summary
 WhereScape‟s approach with data warehouse automation yields
customer results that are stunning: faster, cheaper,...
Prochain SlideShare
Chargement dans…5
×

Procima deck 7 May 2014

612 vues

Publié le

Presentation made on May 7 2014 with Wherescape, Hotel Bogue, Montreal

Publié dans : Marketing
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
612
Sur SlideShare
0
Issues des intégrations
0
Intégrations
30
Actions
Partages
0
Téléchargements
14
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Procima deck 7 May 2014

  1. 1. Agilité en BI et Wherescape Michael Tantrum Wherescape USA Marc-Eric LaRocque Procima Experts PROCIMAEXPERTS.COM/WHERESCAPE-RED
  2. 2. L‟AGILITÉ APPLIQUÉE AU BI
  3. 3. Les 6 piliers permettant l’agilité Ces éléments sont facilitants afin d‟appliquer Scrum/XP à un projet DW/BI avec succès • La technologie • L’assurance qualité •L’estimation • L’adaptation des sprints • L’équipe • L’interfacte à l’organisation
  4. 4. Pilier #1 Composition d'équipe et dynamique
  5. 5. Rôles sur une équipe Scrum DW/BI –Product Owner: à lui le résultat, il décide –Scrum Master: à lui le processus, pas un PM –Architecte de projet: gère les besoins et les solutions –Analyste/Modélisateur de données Définie tables, profilage, définie modules ETL –Développeurs: front-end & back-end –Ingénieur de tests: organisation des tests, automatisation, gestion des jeux de test 6-9 joueurs
  6. 6. Pilier #2 Adapter le concept du sprint au BI
  7. 7. Le Pipeline : adaptation Scrum au BI – Donne à chaque métier un sprint complet pour exécuter son travail – Les rencontres quotidiennes et de planification sont nécessaires pour assurer la continuité de la livraison d'un package Iteration Solution Architect Data Modeler / Sys Analyst Coders Sys Test Solution Reqts Technical Reqts Potentially Shippable Shippable Code -1 0 1 2 3 4 A B B B B A A A C C C C D D D
  8. 8. Pilier #3 Meilleures estimations: “size-based”
  9. 9. Le problème avec l'estimation – Distribution des estimés traditionnels – Pour avoir 95% de certitude, on doit multiplier les estimés des développeurs par 4 (Étude de 400 projets chez Haliburton) 1x 2x 3x 4x Ratio des estimés réels 95% degré de confiance Moyenne Fréquence
  10. 10. Estimation fondée sur la taille – Agile utilise une méthode en pair fondée sur la taille comparative – L'estimation de ce qui peut être livré dans un sprint ne se fait pas en heures – Le cerveau humain compare très bien – Facilité à comparer un nouveau module à un déjà livré Qu'est-ce qui est plus facile à soulever? Formes différentes, mais intuitivement nous savons que la pomme et la banane pèsent environ la même chose
  11. 11. Carte de base d'estimation (CBE) – Consensus d'équipe sur tâches requises pour chaque objet DW/BI majeur – Estimés pro forma – Heures d'efforts – Utilisé comme guide – Évite de repenser chaque fois – Permets la conception et l'estimation par exception – Revisité lors des rétrospectives & peut-être ajusté Type 2 Slowly Changing Dimension • High-level design conference 2hr • Low-Level design conference 3hr • Finalize table DDL 3hr • Create table & indexes 1hr • Create view for incremental source 1hr • Create incremental load mapping - Row-level meta data columns 6hr - Straight through columns 3hr - Derived columns ? • Create view for initial source 1hr • Adapt for initial load mapping 6hr • Create session 3hr • Add to workflow 2hr • Move to nightly build folder 2hr • Create parm setting script 2hr • Update tar ball & version control 1hr • Code walk through 3hr • Document per dept stds 3hr
  12. 12. Pilier #4 L'assurance qualité dans le cadre agile BI
  13. 13. Deux éléments souhaitables – Tests automatisés • Découverte immédiate d'erreurs de code • Plus facile de cibler les erreurs • Définition implicite de "complété" (pas d'extras) • Démontre au client que le DW est correct • Permets de réaliser des tests quotidiennement • Moins d'erreurs opérationnelles – Référentiel de jeux de données de test • On doit vraiment penser aux besoins pour créer ceci • Permets de rouvrir le code pour maintenance
  14. 14. Maintenir la vitesse des développeurs – Développeurs doivent travailler indépendamment • leur procurer un sandbox • contrôle de versions efficace – Ont besoin de tests unitaires rapides et utiles • gestion de petits jeux de données statiques – Doivent répéter les tests unitaires souvent • gestion des jeux de données "attendus" pour comparaison – Doivent détecter les modules problèmes rapidement • validations automatisées • build chaque soir et exécution des chargements staging-marts – Doivent simuler les deltas • plusieurs échantillons de temps dans les jeux de données
  15. 15. Toute l'équipe a un rôle à jouer – Architecte de projet • Requêtes-utilisateur pour chaque étoile, sujet • Scripts de démo • Récupère les tests d'acceptation formels – Analyste • Cas de tests unitaires source-cible • Valide les métadonnées au niveau des rangées – Modélisateur de données • Cas de tests d'intégration à partir du modèle • Assure la cohérence inter-table – Ingénieur de Test • Compile tous les tests, organise • Assure les exécutions tous les soirs
  16. 16. Pilier #5 Interface à l'organisation
  17. 17. Gestion des besoins agile BI 80/20 Phase d‟initiation Concept du système (Analyste Aff.) Demande client (Analyste Aff.) Document de Vision (Architecte projet) Phase de Création Cas d’util. de solution (Architecte Projet) Phase d‟Élaboration Cas d’util. applicatif (Analyste BI/TI) “Comment nous allons créer de la valeur” “Voici ce qui ne marche pas et comment nous ferions pour y remédier” “Voici les problèmes que nous comprenons et une ébauche de solution ” “Voici un schéma en étoile que nous allons construire pour vous” “Voici un module ETL que nous allons construire pour eux” Besoins d‟affaires Besoins fonctionnels Spécifications TI Sprint -1 Débute avec sprint 0
  18. 18. S'intégrer à l'organisation Phases typiques Réponse Agile DW 80/20, 25% du temps Phase gérée en Identification ou Bonne idée N/A Traditionnel Étude préliminaire ou faisabilité Concept & Demande (2 page) Traditionnel Architecture ou Conception Document de vision (10-20 pages) Sprint -1 Traditionnel Réalisation Cas utilisation solutions Cas utilisation applicatifs Sprints 0, 1, ... Scrum Gouvernance traditionnelle Transition production N/A Traditionnel
  19. 19. Pilier #6 La technologie
  20. 20. Deux points importants – Un environnement technologique complexe freine l'agilité • Viser à simplifier • Viser à standardiser – S'outiller pour mieux tirer avantage de l'agilité • • Outils de réplication de sources • Automatisations de tests • Collaboration agile • Etc.
  21. 21. Michael Tantrum WhereScape USA WhereScape Automating The Development, Deployment & Management of Data Warehouses To Maximize Business Value May 2014
  22. 22. History  Founded in 1998 by Michael Whitehead & Wayne Richmond as a Data Warehouse Consultancy in New Zealand  RED released to market - 2003  US market investment in earnest - 2008  EU market investment - 2010  3D released to market - 2012  WhereScape India established - 2013
  23. 23. Our Business  Global – all types and sizes of customers  650 in total; 350 in USA  Target DB‟s = Teradata, Oracle, SQL Server, Green Plum, Netezza, DB2  Led by data warehouse automation software that is native to the target database(s) in the customer environment.  3D for Planning  RED for Building  Professional Services are offered to insure customer success  Architects, Developers, and Solution Managers on-shore  Developers in Pune India add cost effective bandwidth under adult supervision
  24. 24. Some of Wherescape’s Customers
  25. 25. What We Believe  Getting the data right is critically important.  Business users/consumers of data must be served at their pace.  Automate as much of the process as possible.  Standards matter.  Document everything; later changes demand it.  The historical record that “data warehouses take too long to build and are too hard to change” is unacceptable. IT must deliver value continuously, manage ongoing changes cost effectively, and mitigate risk throughout.
  26. 26. ETL Is Not The Same Thing as DW Development Move Data Transform Data Load Data From Sources including OLTP, files, Hadoop, etc. Create Dimensions, Facts, Models, Views, Cubes, Indexes, Keys Documentation
  27. 27. Our Value Proposition  We empower IT organizations to build, deploy, and manage their data in a timeframe and manner that creates utter enthusiasm in the business community  Time to results dramatically decreases - faster  Costs decrease: license and human capital - cheaper  Quality is higher: documentation & transparency - better  Risk is mitigated: automation & methodology – with confidence The Promise of BI…for the sake of managing the business… is realized
  28. 28. Our Flagship Product: RED RED is an Automated Data Warehouse Development Platform That Builds Native Database Objects, Documents Them, And Schedules Data To Be Loaded.
  29. 29. Automation Use Cases End-to-End Data Warehouse Development Tool Including All ETL Complement to Enterprise ETL, Used For Rapid/Agile Build Out of a View or Semantic Layer Green Field Clean Up Hand-Written Code and Scripts Manage Deployments Rewrite & Recast Heterogeneous Database Solutions Big Data Integration ELT 2.0 Configuration Management Semantic Layer
  30. 30. 3D: A New Tool For Planning Data Profiling Warehouses Databases Files XML JDBC ODBC Source Model HTML Word Profile Design Physical Existing DW Dimensional Document Embeds Profiling Results Team Enabled Scheduler Write queries in the model before building Massively Configurable 3D designed to integrate with RED
  31. 31. “WhereScape RED’s tight integration with Teradata and built-in best practices are empowering our resource-constrained development team to tackle a large implementation that will enable us to quickly deliver value to our institution and members.” Su Rayburn, Director of Business Intelligence Services
  32. 32. “We estimate the development lifecycle is 20-25% of what it was previously when we were hand coding.” – Dan Mosher, Director of Enterprise Data Warehousing And. . .
  33. 33. Independent Analysts Say . . . “WhereScape provides an attractive alternative for quickly prototyping, building and deploying data warehouses as well as dependent data marts for targeted BI solutions that can be quickly adapted as the business dictates.” – Claudia Imhoff, President, Intelligent Solutions, Inc.
  34. 34. And. . . “WhereScape can assist IT organizations not only with building out a data warehouse, but also keeping it updated and refreshed after deployment, an „Achilles heel‟ for organizations that often run out of budget and reallocate resources once the warehouse is deployed.” – Mark Madsen, President, Third Nature, Inc.
  35. 35. Summary  WhereScape‟s approach with data warehouse automation yields customer results that are stunning: faster, cheaper, better, with confidence  RED: A proven product used by 650 customers anchors our value proposition  3D: A new product used by an emerging set of customers as a complement to RED for aligning models with real data in a number of usage cases

×