SlideShare une entreprise Scribd logo
Agilité en BI et Wherescape
Michael Tantrum
Wherescape USA
Marc-Eric LaRocque
Procima Experts
PROCIMAEXPERTS.COM/WHERESCAPE-RED
L‟AGILITÉ APPLIQUÉE AU BI
Les 6 piliers permettant l’agilité
Ces éléments sont
facilitants afin d‟appliquer
Scrum/XP à
un projet DW/BI
avec succès
• La technologie
• L’assurance qualité
•L’estimation
• L’adaptation des sprints
• L’équipe
• L’interfacte à
l’organisation
Pilier #1
Composition d'équipe et dynamique
Rôles sur une équipe Scrum DW/BI
–Product Owner: à lui le résultat, il décide
–Scrum Master: à lui le processus, pas un PM
–Architecte de projet: gère les besoins et les solutions
–Analyste/Modélisateur de données
Définie tables, profilage, définie modules ETL
–Développeurs: front-end & back-end
–Ingénieur de tests: organisation des tests, automatisation, gestion
des jeux de test
6-9 joueurs
Pilier #2
Adapter le concept du sprint au BI
Le Pipeline : adaptation Scrum au BI
– Donne à chaque
métier un sprint
complet pour
exécuter son travail
– Les rencontres
quotidiennes et de
planification sont
nécessaires pour
assurer la continuité
de la livraison d'un
package
Iteration Solution
Architect
Data Modeler
/ Sys Analyst
Coders Sys Test
Solution Reqts Technical Reqts Potentially Shippable Shippable Code
-1
0
1
2
3
4
A
B
B
B
B
A
A
A
C
C
C
C
D
D
D
Pilier #3
Meilleures estimations: “size-based”
Le problème avec l'estimation
– Distribution des estimés traditionnels
– Pour avoir 95% de certitude, on doit multiplier les estimés des
développeurs par 4
(Étude de 400 projets chez Haliburton)
1x 2x 3x 4x
Ratio des estimés réels
95% degré de confiance
Moyenne
Fréquence
Estimation fondée sur la taille
– Agile utilise une méthode en
pair fondée sur la taille
comparative
– L'estimation de ce qui peut être
livré dans un sprint ne se fait
pas en heures
– Le cerveau humain compare
très bien
– Facilité à comparer un nouveau
module à un déjà livré
Qu'est-ce qui est plus facile à soulever?
Formes différentes, mais intuitivement nous
savons que la pomme et la banane pèsent
environ la même chose
Carte de base d'estimation (CBE)
– Consensus d'équipe sur tâches
requises pour chaque objet DW/BI
majeur
– Estimés pro forma
– Heures d'efforts
– Utilisé comme guide
– Évite de repenser chaque fois
– Permets la conception et l'estimation
par exception
– Revisité lors des rétrospectives &
peut-être ajusté
Type 2 Slowly Changing Dimension
• High-level design conference 2hr
• Low-Level design conference 3hr
• Finalize table DDL 3hr
• Create table & indexes 1hr
• Create view for incremental source 1hr
• Create incremental load mapping
- Row-level meta data columns 6hr
- Straight through columns 3hr
- Derived columns ?
• Create view for initial source 1hr
• Adapt for initial load mapping 6hr
• Create session 3hr
• Add to workflow 2hr
• Move to nightly build folder 2hr
• Create parm setting script 2hr
• Update tar ball & version control 1hr
• Code walk through 3hr
• Document per dept stds 3hr
Pilier #4
L'assurance qualité dans le cadre agile BI
Deux éléments souhaitables
– Tests automatisés
• Découverte immédiate d'erreurs de code
• Plus facile de cibler les erreurs
• Définition implicite de "complété" (pas d'extras)
• Démontre au client que le DW est correct
• Permets de réaliser des tests quotidiennement
• Moins d'erreurs opérationnelles
– Référentiel de jeux de données de test
• On doit vraiment penser aux besoins pour créer ceci
• Permets de rouvrir le code pour maintenance
Maintenir la vitesse des développeurs
– Développeurs doivent travailler indépendamment
• leur procurer un sandbox
• contrôle de versions efficace
– Ont besoin de tests unitaires rapides et utiles
• gestion de petits jeux de données statiques
– Doivent répéter les tests unitaires souvent
• gestion des jeux de données "attendus" pour comparaison
– Doivent détecter les modules problèmes rapidement
• validations automatisées
• build chaque soir et exécution des chargements staging-marts
– Doivent simuler les deltas
• plusieurs échantillons de temps dans les jeux de données
Toute l'équipe a un rôle à jouer
– Architecte de projet
• Requêtes-utilisateur pour chaque étoile, sujet
• Scripts de démo
• Récupère les tests d'acceptation formels
– Analyste
• Cas de tests unitaires source-cible
• Valide les métadonnées au niveau des rangées
– Modélisateur de données
• Cas de tests d'intégration à partir du modèle
• Assure la cohérence inter-table
– Ingénieur de Test
• Compile tous les tests, organise
• Assure les exécutions tous les soirs
Pilier #5
Interface à l'organisation
Gestion des besoins agile BI 80/20
Phase d‟initiation
Concept du
système
(Analyste Aff.)
Demande
client
(Analyste Aff.)
Document de
Vision
(Architecte
projet)
Phase
de Création
Cas d’util. de solution
(Architecte Projet)
Phase
d‟Élaboration
Cas d’util. applicatif
(Analyste BI/TI)
“Comment
nous allons
créer de la
valeur”
“Voici ce qui ne
marche pas et
comment nous
ferions pour y
remédier”
“Voici les
problèmes que
nous comprenons
et une ébauche
de solution ”
“Voici un schéma en étoile
que nous allons construire
pour vous”
“Voici un module ETL que
nous allons construire pour
eux”
Besoins
d‟affaires
Besoins
fonctionnels
Spécifications TI
Sprint -1 Débute avec sprint 0
S'intégrer à l'organisation
Phases typiques Réponse Agile DW
80/20, 25% du temps
Phase gérée en
Identification ou
Bonne idée
N/A Traditionnel
Étude préliminaire ou faisabilité Concept & Demande
(2 page)
Traditionnel
Architecture ou Conception Document de vision
(10-20 pages)
Sprint -1
Traditionnel
Réalisation Cas utilisation solutions
Cas utilisation applicatifs
Sprints 0, 1, ...
Scrum
Gouvernance traditionnelle
Transition production N/A Traditionnel
Pilier #6
La technologie
Deux points importants
– Un environnement technologique complexe freine l'agilité
• Viser à simplifier
• Viser à standardiser
– S'outiller pour mieux tirer avantage de l'agilité
•
• Outils de réplication de sources
• Automatisations de tests
• Collaboration agile
• Etc.
Michael Tantrum
WhereScape USA
WhereScape
Automating The Development, Deployment &
Management of Data Warehouses To
Maximize Business Value
May 2014
History
 Founded in 1998 by Michael Whitehead & Wayne Richmond as a
Data Warehouse Consultancy in New Zealand
 RED released to market - 2003
 US market investment in earnest - 2008
 EU market investment - 2010
 3D released to market - 2012
 WhereScape India established - 2013
Our Business
 Global – all types and sizes of customers
 650 in total; 350 in USA
 Target DB‟s = Teradata, Oracle, SQL Server, Green Plum, Netezza, DB2
 Led by data warehouse automation software that is native to the
target database(s) in the customer environment.
 3D for Planning
 RED for Building
 Professional Services are offered to insure customer success
 Architects, Developers, and Solution Managers on-shore
 Developers in Pune India add cost effective bandwidth under adult supervision
Some of Wherescape’s Customers
What We Believe
 Getting the data right is critically important.
 Business users/consumers of data must be served at their pace.
 Automate as much of the process as possible.
 Standards matter.
 Document everything; later changes demand it.
 The historical record that “data warehouses take too long to build
and are too hard to change” is unacceptable. IT must deliver
value continuously, manage ongoing changes cost effectively, and
mitigate risk throughout.
ETL Is Not The Same Thing as DW Development
Move Data
Transform Data
Load Data
From Sources including
OLTP, files, Hadoop, etc.
Create Dimensions, Facts,
Models, Views, Cubes,
Indexes, Keys
Documentation
Our Value Proposition
 We empower IT organizations to build, deploy, and manage their
data in a timeframe and manner that creates utter enthusiasm in
the business community
 Time to results dramatically decreases - faster
 Costs decrease: license and human capital - cheaper
 Quality is higher: documentation & transparency - better
 Risk is mitigated: automation & methodology – with confidence
The Promise of BI…for the sake of managing the business… is realized
Our Flagship Product: RED
RED is an Automated Data
Warehouse Development
Platform That Builds Native
Database Objects,
Documents Them, And
Schedules Data To Be
Loaded.
Automation Use Cases
End-to-End
Data Warehouse
Development
Tool
Including All ETL
Complement to
Enterprise ETL, Used
For Rapid/Agile
Build Out of a View
or Semantic Layer
Green
Field
Clean Up
Hand-Written
Code and Scripts
Manage
Deployments
Rewrite & Recast
Heterogeneous
Database
Solutions
Big Data
Integration
ELT 2.0
Configuration
Management
Semantic
Layer
3D: A New Tool For Planning
Data
Profiling
Warehouses
Databases
Files
XML
JDBC
ODBC
Source Model HTML
Word
Profile Design
Physical
Existing DW
Dimensional
Document
Embeds
Profiling
Results
Team Enabled
Scheduler
Write queries in the
model before building
Massively
Configurable
3D designed to integrate with RED
“WhereScape RED’s tight integration with Teradata and built-in best
practices are empowering our resource-constrained development team to
tackle a large implementation that will enable us to quickly deliver
value to our institution and members.”
Su Rayburn, Director of Business Intelligence Services
“We estimate the development lifecycle is 20-25% of what it
was previously when we were hand coding.”
– Dan Mosher,
Director of Enterprise Data Warehousing
And. . .
Independent Analysts Say . . .
“WhereScape provides an attractive alternative
for quickly prototyping, building and deploying
data warehouses as well as dependent data
marts for targeted BI solutions that can be
quickly adapted as the business dictates.”
– Claudia Imhoff, President, Intelligent Solutions, Inc.
And. . .
“WhereScape can assist IT organizations not
only with building out a data warehouse, but
also keeping it updated and refreshed after
deployment, an „Achilles heel‟ for organizations
that often run out of budget and reallocate
resources once the warehouse is deployed.”
– Mark Madsen, President, Third Nature, Inc.
Summary
 WhereScape‟s approach with data warehouse automation yields
customer results that are stunning: faster, cheaper, better, with
confidence
 RED: A proven product used by 650 customers anchors our value
proposition
 3D: A new product used by an emerging set of customers as a
complement to RED for aligning models with real data in a
number of usage cases

Contenu connexe

En vedette

phonetique
phonetiquephonetique
phonetique
eliecer sierra
 
Natyextil
NatyextilNatyextil
Etude de l’accessibilité numérique des portails de bibliothèque en France : a...
Etude de l’accessibilité numérique des portails de bibliothèque en France : a...Etude de l’accessibilité numérique des portails de bibliothèque en France : a...
Etude de l’accessibilité numérique des portails de bibliothèque en France : a...
Franck Letrouvé
 
Memoria11 12
Memoria11 12Memoria11 12
Memoria11 122011Edu
 
Actividad laboratorio del invernadero
Actividad laboratorio del invernaderoActividad laboratorio del invernadero
Actividad laboratorio del invernadero
duvan10
 
Tayssir : Programme des transferts monétaires conditionnels
Tayssir : Programme des transferts monétaires conditionnelsTayssir : Programme des transferts monétaires conditionnels
Tayssir : Programme des transferts monétaires conditionnels
UnicefMaroc
 
UD7
UD7UD7
Informatica
InformaticaInformatica
Informatica
maquiugal
 
S'organiser et Evangeliser le Digital en Interne
S'organiser et Evangeliser le Digital en InterneS'organiser et Evangeliser le Digital en Interne
S'organiser et Evangeliser le Digital en Interne
Thierry Picard
 
Achat groupé d'électricité, de gaz, de mazout et de pellets de Charleroi
Achat groupé d'électricité, de gaz, de mazout et de pellets de CharleroiAchat groupé d'électricité, de gaz, de mazout et de pellets de Charleroi
Achat groupé d'électricité, de gaz, de mazout et de pellets de Charleroi
Wikipower
 
M2 mike
M2 mikeM2 mike
M2 mike
edmondvincent
 
Trabajo de educacion fisica. rodrigo gonzalez
Trabajo de educacion fisica. rodrigo gonzalezTrabajo de educacion fisica. rodrigo gonzalez
Trabajo de educacion fisica. rodrigo gonzalez
rodrigogonzalez18
 
M2 gideon
M2 gideonM2 gideon
M2 gideon
edmondvincent
 
DOSSIER COMERCIAL
DOSSIER COMERCIALDOSSIER COMERCIAL
DOSSIER COMERCIAL
tic top sales
 
Repositorios institucionales de acceso abierto: motivaciones y tensiones en ...
Repositorios institucionales de acceso abierto:  motivaciones y tensiones en ...Repositorios institucionales de acceso abierto:  motivaciones y tensiones en ...
Repositorios institucionales de acceso abierto: motivaciones y tensiones en ...
CLACSO-Latin American Council of Social Sciences, Open Access
 
KNOWLEDGE BASE
KNOWLEDGE BASEKNOWLEDGE BASE
KNOWLEDGE BASE
Tito3067
 
Formacion CUT-A
Formacion CUT-AFormacion CUT-A
Formacion CUT-A
santiorijcp
 
Sist. informacion gerencial
Sist. informacion gerencialSist. informacion gerencial
Sist. informacion gerencial
oscartapias
 
La gaa
La gaaLa gaa
La gaa
edithgar
 

En vedette (20)

phonetique
phonetiquephonetique
phonetique
 
Natyextil
NatyextilNatyextil
Natyextil
 
Bulletin 3
Bulletin 3Bulletin 3
Bulletin 3
 
Etude de l’accessibilité numérique des portails de bibliothèque en France : a...
Etude de l’accessibilité numérique des portails de bibliothèque en France : a...Etude de l’accessibilité numérique des portails de bibliothèque en France : a...
Etude de l’accessibilité numérique des portails de bibliothèque en France : a...
 
Memoria11 12
Memoria11 12Memoria11 12
Memoria11 12
 
Actividad laboratorio del invernadero
Actividad laboratorio del invernaderoActividad laboratorio del invernadero
Actividad laboratorio del invernadero
 
Tayssir : Programme des transferts monétaires conditionnels
Tayssir : Programme des transferts monétaires conditionnelsTayssir : Programme des transferts monétaires conditionnels
Tayssir : Programme des transferts monétaires conditionnels
 
UD7
UD7UD7
UD7
 
Informatica
InformaticaInformatica
Informatica
 
S'organiser et Evangeliser le Digital en Interne
S'organiser et Evangeliser le Digital en InterneS'organiser et Evangeliser le Digital en Interne
S'organiser et Evangeliser le Digital en Interne
 
Achat groupé d'électricité, de gaz, de mazout et de pellets de Charleroi
Achat groupé d'électricité, de gaz, de mazout et de pellets de CharleroiAchat groupé d'électricité, de gaz, de mazout et de pellets de Charleroi
Achat groupé d'électricité, de gaz, de mazout et de pellets de Charleroi
 
M2 mike
M2 mikeM2 mike
M2 mike
 
Trabajo de educacion fisica. rodrigo gonzalez
Trabajo de educacion fisica. rodrigo gonzalezTrabajo de educacion fisica. rodrigo gonzalez
Trabajo de educacion fisica. rodrigo gonzalez
 
M2 gideon
M2 gideonM2 gideon
M2 gideon
 
DOSSIER COMERCIAL
DOSSIER COMERCIALDOSSIER COMERCIAL
DOSSIER COMERCIAL
 
Repositorios institucionales de acceso abierto: motivaciones y tensiones en ...
Repositorios institucionales de acceso abierto:  motivaciones y tensiones en ...Repositorios institucionales de acceso abierto:  motivaciones y tensiones en ...
Repositorios institucionales de acceso abierto: motivaciones y tensiones en ...
 
KNOWLEDGE BASE
KNOWLEDGE BASEKNOWLEDGE BASE
KNOWLEDGE BASE
 
Formacion CUT-A
Formacion CUT-AFormacion CUT-A
Formacion CUT-A
 
Sist. informacion gerencial
Sist. informacion gerencialSist. informacion gerencial
Sist. informacion gerencial
 
La gaa
La gaaLa gaa
La gaa
 

Similaire à Procima deck 7 May 2014

Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019
Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019
Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019
Bonitasoft
 
SPS Dakar 2018 - Low code, lean et agilité - Sébastien Paulet
SPS Dakar 2018 - Low code, lean et agilité - Sébastien PauletSPS Dakar 2018 - Low code, lean et agilité - Sébastien Paulet
SPS Dakar 2018 - Low code, lean et agilité - Sébastien Paulet
aOS Community
 
Low code, lean et agilité sur les projets SHarePoint - SPS Dakar
Low code, lean et agilité sur les projets SHarePoint - SPS DakarLow code, lean et agilité sur les projets SHarePoint - SPS Dakar
Low code, lean et agilité sur les projets SHarePoint - SPS Dakar
Sébastien Paulet
 
5 bonnes raisons pour des projets analytiques en agile
5 bonnes raisons pour des projets analytiques en agile5 bonnes raisons pour des projets analytiques en agile
5 bonnes raisons pour des projets analytiques en agile
agileDSS
 
Meetup Devops Geneve 06/17- EBU Feedbacks
Meetup Devops Geneve 06/17- EBU Feedbacks Meetup Devops Geneve 06/17- EBU Feedbacks
Meetup Devops Geneve 06/17- EBU Feedbacks
Hidora
 
Morning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyMorning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide Academy
Oxalide
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
Denodo
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigData
Ludovic Piot
 
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Microsoft Technet France
 
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetite
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetiteGab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetite
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetite
AZUG FR
 
Customer Show case : Mise en place d’une solution de gestion de projet avec l...
Customer Show case : Mise en place d’une solution de gestion de projet avec l...Customer Show case : Mise en place d’une solution de gestion de projet avec l...
Customer Show case : Mise en place d’une solution de gestion de projet avec l...
Microsoft Ideas
 
Exemple de mise en place d'une solution EPM 2013
Exemple de mise en place d'une solution EPM 2013Exemple de mise en place d'une solution EPM 2013
Exemple de mise en place d'une solution EPM 2013
Charbel Abdo
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM France Lab
 
[Café techno] Optimiser le coût de vos données avec DB2 distribué
[Café techno] Optimiser le coût de vos données avec DB2 distribué[Café techno] Optimiser le coût de vos données avec DB2 distribué
[Café techno] Optimiser le coût de vos données avec DB2 distribué
Groupe D.FI
 
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement MicrosoftChristophe HERAL
 
Présentation des Méthodes Agiles pour l'association AnnexEthique
Présentation des Méthodes Agiles pour l'association AnnexEthiquePrésentation des Méthodes Agiles pour l'association AnnexEthique
Présentation des Méthodes Agiles pour l'association AnnexEthique
David Brocard
 
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data VirtualizationSession en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
Denodo
 
Neo4j et ses cas d'usages
Neo4j et ses cas d'usagesNeo4j et ses cas d'usages
Neo4j et ses cas d'usages
Neo4j
 
ASFA - Organisation et Méthodologie du projet COLSA
ASFA - Organisation et Méthodologie du projet COLSAASFA - Organisation et Méthodologie du projet COLSA
ASFA - Organisation et Méthodologie du projet COLSA
Frédéric Sagez
 
GraphTour Paris - Cas d'usages populaires Neo4j
GraphTour Paris - Cas d'usages populaires Neo4jGraphTour Paris - Cas d'usages populaires Neo4j
GraphTour Paris - Cas d'usages populaires Neo4j
Neo4j
 

Similaire à Procima deck 7 May 2014 (20)

Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019
Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019
Bonita 7.10 - Nathalie Cotté - Bonitaday Paris 2019
 
SPS Dakar 2018 - Low code, lean et agilité - Sébastien Paulet
SPS Dakar 2018 - Low code, lean et agilité - Sébastien PauletSPS Dakar 2018 - Low code, lean et agilité - Sébastien Paulet
SPS Dakar 2018 - Low code, lean et agilité - Sébastien Paulet
 
Low code, lean et agilité sur les projets SHarePoint - SPS Dakar
Low code, lean et agilité sur les projets SHarePoint - SPS DakarLow code, lean et agilité sur les projets SHarePoint - SPS Dakar
Low code, lean et agilité sur les projets SHarePoint - SPS Dakar
 
5 bonnes raisons pour des projets analytiques en agile
5 bonnes raisons pour des projets analytiques en agile5 bonnes raisons pour des projets analytiques en agile
5 bonnes raisons pour des projets analytiques en agile
 
Meetup Devops Geneve 06/17- EBU Feedbacks
Meetup Devops Geneve 06/17- EBU Feedbacks Meetup Devops Geneve 06/17- EBU Feedbacks
Meetup Devops Geneve 06/17- EBU Feedbacks
 
Morning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyMorning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide Academy
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigData
 
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !Boostez vos applications en migrant vos bases vers SQL Server 2012 !
Boostez vos applications en migrant vos bases vers SQL Server 2012 !
 
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetite
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetiteGab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetite
Gab17 lyon-rex build dev ops sur une infra iaas-paas multisite-by-matthieupetite
 
Customer Show case : Mise en place d’une solution de gestion de projet avec l...
Customer Show case : Mise en place d’une solution de gestion de projet avec l...Customer Show case : Mise en place d’une solution de gestion de projet avec l...
Customer Show case : Mise en place d’une solution de gestion de projet avec l...
 
Exemple de mise en place d'une solution EPM 2013
Exemple de mise en place d'une solution EPM 2013Exemple de mise en place d'une solution EPM 2013
Exemple de mise en place d'une solution EPM 2013
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
 
[Café techno] Optimiser le coût de vos données avec DB2 distribué
[Café techno] Optimiser le coût de vos données avec DB2 distribué[Café techno] Optimiser le coût de vos données avec DB2 distribué
[Café techno] Optimiser le coût de vos données avec DB2 distribué
 
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
 
Présentation des Méthodes Agiles pour l'association AnnexEthique
Présentation des Méthodes Agiles pour l'association AnnexEthiquePrésentation des Méthodes Agiles pour l'association AnnexEthique
Présentation des Méthodes Agiles pour l'association AnnexEthique
 
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data VirtualizationSession en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
 
Neo4j et ses cas d'usages
Neo4j et ses cas d'usagesNeo4j et ses cas d'usages
Neo4j et ses cas d'usages
 
ASFA - Organisation et Méthodologie du projet COLSA
ASFA - Organisation et Méthodologie du projet COLSAASFA - Organisation et Méthodologie du projet COLSA
ASFA - Organisation et Méthodologie du projet COLSA
 
GraphTour Paris - Cas d'usages populaires Neo4j
GraphTour Paris - Cas d'usages populaires Neo4jGraphTour Paris - Cas d'usages populaires Neo4j
GraphTour Paris - Cas d'usages populaires Neo4j
 

Plus de Marc-Eric LaRocque

Présentation organismes 8 octobre 2014
Présentation organismes 8 octobre 2014Présentation organismes 8 octobre 2014
Présentation organismes 8 octobre 2014Marc-Eric LaRocque
 
Procima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas Sanimax
Procima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas SanimaxProcima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas Sanimax
Procima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas Sanimax
Marc-Eric LaRocque
 
Infopresse 14 mai 2014 v1.0
Infopresse 14 mai 2014 v1.0Infopresse 14 mai 2014 v1.0
Infopresse 14 mai 2014 v1.0
Marc-Eric LaRocque
 
14Mar14 Tendances big data HEC - v1.2
14Mar14 Tendances big data HEC - v1.214Mar14 Tendances big data HEC - v1.2
14Mar14 Tendances big data HEC - v1.2Marc-Eric LaRocque
 
19 fév 2014 Tendances Big Data - v1.0
19 fév 2014 Tendances Big Data - v1.019 fév 2014 Tendances Big Data - v1.0
19 fév 2014 Tendances Big Data - v1.0
Marc-Eric LaRocque
 
Presentation BI Adoption - February 5, 2014
Presentation BI Adoption - February 5, 2014Presentation BI Adoption - February 5, 2014
Presentation BI Adoption - February 5, 2014
Marc-Eric LaRocque
 
Commencer avec Hadoop
Commencer avec HadoopCommencer avec Hadoop
Commencer avec Hadoop
Marc-Eric LaRocque
 

Plus de Marc-Eric LaRocque (7)

Présentation organismes 8 octobre 2014
Présentation organismes 8 octobre 2014Présentation organismes 8 octobre 2014
Présentation organismes 8 octobre 2014
 
Procima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas Sanimax
Procima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas SanimaxProcima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas Sanimax
Procima Experts at Salon BI Analytique 2014 - Stratégie & Roadmap, cas Sanimax
 
Infopresse 14 mai 2014 v1.0
Infopresse 14 mai 2014 v1.0Infopresse 14 mai 2014 v1.0
Infopresse 14 mai 2014 v1.0
 
14Mar14 Tendances big data HEC - v1.2
14Mar14 Tendances big data HEC - v1.214Mar14 Tendances big data HEC - v1.2
14Mar14 Tendances big data HEC - v1.2
 
19 fév 2014 Tendances Big Data - v1.0
19 fév 2014 Tendances Big Data - v1.019 fév 2014 Tendances Big Data - v1.0
19 fév 2014 Tendances Big Data - v1.0
 
Presentation BI Adoption - February 5, 2014
Presentation BI Adoption - February 5, 2014Presentation BI Adoption - February 5, 2014
Presentation BI Adoption - February 5, 2014
 
Commencer avec Hadoop
Commencer avec HadoopCommencer avec Hadoop
Commencer avec Hadoop
 

Procima deck 7 May 2014

  • 1. Agilité en BI et Wherescape Michael Tantrum Wherescape USA Marc-Eric LaRocque Procima Experts PROCIMAEXPERTS.COM/WHERESCAPE-RED
  • 3. Les 6 piliers permettant l’agilité Ces éléments sont facilitants afin d‟appliquer Scrum/XP à un projet DW/BI avec succès • La technologie • L’assurance qualité •L’estimation • L’adaptation des sprints • L’équipe • L’interfacte à l’organisation
  • 5. Rôles sur une équipe Scrum DW/BI –Product Owner: à lui le résultat, il décide –Scrum Master: à lui le processus, pas un PM –Architecte de projet: gère les besoins et les solutions –Analyste/Modélisateur de données Définie tables, profilage, définie modules ETL –Développeurs: front-end & back-end –Ingénieur de tests: organisation des tests, automatisation, gestion des jeux de test 6-9 joueurs
  • 6. Pilier #2 Adapter le concept du sprint au BI
  • 7. Le Pipeline : adaptation Scrum au BI – Donne à chaque métier un sprint complet pour exécuter son travail – Les rencontres quotidiennes et de planification sont nécessaires pour assurer la continuité de la livraison d'un package Iteration Solution Architect Data Modeler / Sys Analyst Coders Sys Test Solution Reqts Technical Reqts Potentially Shippable Shippable Code -1 0 1 2 3 4 A B B B B A A A C C C C D D D
  • 9. Le problème avec l'estimation – Distribution des estimés traditionnels – Pour avoir 95% de certitude, on doit multiplier les estimés des développeurs par 4 (Étude de 400 projets chez Haliburton) 1x 2x 3x 4x Ratio des estimés réels 95% degré de confiance Moyenne Fréquence
  • 10. Estimation fondée sur la taille – Agile utilise une méthode en pair fondée sur la taille comparative – L'estimation de ce qui peut être livré dans un sprint ne se fait pas en heures – Le cerveau humain compare très bien – Facilité à comparer un nouveau module à un déjà livré Qu'est-ce qui est plus facile à soulever? Formes différentes, mais intuitivement nous savons que la pomme et la banane pèsent environ la même chose
  • 11. Carte de base d'estimation (CBE) – Consensus d'équipe sur tâches requises pour chaque objet DW/BI majeur – Estimés pro forma – Heures d'efforts – Utilisé comme guide – Évite de repenser chaque fois – Permets la conception et l'estimation par exception – Revisité lors des rétrospectives & peut-être ajusté Type 2 Slowly Changing Dimension • High-level design conference 2hr • Low-Level design conference 3hr • Finalize table DDL 3hr • Create table & indexes 1hr • Create view for incremental source 1hr • Create incremental load mapping - Row-level meta data columns 6hr - Straight through columns 3hr - Derived columns ? • Create view for initial source 1hr • Adapt for initial load mapping 6hr • Create session 3hr • Add to workflow 2hr • Move to nightly build folder 2hr • Create parm setting script 2hr • Update tar ball & version control 1hr • Code walk through 3hr • Document per dept stds 3hr
  • 12. Pilier #4 L'assurance qualité dans le cadre agile BI
  • 13. Deux éléments souhaitables – Tests automatisés • Découverte immédiate d'erreurs de code • Plus facile de cibler les erreurs • Définition implicite de "complété" (pas d'extras) • Démontre au client que le DW est correct • Permets de réaliser des tests quotidiennement • Moins d'erreurs opérationnelles – Référentiel de jeux de données de test • On doit vraiment penser aux besoins pour créer ceci • Permets de rouvrir le code pour maintenance
  • 14. Maintenir la vitesse des développeurs – Développeurs doivent travailler indépendamment • leur procurer un sandbox • contrôle de versions efficace – Ont besoin de tests unitaires rapides et utiles • gestion de petits jeux de données statiques – Doivent répéter les tests unitaires souvent • gestion des jeux de données "attendus" pour comparaison – Doivent détecter les modules problèmes rapidement • validations automatisées • build chaque soir et exécution des chargements staging-marts – Doivent simuler les deltas • plusieurs échantillons de temps dans les jeux de données
  • 15. Toute l'équipe a un rôle à jouer – Architecte de projet • Requêtes-utilisateur pour chaque étoile, sujet • Scripts de démo • Récupère les tests d'acceptation formels – Analyste • Cas de tests unitaires source-cible • Valide les métadonnées au niveau des rangées – Modélisateur de données • Cas de tests d'intégration à partir du modèle • Assure la cohérence inter-table – Ingénieur de Test • Compile tous les tests, organise • Assure les exécutions tous les soirs
  • 16. Pilier #5 Interface à l'organisation
  • 17. Gestion des besoins agile BI 80/20 Phase d‟initiation Concept du système (Analyste Aff.) Demande client (Analyste Aff.) Document de Vision (Architecte projet) Phase de Création Cas d’util. de solution (Architecte Projet) Phase d‟Élaboration Cas d’util. applicatif (Analyste BI/TI) “Comment nous allons créer de la valeur” “Voici ce qui ne marche pas et comment nous ferions pour y remédier” “Voici les problèmes que nous comprenons et une ébauche de solution ” “Voici un schéma en étoile que nous allons construire pour vous” “Voici un module ETL que nous allons construire pour eux” Besoins d‟affaires Besoins fonctionnels Spécifications TI Sprint -1 Débute avec sprint 0
  • 18. S'intégrer à l'organisation Phases typiques Réponse Agile DW 80/20, 25% du temps Phase gérée en Identification ou Bonne idée N/A Traditionnel Étude préliminaire ou faisabilité Concept & Demande (2 page) Traditionnel Architecture ou Conception Document de vision (10-20 pages) Sprint -1 Traditionnel Réalisation Cas utilisation solutions Cas utilisation applicatifs Sprints 0, 1, ... Scrum Gouvernance traditionnelle Transition production N/A Traditionnel
  • 20. Deux points importants – Un environnement technologique complexe freine l'agilité • Viser à simplifier • Viser à standardiser – S'outiller pour mieux tirer avantage de l'agilité • • Outils de réplication de sources • Automatisations de tests • Collaboration agile • Etc.
  • 21. Michael Tantrum WhereScape USA WhereScape Automating The Development, Deployment & Management of Data Warehouses To Maximize Business Value May 2014
  • 22. History  Founded in 1998 by Michael Whitehead & Wayne Richmond as a Data Warehouse Consultancy in New Zealand  RED released to market - 2003  US market investment in earnest - 2008  EU market investment - 2010  3D released to market - 2012  WhereScape India established - 2013
  • 23. Our Business  Global – all types and sizes of customers  650 in total; 350 in USA  Target DB‟s = Teradata, Oracle, SQL Server, Green Plum, Netezza, DB2  Led by data warehouse automation software that is native to the target database(s) in the customer environment.  3D for Planning  RED for Building  Professional Services are offered to insure customer success  Architects, Developers, and Solution Managers on-shore  Developers in Pune India add cost effective bandwidth under adult supervision
  • 25. What We Believe  Getting the data right is critically important.  Business users/consumers of data must be served at their pace.  Automate as much of the process as possible.  Standards matter.  Document everything; later changes demand it.  The historical record that “data warehouses take too long to build and are too hard to change” is unacceptable. IT must deliver value continuously, manage ongoing changes cost effectively, and mitigate risk throughout.
  • 26. ETL Is Not The Same Thing as DW Development Move Data Transform Data Load Data From Sources including OLTP, files, Hadoop, etc. Create Dimensions, Facts, Models, Views, Cubes, Indexes, Keys Documentation
  • 27. Our Value Proposition  We empower IT organizations to build, deploy, and manage their data in a timeframe and manner that creates utter enthusiasm in the business community  Time to results dramatically decreases - faster  Costs decrease: license and human capital - cheaper  Quality is higher: documentation & transparency - better  Risk is mitigated: automation & methodology – with confidence The Promise of BI…for the sake of managing the business… is realized
  • 28. Our Flagship Product: RED RED is an Automated Data Warehouse Development Platform That Builds Native Database Objects, Documents Them, And Schedules Data To Be Loaded.
  • 29. Automation Use Cases End-to-End Data Warehouse Development Tool Including All ETL Complement to Enterprise ETL, Used For Rapid/Agile Build Out of a View or Semantic Layer Green Field Clean Up Hand-Written Code and Scripts Manage Deployments Rewrite & Recast Heterogeneous Database Solutions Big Data Integration ELT 2.0 Configuration Management Semantic Layer
  • 30. 3D: A New Tool For Planning Data Profiling Warehouses Databases Files XML JDBC ODBC Source Model HTML Word Profile Design Physical Existing DW Dimensional Document Embeds Profiling Results Team Enabled Scheduler Write queries in the model before building Massively Configurable 3D designed to integrate with RED
  • 31. “WhereScape RED’s tight integration with Teradata and built-in best practices are empowering our resource-constrained development team to tackle a large implementation that will enable us to quickly deliver value to our institution and members.” Su Rayburn, Director of Business Intelligence Services
  • 32. “We estimate the development lifecycle is 20-25% of what it was previously when we were hand coding.” – Dan Mosher, Director of Enterprise Data Warehousing And. . .
  • 33. Independent Analysts Say . . . “WhereScape provides an attractive alternative for quickly prototyping, building and deploying data warehouses as well as dependent data marts for targeted BI solutions that can be quickly adapted as the business dictates.” – Claudia Imhoff, President, Intelligent Solutions, Inc.
  • 34. And. . . “WhereScape can assist IT organizations not only with building out a data warehouse, but also keeping it updated and refreshed after deployment, an „Achilles heel‟ for organizations that often run out of budget and reallocate resources once the warehouse is deployed.” – Mark Madsen, President, Third Nature, Inc.
  • 35. Summary  WhereScape‟s approach with data warehouse automation yields customer results that are stunning: faster, cheaper, better, with confidence  RED: A proven product used by 650 customers anchors our value proposition  3D: A new product used by an emerging set of customers as a complement to RED for aligning models with real data in a number of usage cases