LES MARDIS DECOUVERTE MICROPOLE
Paris, le 18 octobre 2016
CHARLES PARAT, DIRECTEUR INNOVATION STÉPHANE HAWRO, DIRECTEUR BI
“DE LA BI … À LA DATA INTELLIGENCE”
2
2
CONSEIL ET SOLUTIONS INNOVANTES
DATA & DIGITAL
3 AGENCES
EN CHINE9 AGENCES
RÉGIONALES
EN FRANCE
5 PAYS
EN EUROPE
6 PAYS DANS LE MONDE
BELGIQUE / CHINE / FRANCE / LUXEMBOURG / PAYS-BAS / SUISSE
+ 100 M€ DE CA
D O N T 3 0 % A L ’ I N T E R N A T I O N A L
1100
C O N S U L T A N T S M E T I E R S E T
I N G E N I E U R S
3
DATA
INTELLIGENCE
Agenda
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
DE LA BI A LA DATA
INTELLIGENCE
4
NOUS ENTRONS DANS UNE NOUVELLE ÈRE…
NOUVEAUX
ECOSYSTEMS
Co-conception avec les clients /
utilisateurs, start-ups, social
networks, …
VIE
HYPER
CONNECTÉE
4 à 6 heures par jour
web + mobile
INFORMATION
CONSTANTE
60s = 4mio Google queries,
2.5mio nouveaux contenus
Facebook, …
LES MACHINES
PARLENT
Internet of (every)Things
… 20 à 50 milliards d’objets
connectés d’ici 2020
INNOVATION
PERMANENTE
Google glasses/car, iWatch, 3D
printing, …
5
LE MARCHE DE
L’IT
Que dit
l’Analyste
2016
 TOP 10 des priorités des DSI
1 BI / Analytiques
2 Cloud
3 Mobile
4 Digitalisation / Marketing digital
5 Infrastructure & Data Center
6 ERP
7 Sécurité
8 Applications spécifiques / industrie
9 CRM
10 Réseaux et communications
BI & Analytics (On premise)
Security Applications
Predictive Analytics
SaaS / Cloud Apps
Mobile Entreprise Apps
BI & Analytics (Cloud based)
Data Management / Storage
Business Continuity / Disaster Recovery
Hybrid Cloud
Windows 10 Deployment
50% 31%9%
49% 36%3%
47% 30%3%
46% 34%5%
46% 30%4%
44% 28%2%
43% 47%6%
43% 50%3%
41% 37%3%
40% 30%3%
Augmentation Diminution Stable
6
Compétences
Budgets
Culture de l’organisation
Alignement IT et Business
Challenges Technologiques (sécurité, legacy, …)
Capacité à changer
Compréhension, relationship et
sponsorisation du management
LE MARCHE DE
L’IT
 TOP des obstacles pour les DSI
Que dit
l’Analyste
2016
22%
15%
12%
11%
9%
8%
7%
Pas de changement depuis 3 années : BigData, (Big)Analytics, Gouvernance (process, projet et données)
7
QUELLES
PREOCCUPATIONS ?
Quelles sont les
motivations de
changements, de
transformation de
nos clients ?
Aligner ma BI sur mes enjeux
Business
Servir mes nouveaux Uses Cases
par l’innovation et
l’expérimentation
Utiliser l’innovation pour sa
performance et rationaliser
Je souhaite une
architecture BigData
Ouvrir l’accès aux
données
Contraintes
réglementaires
8
 Favoriser le prédictif, la data visualisation &
l’exploration vs le reporting statique
 Démocratiser l’accès aux données/insights
 La valeur issue des données doit permettre des
actions et décisions rapides
 Stratégie de livraison rapide & itérative
 Moins d’inertie liée à la DSI
 Moins de rigidité du SID/DWH
LES FACTEURS CLÉS DE SUCCÈS…
ET LES PRINCIPAUX ENJEUX QUI EN RÉSULTENT
DATA VISUALISATION
AGILITÉ
& DATALAB
GOUVERNANCE
Data, organisation…
BIG DATA
& BIG ANALYTICS
DATA SCIENCE
9
DE LA BI A LA DATA INTELLIGENCE
ENTERPRISE
DATA
INTELLIGENCE
ENTERPRISE B.I.
SAVOIR
FAIRE
BIGDATA
DATA
SCIENCE
DATAVIZINNOVATIONS
CONTRAINTES AGILITE
QoS
SECURITE
GOUVERNANCE
VALEUR
L’APPORT DE VALEUR AU CENTRE DE LA STRATEGIE
10
DATA
INTELLIGENCE
Agenda
DE LA BI A LA DATA
INTELLIGENCE
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
11
LA BUSINESS
INTELLIGENCE
Objectifs
 La BI « permet à l’entreprise de PRENDRE DES DÉCISIONS
basées sur la VALORISATION de son ÉCOSYSTÈME DE
DONNÉES ».
 Elle « est censée DÉLIVRER au mieux L’INFORMATION
SIGNIFICATIVE afin de faciliter la PRISE DE DÉCISION ».
 On peut aussi définir la Business Intelligence comme étant :
• La diffusion (ou l’exploitation) de la bonne information
• à la bonne personne,
• pour la bonne finalité et avec le bon niveau d’accès,
• au bon moment,
• selon le contexte d’analyse approprié,
• via le bon support (device) et avec la visualisation adaptée.
DE LA BI A LA DATA
INTELLIGENCE
12
LA DATA
INTELLIGENCE
Objectifs
 VALORISATION de la DONNÉE comme un asset de l’entreprise
 FACILITER la recherche , la génération et la mesure de VALEUR
 EXPLOITER au mieux le patrimoine DATA, et aller explorer de
nouveaux ESPACES
13
DATA INTELLIGENCE
LES USAGES A ADRESSER
Reporting
Opé.
Explora-
tion
Vision
360
Reporting
Tableau
de bord
Analyses
adhoc
Mining
Analyse
prédictive
DATA
SCIENCE
REPORTING
OPÉRATIONNEL
REPORTING
ENTREPRISE
RECHERCHE &
EXPLORATION
Restituer & Analyser Prévoir & Prédire FONCTIONS
DU SID
USAGES
ASSOCIES
PRATIQUES
Prév.
métiers
Budget
& PMT
Planif.
& simul.
avancées
PLANIFICATION &
SIMULATION
Comprendre & Modéliser
UN MOT D‘ORDRE - L‘OUVERTURE
14
DATA
INTELLIGENCE
Agenda
DATA VISUALISATION
& Experience utilisateurs
AGILITÉ
& Datalab
GOUVERNANCE
Data, Organisation…
BIG DATA
& Big analytics
MOBILITE
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
15
LES BIENFAITS
DE LA DATAVIZ’
Comment optimiser
l’utilisation des outils BI ?
Quels gains en termes de
compréhension des
données et de justesse
des décisions ?
Notre conviction
Repositionner l’utilisateur au centre de la réflexion
16LA DATAVISUALISATION AU SERVICE DE L’ENSEMBLE DES USAGES
LA DATAVISUALISATION SUR LES USAGES FORTEMENT GOUVERNÉS PAR L’IT
Reporting
Opé.
Reporting
Tableau
de bord
Reporting
Opérationnel
Reporting
Entreprise
FONCTIONS
DU SID
USAGES
ASSOCIES
PRATIQUES
Prév.
métiers
Budget
& PMT
Planification &
Simulation
Restituer & Analyser Prévoir & Prédire Comprendre & Modéliser
17LA DATAVISUALISATION AU SERVICE DE L’ENSEMBLE DES USAGES
LA DATAVISUALISATION SUR LES USAGES « D’EXPLORATION »
Explora-
tion
Vision
360
Analyses
adhoc
Mining
Analyse
prédictive
Data
Science
Reporting
Entreprise
Recherche &
Exploration
FONCTIONS
DU SID
USAGES
ASSOCIES
PRATIQUES
Planif.
& simul.
avancées
Planification &
Simulation
Restituer & Analyser Prévoir & Prédire Comprendre & Modéliser
18
Intelligente
 par la valeur qu’elle crée
 par l’histoire qu’elle raconte
Intelligible
 compréhensible de toutes & tous
LA DATAVISUALISATION, LA DONNEE INTELLIGENTE ET INTELLIGIBLE
19
Semaines SmartPhone Tablette Laptop Desktop
s04 4,26 s04 3,10 s04 5,39 s08 6,89
s05 5,68 s05 4,74 s05 5,73 s08 5,25
s06 7,24 s06 6,13 s06 6,08 s08 7,91
s07 4,82 s07 7,26 s07 6,42 s08 5,76
s08 6,95 s08 8,14 s08 6,77 s08 8,84
s09 8,81 s09 8,77 s09 7,11 s08 6,58
s10 8,04 s10 9,14 s10 7,46 s08 8,47
s11 8,33 s11 9,26 s11 7,81 s08 5,56
s12 10,84 s12 9,13 s12 8,15 s08 7,71
s13 7,58 s13 8,74 s13 12,74 s08 7,04
s14 9,96 s14 8,10 s14 8,84 s19 12,50
82,51 82,51 82,50 82,51
7,50 7,50 7,50 7,50
2,03 2,03 2,03 2,03
82,51 82,51 82,50 82,51
Moyenne :
Ecart-Type :
Somme :
Chiffre d'Affaire
Somme :
VISUAL INTELLIGENCE
Vos données vous délivrent-elles la bonne information ?
Semaines SmartPhone Tablette Laptop Desktop
s04 4,26 s04 3,10 s04 5,39 s08 6,89
s05 5,68 s05 4,74 s05 5,73 s08 5,25
s06 7,24 s06 6,13 s06 6,08 s08 7,91
s07 4,82 s07 7,26 s07 6,42 s08 5,76
s08 6,95 s08 8,14 s08 6,77 s08 8,84
s09 8,81 s09 8,77 s09 7,11 s08 6,58
s10 8,04 s10 9,14 s10 7,46 s08 8,47
s11 8,33 s11 9,26 s11 7,81 s08 5,56
s12 10,84 s12 9,13 s12 8,15 s08 7,71
s13 7,58 s13 8,74 s13 12,74 s08 7,04
s14 9,96 s14 8,10 s14 8,84 s19 12,50
82,51 82,51 82,50 82,51
7,50 7,50 7,50 7,50
2,03 2,03 2,03 2,03
82,51 82,51 82,50 82,51
7,50 7,50 7,50 7,50
2,03 2,03 2,03 2,03
Moyenne :
Ecart-Type :
Somme :
Moyenne :
Ecart-Type :
Chiffre d'Affaire
Somme :
Chiffre d’Affaires
20
Semaines SmartPhone Tablette Laptop Desktop
s04 4,26 s04 3,10 s04 5,39 s08 6,89
s05 5,68 s05 4,74 s05 5,73 s08 5,25
s06 7,24 s06 6,13 s06 6,08 s08 7,91
s07 4,82 s07 7,26 s07 6,42 s08 5,76
s08 6,95 s08 8,14 s08 6,77 s08 8,84
s09 8,81 s09 8,77 s09 7,11 s08 6,58
s10 8,04 s10 9,14 s10 7,46 s08 8,47
s11 8,33 s11 9,26 s11 7,81 s08 5,56
s12 10,84 s12 9,13 s12 8,15 s08 7,71
s13 7,58 s13 8,74 s13 12,74 s08 7,04
s14 9,96 s14 8,10 s14 8,84 s19 12,50
82,51 82,51 82,50 82,51
7,50 7,50 7,50 7,50
2,03 2,03 2,03 2,03
82,51 82,51 82,50 82,51
Moyenne :
Ecart-Type :
Somme :
Chiffre d'Affaire
Somme :
VISUAL INTELLIGENCE
Vos données vous délivrent-elles la bonne information ?
Semaines SmartPhone Tablette Laptop Desktop
s04 4,26 s04 3,10 s04 5,39 s08 6,89
s05 5,68 s05 4,74 s05 5,73 s08 5,25
s06 7,24 s06 6,13 s06 6,08 s08 7,91
s07 4,82 s07 7,26 s07 6,42 s08 5,76
s08 6,95 s08 8,14 s08 6,77 s08 8,84
s09 8,81 s09 8,77 s09 7,11 s08 6,58
s10 8,04 s10 9,14 s10 7,46 s08 8,47
s11 8,33 s11 9,26 s11 7,81 s08 5,56
s12 10,84 s12 9,13 s12 8,15 s08 7,71
s13 7,58 s13 8,74 s13 12,74 s08 7,04
s14 9,96 s14 8,10 s14 8,84 s19 12,50
82,51 82,51 82,50 82,51
7,50 7,50 7,50 7,50
2,03 2,03 2,03 2,03
82,51 82,51 82,50 82,51
7,50 7,50 7,50 7,50
2,03 2,03 2,03 2,03
Moyenne :
Ecart-Type :
Somme :
Moyenne :
Ecart-Type :
Chiffre d'Affaire
Somme :
?
Chiffre d’Affaires
21
A QUELLE QUESTION DOIT RÉPONDRE MA DATAVISUALISATION ?
par un processus décisionnel
22
23DATAVIZ KILLER
Attention au dérapage
24
DATA
INTELLIGENCE
Agenda
DE LA BI A LA DATA
INTELLIGENCE
DATA VISUALISATION
& Experience utilisateurs
AGILITÉ
& Datalab
GOUVERNANCE
Data, Organisation…
BIG DATA
& Big analytics
MOBILITE
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
25UNE AGILITÉ DEVENUE NÉCESSAIRE & GAGE DE CRÉATION DE VALEUR…
… rendue notamment possible par la mise en place d’environnements « datalab »
TIME TO
MARKET
ADÉQUATION DE LA
SOLUTION AUX
BESOINS
FAIRE FACE À LA
COMPLEXITÉ
RÉDUCTION DES
INEFFICACITÉS
IMPLICATION DE
L’ENSEMBLE DES
ACTEURS
AMÉLIORER LA
CONNAISSANCE
FAVORISER
L’EXPÉRIMENTATION
DÉVELOPPER
L’INNOVATION
26LE PROCESSUS DE QUALIFICATION DE VALEUR DE LA DATA
LES LIMITES DU MODELE « UN BESOIN > UN PROJET »
BIG-
IDEE
STRATEGIE / DIRECTION INDUSTRIALISATION
EXAMEN
/ DECISION
DSI
SOCLES
TECHNIQUES
COMITES DES DONNEES
DICTIONNAIRES
DESIGN
BUILD
RUN
METIERS
INFORMATIQUE
27LE PROCESSUS DE QUALIFICATION DE VALEUR DE LA DATA
UNE ORGANISATION AGILE ET CONCERTEE DE QUALIFICATION RE-UTILISABLE (OU AD HOC)
BIG-
IDEE
STRATEGIE / DIRECTION EXPERIMENTATION INDUSTRIALISATION
EXAMEN
/ DECISION
EQUIPE DATALAB
SANDBOX
DSI
SOCLES
TECHNIQUES
COMITES DES
DONNEES
DICTIONNAIRES
DESIGN
BUILD
RUN
METIERS
INFORMATIQUE
PLAN D’ACTION
/ MOYENS
DECOUVERTE
QUALIFICATION
EVALUATION
SUIVI
RESULTATS
28LE PROCESSUS DE QUALIFICATION DE VALEUR DE LA DATA
UNE DEMARCHE TEST & LEARN GOUVERNEE ET RESPONSABLE
BIG-
IDEE
STRATEGIE / DIRECTION EXPERIMENTATION INDUSTRIALISATION
EXAMEN
/ DECISION
PLAN D’ACTION
/ MOYENS
EQUIPE DATALAB
SANDBOX
DSI
SOCLES
TECHNIQUES
COMITES DES
DONNEES
DICTIONNAIRES
DECOUVERTE
QUALIFICATION
EVALUATION
DESIGN
BUILD
RUN
SUIVI
RESULTATS
METIERS
INFORMATIQUE
29LE PRINCIPE SANDBOX
EDW
Datalab
(sandbox)
ANALYSE / DATAVIZ
STATISTIQUES / MINING
ACCES TECHNIQUES RICHES ET A
JOUR
PROFILING/QUALITY
FLUX COMPLEXES
STOCKAGE
BESOINS
I.T.
BESOINS
METIERS
USAGE AGILE
Données
« départementales »
DATALAKE
S.I. COMPATIBLE !!
Données
Externes (BigData, OpenData, …)
30
DATA
INTELLIGENCE
Agenda
DE LA BI A LA DATA
INTELLIGENCE
DATA VISUALISATION
& Experience utilisateurs
AGILITÉ
& Datalab
GOUVERNANCE
Data, Organisation…
BIG DATA
& Big analytics
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data Intelligence
5. Retour d’expérience
6. Q&R
DATA SCIENCE
31
De la Business
Intelligence au Big
Analytics…
Les challenges
majeurs
L’émergence
du Big (Data)
Analytics
 Collecter l’ensemble des données : non structurées,
semi-structurées et structurées ; internes et externes
 Maîtriser les nouvelles technologies et les compétences
 Assurer la confidentialité & la sécurité de l’information
 Assurer la qualité de la donnée & la gouverner
 Maîtriser les process & apporter de l’agilité
 Transformer rapidement les data en actions et résultats
32UN NOUVEAU PARADIGME : DÉMULTIPLICATION DE LA DONNÉE
De nouveaux enjeux : extension et valorisation de la donnée !
Vision 360°
Augmentation
de l’interactivité
Analyse
descriptives et
prédictives
Amélioration
des processus
existants
Nouvelles
générations
de produits
et de
services
Open Data
Interactions
(mails,
courriers,
appels)
Réseaux
Sociaux
Données
internes
Partenaires
Délégataires
(ex. SNCF) …
Économies : ressources,énergie…
Recommandations
proactives
Maintenance
prédictive
Amélioration continue
des processus
Optimisation du « time
to repair »
(Réduction des délais
d’analyse des causes)
Capteurs
machines/robots
Contexte &
conditions
Flux
€
Maintenance
Transport
Vision 360°
Interactions “agiles”
Analyses
prédictive,
prescriptive &
descriptive
Amélioration des
processus
(existants)
Nouvelles
générations
de produits
& services
Transactions
(incl. digital
Interactions
(incl. digital)
Réseaux
sociaux
Points de
rencontres
clients
Partenaires
(ex. livraison) …
33
LES ENJEUX
SERVIR LES USAGES
APPORTER DE LA VALEUR
COMPLEMENTAIRE
LE BIG DATA N’EST PAS LA NOUVELLE BI, NI SON SOCLE
OUVRIR LES DONNEES ET LES USAGES
36
LES RÔLES
L’ARCHITECTE DE
DONNEES
LE BUSINESS
ANALYST
37
DATA
INTELLIGENCE
Agenda
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
DE LA BI A LA DATA
INTELLIGENCE
DATA VISUALISATION
& Experience utilisateurs
AGILITÉ
& Datalab
GOUVERNANCE
Data, Organisation…
BIG DATA
& Big analytics
DATA SCIENCE
38
DATA MINING &
DATA SCIENCE
UN LIEN TRÈS FORT !
CHRONOLOGIE :
1850 : STATISTIQUE
Quelques centaines d’individus et quelques
variables, recueillies selon un protocole strict
pour une étude scientifique
1960 : ANALYSE DE DONNÉES
Quelques dizaines de milliers d’individus et
quelques dizaines de variables recueillies de
façon rigoureuse pour une enquête précise
1990 : DATA MINING
Plusieurs millions d’individus et plusieurs
centaines de variables hétérogènes,
recueillies dans le système d’information des
entreprises pour de l’aide à la décision
2010 : DATA SCIENCE
Les Big Datas avec plusieurs centaines de
millions d’individus et plusieurs milliers de
variables, de tous types, recueillies dans les
entreprises, les systèmes, Internet, pour de
l’aide à la décision, de nouveaux services
 La data science n’est pas nouvelle.
 Elle représente l’application (et l’adaptation) du data
mining aux Big Datas…
39
DATA MINING &
DATA SCIENCE
ON RETROUVE LES DEUX
MÊMES APPROCHES
Ces 2 approches sont
complémentaires
 LES TECHNIQUES DESCRIPTIVES – EXPLORATOIRES
• Visent à mettre en évidence des informations
présentes mais cachées par le volume des
données réduisent, résument, synthétisent les
données et permettent une meilleure
compréhension
• Il n’y a pas de variable « cible »
 LES TECHNIQUES PREDICTIVES – DECISIONNELLES
• Visent à expliquer et/ou prédire un évènement
ou un phénomène à partir des informations du
passé
• Expliquent les données
• Il y a une variable « cible » à prédire, à
expliquer
40
DATA MINING &
DATA SCIENCE
ET AUSSI LA MÊME
DÉMARCHE
Quel que soit l’objectif à
atteindre ou la nature
des informations à
traiter, la démarche
méthodologique ne
change pas.
 Démarche itérative en 6 étapes
 Les trois premières phases sont les plus déterminantes
 Que l’on parle de data mining ou de data science, il n’y a rien de
magique là-dedans mais une démarche minutieuse, réfléchie et
très itérative !
 S’il suffisait de stocker un maximum de données et de les passer à
la moulinette d’algorithmes pour trouver des pépites…
EVALUATION ET
SUIVI DE LA
PERFORMANCE
VALIDATION DES
OBJECTIFS ET
INDUSTRIALISATION
EXPLORATION,
MODÉLISATION,
OPTIMISATION
SÉLECTION,
EXPLORATION
ET PRÉPARATION
DES
DONNÉES
CADRAGE
DU PROJET
DÉFINITION DES
OBJECTIFS
41
DATA MINING &
DATA SCIENCE
QUELLES
DIFFÉRENCES
ALORS ???
Et bien pas mal
finalement !
 NOMBRE DE VARIABLES / CRITERES / FEATURES
Plusieurs milliers en data science versus quelques centaines en
data mining
 OPEN SOURCE
• Accès généralisé à des fonctionnalités et des algorithmes de
dernière génération qui jusque-là n’étaient disponibles que dans des
suites logicielles payantes et parfois onéreuses : Arbres boostés (GBM),
Règles d’association séquentielles, Régressions logistiques Ridge,
Lasso, ElasticNet, SVM, Réseaux de neurones…
• In-Memory : si ça passe, c’est beaucoup plus rapide !
• Parallel processing : pour tirer un maximum de la machine et gagner
du temps
• Nouvelles données : de nombreux outils/API/packages pour extraire,
stocker et transformer des données issues du Web, des médias
sociaux, de l’open data, données météo, images ou vidéos, IoT
42
BEST PRACTICES
POUR ALLER
VERS LA DATA
SCIENCE
LES PROFILS ?
43
DATA
INTELLIGENCE
Agenda
1. Présentation de Micropole
2. Introduction
3. Panorama des usages
4. Nouveaux enjeux
5. Panorama des outils
6. Nouvelles architectures orientées Data
Intelligence
7. Q&R
DE LA BI A LA DATA
INTELLIGENCE
DATA VISUALISATION
& Experience utilisateurs
AGILITÉ
& Datalab
GOUVERNANCE
Data, Organisation…
BIG DATA
& Big analytics
DATA SCIENCE
44
USAGES METIERS
DE LA BI A LA DATA INTELLIGENCE
LE SUPPORT I.T. AUX METIERS
LE BESOIN D’UN DIALOGUE DOCUMENTE ET PERMANENT POUR APPUYER L’EFFICACITE
OPERATIONAL
DATA
>DEFINITIONS
ET VALIDATIONS
• RAPPORTS
• ANALYSE AD HOC
• TERMINOLOGIE
• BUSINESS RULES
• TECHNICAL RULES
• CARTOGRAPHIES
• PERFORMANCE
• QUALITE
• ERGONOMIE
• CONFORMITE ET JURIDIQUE
• ANALYSE D’IMPACT
• PROJETS (Définition et Suivi)
• NEW
• MAINTENANCE
• MIGRATION
• EVOLUTION
• DOCUMENTATION
I.T.
COMMUNAUTES
D’USAGE
ANALYTICAL DATA
USAGES METIER
45
DE LA BI A LA DATA INTELLIGENCE
DEMARCHE PAR OPPORTUNITE OU CRITICITE
PREVUE POUR DURER AU-DELA DE L’URGENCE PROJET
SPONSOR
RESP.
I.T.
RESP.
METIER
CONTRIBUTEURS
PERIMETRE
SUJET
GLOSSAIRES
CARTO
PROJECT MGT
USE SUPERVISION
BUSINESS SUBJECT
OR DATA COUNCIL
SPONSOR
CORPORATE
GOVERNANCE
SUPERVISION
SUPPORTS
ET PROCESS
A OUTILLER
OBLIGATOIREMENT
46
DE LA BI A LA DATA INTELLIGENCE
QUELS OUTILS POUR LA GOUVERNANCE ?
ATTENTION AUX TRAVAUX D’HERCULE SANS OUTILS ADAPTES !!
GLOSSAIRES
CARTO
PROJECT MGT
USE SUPERVISION
BUSINESS
GLOSSARYRETRO
DOCUMENTATION
(BASES, FLUX, RAPPORTS, …)
SPECIFICATIONS
METIERS,
PROTOTYPAGE (LAB)
TICKETING,
COLLABORATIF, CMS
Analyse d’impact
47
DE LA BI A LA DATA INTELLIGENCE
VOTRE VISION D’UNE GOUVERNANCE PAR SUJET
PAR RAPPORT AUX PERIMETRES DE VOTRE RESSORT
SPONSOR
A
RESP.
I.T. X
RESP.
METIER M
PERIMETRE
SUJET A
SPONSOR
B
RESP.
I.T.Y
RESP.
METIER N
PERIMETRE
SUJET B
SPONSOR
C
RESP.
I.T.Z
RESP.
METIER O
PERIMETRE
SUJET C
48
DE LA BI A LA DATA INTELLIGENCE
POUR CONTRIBUER A LA VISION D’UNE GOUVERNANCE GLOBALE
… ET LE PILOTAGE DES INDICATEURS D’ENTREPRISE ?
SPONSOR
COMEX
RESP.
DSI
RESP.
FONCT. (*n)
PERIMETRE
CORPORATE
SPONSOR
A
SPONSOR
B
SPONSOR
C
…
49
DE LA BI A LA DATA INTELLIGENCE
ET SI VOUS NE PLACEZ PAS
LA GOUVERNANCE
AU CŒUR DE VOTRE B.I.,
COMMENT POURREZ-VOUS
ETRE AGILES
ET TIRER PARTI DU BIG DATA ?
50
DATA
INTELLIGENCE
Agenda
DE LA BI A LA DATA
INTELLIGENCE
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
51
Tableaux de bord dynamiques et évolutifs
fournissant une aide au pilotage et à l’analyse de
son activité
BI d’Entreprise
« Stratégique »
Reporting pré-défini /paramétrables
pour suivre l’alignement de l’entreprise sur
la stratégie et les objectifs définis
BI Départementale
« Tactique »
Sources de données « volumineuses »
stables, maitrisées et industrialisées
Sources de données peu volumineuses,
métiers, locales, évolutives et externes
~18 mois80% IT
20% Métier
LES DIFFÉRENTES FORMES DE LA BI
Gouvernance projet forte
Cycle en « V »
Rigidité du Datawarehouse
~3/6 mois50% IT
50% Métier
Gouvernance projet modérée
Indicateur non diffusable en dehors dept.
Finance, Marketing, Perf. management
BI Exploratoire
« Investigation »
Analyse exploratoire pour découvrir de nouvelles
générations de services,. Identifier et supporter
de nouvelles opportunités business
Sources de données volumineuses, peu ou pas
structurées, collectées à la volet
EDW BI Locale Data Lab
Evolution perpétuelle100% Key User+IT
en mode DataScience
Gouvernance projet faible
Méthode de développement rapide
E-commerce, navigation web, Géomarket
52REPENSER LES ARCHITECTURES BI
Pensez différemment
EPM
DATA SCIENCE
ET
DES PLATEFORMES AGILES (DATALAB’S)
ANALYSE ET
REPORTING
MÉTIER
REPORTING
ENTREPRISE
Sources SIO
DATAMARTS
BASE COLONNES
BASE OLAP
DATAWAREHOUSE
ODS
REF
AGR
BigData
Plusieurs usages
=
Plusieurs architectures
(logique)
=
Plusieurs solutions
Schémas d’urbanisation
adaptés
=
Accès directe à la donnée
valorisée
=
Gain de temps
REPORTING
OPÉRATIONNELDATALAKE
Repenser les usages
=
Meilleure
valorisation/utilisation de la
donnée
=
Rationalisation et gouvernance
des restitutions
53REPENSER LES ARCHITECTURES BI
En systématisant le Big Data – Si nous connaissons les apports, connaissons-nous les impacts ?
Big Data en remplacement
de la BI existante
Big Data en complément
de la BI existante
Architectures hybrides
Démarche d’évolution
Architectures intégrées
Démarche de refonte
Recommandé par Micropole
dans 80% des cas
Faire évoluer en s’appuyant sur le
patrimoine informationnel existant
(sans tout casser) …
Assurer une continuité de service
Montée en compétence progressive
Budget « raisonnable »
54NOTRE CONVICTION
Architecture hybride
En mouvement (Streaming)Structurées
EDW
Non-structurées
“”
Hadoop
Couche d’exposition
Restituer & Analyser Prévoir & Prédire Comprendre & Modéliser
Data
Science
Reporting
Opérationnel
Reporting
Entreprise
Recherche &
Exploration
Planification &
Simulation
Reporting
Opé.
Explora-
tion
Vision
360
Reporting
Tableau
de bord
Analyses
adhoc
Mining
Analyse
prédictive
Prév.
métiers
Budget
& PMT
Planif.
& simul.
avancées
Machine
learn
55
Afin de correctement positionner les données au sein des différentes briques, il est important d'identifier les types de données, leur couleur, leur
vitesse afin d'exploiter au mieux les cas d'usages.
Données blanches : Données présentes au sein du système d'information décisionnel.
Elles sont structurées et sont stockées dans les Data Warehouse
Données grises : Ce sont les données externes à l'entreprise peuvent être structurées ou non, il
peut s'agir de données issues de l'Open Data, elle représentent un volume plus important que
les données blanches
Les données sombres (Dark Data) : Elles représentent les données inexploitées au sein des
entreprises, présentes en masse elle n'ont pu être exploitée à cause de leur volume, leur format,
l'incapacité et le coût associé à leur captation. Le Big Data permet enfin de les exploiter et
d'alimenter de nouveaux cas d'usages porteurs de valeur pour l'entreprise.
Données froides Données chaudes
Quel que soit le type de donnée, elle existe sous la forme d'une donnée active, vivante, avec une évolution
rapide, on parle alors de donnée chaude, à l'opposé on trouve les données froides, les données historiques
devant être accessibles en cas de besoin. Les données tièdes représentent les données récentes faisant l'objet
d'accès quotidiens ou hebdomadaires.
Données tièdes
NOTRE CONVICTION
Une meilleure gestion de la donnée
56
Etirer les données froides vers le Big Data ou le cloud avec une exécution intelligente des requêtes
Fonctionnalité
Etirer de grandes tables de données
opérationnelles de la base de données
vers le Big Data ou vers le Cloud, tout
en conservant la capacité de requêter la
donnée où qu'elle soit
Bénéfices
Intégration BI
Données
froides
Achats
In-memory
OLTP table
Données
chaudes
Historique d'achats
table étirée
Exécution de requêtes fédérées
On-premises
Cloud
ou
Big Data
NOTRE CONVICTION
SI ETENDU
57
Identifier la ligne de rupture
Implémentations complexes
Enterprise Data Warehouse
Données en silos
Hadoop
Dashboards Analyse Ad hoc
Machine learning
OLAP
Toutes les données
In-memory
Internet des objets
Systèmes transactionnels
ETL
Reporting Opérationnel
Valeur
Streaming
Innovation
EDW Hadoop
NOTRE CONVICTION
58
BI d’Entreprise
« Stratégique »
BI Départementale
« Tactique »
Sources de données « volumineuses »
stables, maitrisées et industrialisées
Sources de données peu volumineuses,
métiers, locales, évolutives et externes
UTILISER LE BIG DATA EN COMPLÉMENT DE LA BI EXISTANTE (1)
BI Exploratoire
« Investigation »
Sources de données volumineuses, peu ou pas
structurées, collectées à la volet
EDW Hadoop
Peu ou pas structurées
Peu ou pas organisées
Chaudes
Brutes
Structurées
Peu organisées
Tièdes
Orientées
Structurées
Organisées
Froides
Transformées
Couche d’exposition
exploration Vision 360°Analyse Prédictif Data ScienceTableaux de bord Reporting
Synchro
59
BI d’Entreprise
« Stratégique »
BI Départementale
« Tactique »
Sources de données « volumineuses »
stables, maitrisées et industrialisées
Sources de données peu volumineuses,
métiers, locales, évolutives et externes
UTILISER LE BIG DATA EN REMPLACEMENT DE LA BI EXISTANTE (2)
BI Exploratoire
« Investigation »
Sources de données volumineuses, peu ou pas
structurées, collectées à la volet
Hadoop
Peu ou pas structurées
Peu ou pas organisées
Chaudes
Brutes
Structurées
Peu organisées
Tièdes
Orientées
Structurées
Organisées
Froides
Transformées
Couche d’exposition
exploration Vision 360°Analyse Prédictif Data ScienceTableaux de bord Reporting
60
LE POINT DE LA BI A LA DATA INTELLIGENCE
ENTERPRISE
DATA
INTELLIGENCE
ENTERPRISE B.I.
SAVOIR
FAIRE
BIGDATA
DATA
SCIENCE
DATAVIZINNOVATIONS
CONTRAINTES AGILITE
QoS
SECURITE
GOUVERNANCE
VALEUR
OÙ EN ÊTES-VOUS ? À QUEL RYTHME VOULEZ-VOUS MUTER ?
61
DATA
INTELLIGENCE
Agenda
1. Introduction
2. Panorama des usages
3. Evolution et nouveaux enjeux
4. Nouvelles architectures orientées Data
Intelligence
5. Retour d’expérience
6. Q&R
DE LA BI A LA DATA
INTELLIGENCE
Désolés, nous ne sommes pas autorisés à utiliser ce retour
d’expérience en dehors de l’évènement dans nos locaux
LES MARDIS DECOUVERTE MICROPOLE
QUESTIONS / REPONSES
MERCI DE VOTRE ATTENTION

Matinée Micropole DE LA BI A LA DATA INTELLIGENCE 18-10-2016

  • 1.
    LES MARDIS DECOUVERTEMICROPOLE Paris, le 18 octobre 2016 CHARLES PARAT, DIRECTEUR INNOVATION STÉPHANE HAWRO, DIRECTEUR BI “DE LA BI … À LA DATA INTELLIGENCE”
  • 2.
    2 2 CONSEIL ET SOLUTIONSINNOVANTES DATA & DIGITAL 3 AGENCES EN CHINE9 AGENCES RÉGIONALES EN FRANCE 5 PAYS EN EUROPE 6 PAYS DANS LE MONDE BELGIQUE / CHINE / FRANCE / LUXEMBOURG / PAYS-BAS / SUISSE + 100 M€ DE CA D O N T 3 0 % A L ’ I N T E R N A T I O N A L 1100 C O N S U L T A N T S M E T I E R S E T I N G E N I E U R S
  • 3.
    3 DATA INTELLIGENCE Agenda 1. Introduction 2. Panoramades usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R DE LA BI A LA DATA INTELLIGENCE
  • 4.
    4 NOUS ENTRONS DANSUNE NOUVELLE ÈRE… NOUVEAUX ECOSYSTEMS Co-conception avec les clients / utilisateurs, start-ups, social networks, … VIE HYPER CONNECTÉE 4 à 6 heures par jour web + mobile INFORMATION CONSTANTE 60s = 4mio Google queries, 2.5mio nouveaux contenus Facebook, … LES MACHINES PARLENT Internet of (every)Things … 20 à 50 milliards d’objets connectés d’ici 2020 INNOVATION PERMANENTE Google glasses/car, iWatch, 3D printing, …
  • 5.
    5 LE MARCHE DE L’IT Quedit l’Analyste 2016  TOP 10 des priorités des DSI 1 BI / Analytiques 2 Cloud 3 Mobile 4 Digitalisation / Marketing digital 5 Infrastructure & Data Center 6 ERP 7 Sécurité 8 Applications spécifiques / industrie 9 CRM 10 Réseaux et communications BI & Analytics (On premise) Security Applications Predictive Analytics SaaS / Cloud Apps Mobile Entreprise Apps BI & Analytics (Cloud based) Data Management / Storage Business Continuity / Disaster Recovery Hybrid Cloud Windows 10 Deployment 50% 31%9% 49% 36%3% 47% 30%3% 46% 34%5% 46% 30%4% 44% 28%2% 43% 47%6% 43% 50%3% 41% 37%3% 40% 30%3% Augmentation Diminution Stable
  • 6.
    6 Compétences Budgets Culture de l’organisation AlignementIT et Business Challenges Technologiques (sécurité, legacy, …) Capacité à changer Compréhension, relationship et sponsorisation du management LE MARCHE DE L’IT  TOP des obstacles pour les DSI Que dit l’Analyste 2016 22% 15% 12% 11% 9% 8% 7% Pas de changement depuis 3 années : BigData, (Big)Analytics, Gouvernance (process, projet et données)
  • 7.
    7 QUELLES PREOCCUPATIONS ? Quelles sontles motivations de changements, de transformation de nos clients ? Aligner ma BI sur mes enjeux Business Servir mes nouveaux Uses Cases par l’innovation et l’expérimentation Utiliser l’innovation pour sa performance et rationaliser Je souhaite une architecture BigData Ouvrir l’accès aux données Contraintes réglementaires
  • 8.
    8  Favoriser leprédictif, la data visualisation & l’exploration vs le reporting statique  Démocratiser l’accès aux données/insights  La valeur issue des données doit permettre des actions et décisions rapides  Stratégie de livraison rapide & itérative  Moins d’inertie liée à la DSI  Moins de rigidité du SID/DWH LES FACTEURS CLÉS DE SUCCÈS… ET LES PRINCIPAUX ENJEUX QUI EN RÉSULTENT DATA VISUALISATION AGILITÉ & DATALAB GOUVERNANCE Data, organisation… BIG DATA & BIG ANALYTICS DATA SCIENCE
  • 9.
    9 DE LA BIA LA DATA INTELLIGENCE ENTERPRISE DATA INTELLIGENCE ENTERPRISE B.I. SAVOIR FAIRE BIGDATA DATA SCIENCE DATAVIZINNOVATIONS CONTRAINTES AGILITE QoS SECURITE GOUVERNANCE VALEUR L’APPORT DE VALEUR AU CENTRE DE LA STRATEGIE
  • 10.
    10 DATA INTELLIGENCE Agenda DE LA BIA LA DATA INTELLIGENCE 1. Introduction 2. Panorama des usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R
  • 11.
    11 LA BUSINESS INTELLIGENCE Objectifs  LaBI « permet à l’entreprise de PRENDRE DES DÉCISIONS basées sur la VALORISATION de son ÉCOSYSTÈME DE DONNÉES ».  Elle « est censée DÉLIVRER au mieux L’INFORMATION SIGNIFICATIVE afin de faciliter la PRISE DE DÉCISION ».  On peut aussi définir la Business Intelligence comme étant : • La diffusion (ou l’exploitation) de la bonne information • à la bonne personne, • pour la bonne finalité et avec le bon niveau d’accès, • au bon moment, • selon le contexte d’analyse approprié, • via le bon support (device) et avec la visualisation adaptée. DE LA BI A LA DATA INTELLIGENCE
  • 12.
    12 LA DATA INTELLIGENCE Objectifs  VALORISATIONde la DONNÉE comme un asset de l’entreprise  FACILITER la recherche , la génération et la mesure de VALEUR  EXPLOITER au mieux le patrimoine DATA, et aller explorer de nouveaux ESPACES
  • 13.
    13 DATA INTELLIGENCE LES USAGESA ADRESSER Reporting Opé. Explora- tion Vision 360 Reporting Tableau de bord Analyses adhoc Mining Analyse prédictive DATA SCIENCE REPORTING OPÉRATIONNEL REPORTING ENTREPRISE RECHERCHE & EXPLORATION Restituer & Analyser Prévoir & Prédire FONCTIONS DU SID USAGES ASSOCIES PRATIQUES Prév. métiers Budget & PMT Planif. & simul. avancées PLANIFICATION & SIMULATION Comprendre & Modéliser UN MOT D‘ORDRE - L‘OUVERTURE
  • 14.
    14 DATA INTELLIGENCE Agenda DATA VISUALISATION & Experienceutilisateurs AGILITÉ & Datalab GOUVERNANCE Data, Organisation… BIG DATA & Big analytics MOBILITE 1. Introduction 2. Panorama des usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R
  • 15.
    15 LES BIENFAITS DE LADATAVIZ’ Comment optimiser l’utilisation des outils BI ? Quels gains en termes de compréhension des données et de justesse des décisions ? Notre conviction Repositionner l’utilisateur au centre de la réflexion
  • 16.
    16LA DATAVISUALISATION AUSERVICE DE L’ENSEMBLE DES USAGES LA DATAVISUALISATION SUR LES USAGES FORTEMENT GOUVERNÉS PAR L’IT Reporting Opé. Reporting Tableau de bord Reporting Opérationnel Reporting Entreprise FONCTIONS DU SID USAGES ASSOCIES PRATIQUES Prév. métiers Budget & PMT Planification & Simulation Restituer & Analyser Prévoir & Prédire Comprendre & Modéliser
  • 17.
    17LA DATAVISUALISATION AUSERVICE DE L’ENSEMBLE DES USAGES LA DATAVISUALISATION SUR LES USAGES « D’EXPLORATION » Explora- tion Vision 360 Analyses adhoc Mining Analyse prédictive Data Science Reporting Entreprise Recherche & Exploration FONCTIONS DU SID USAGES ASSOCIES PRATIQUES Planif. & simul. avancées Planification & Simulation Restituer & Analyser Prévoir & Prédire Comprendre & Modéliser
  • 18.
    18 Intelligente  par lavaleur qu’elle crée  par l’histoire qu’elle raconte Intelligible  compréhensible de toutes & tous LA DATAVISUALISATION, LA DONNEE INTELLIGENTE ET INTELLIGIBLE
  • 19.
    19 Semaines SmartPhone TabletteLaptop Desktop s04 4,26 s04 3,10 s04 5,39 s08 6,89 s05 5,68 s05 4,74 s05 5,73 s08 5,25 s06 7,24 s06 6,13 s06 6,08 s08 7,91 s07 4,82 s07 7,26 s07 6,42 s08 5,76 s08 6,95 s08 8,14 s08 6,77 s08 8,84 s09 8,81 s09 8,77 s09 7,11 s08 6,58 s10 8,04 s10 9,14 s10 7,46 s08 8,47 s11 8,33 s11 9,26 s11 7,81 s08 5,56 s12 10,84 s12 9,13 s12 8,15 s08 7,71 s13 7,58 s13 8,74 s13 12,74 s08 7,04 s14 9,96 s14 8,10 s14 8,84 s19 12,50 82,51 82,51 82,50 82,51 7,50 7,50 7,50 7,50 2,03 2,03 2,03 2,03 82,51 82,51 82,50 82,51 Moyenne : Ecart-Type : Somme : Chiffre d'Affaire Somme : VISUAL INTELLIGENCE Vos données vous délivrent-elles la bonne information ? Semaines SmartPhone Tablette Laptop Desktop s04 4,26 s04 3,10 s04 5,39 s08 6,89 s05 5,68 s05 4,74 s05 5,73 s08 5,25 s06 7,24 s06 6,13 s06 6,08 s08 7,91 s07 4,82 s07 7,26 s07 6,42 s08 5,76 s08 6,95 s08 8,14 s08 6,77 s08 8,84 s09 8,81 s09 8,77 s09 7,11 s08 6,58 s10 8,04 s10 9,14 s10 7,46 s08 8,47 s11 8,33 s11 9,26 s11 7,81 s08 5,56 s12 10,84 s12 9,13 s12 8,15 s08 7,71 s13 7,58 s13 8,74 s13 12,74 s08 7,04 s14 9,96 s14 8,10 s14 8,84 s19 12,50 82,51 82,51 82,50 82,51 7,50 7,50 7,50 7,50 2,03 2,03 2,03 2,03 82,51 82,51 82,50 82,51 7,50 7,50 7,50 7,50 2,03 2,03 2,03 2,03 Moyenne : Ecart-Type : Somme : Moyenne : Ecart-Type : Chiffre d'Affaire Somme : Chiffre d’Affaires
  • 20.
    20 Semaines SmartPhone TabletteLaptop Desktop s04 4,26 s04 3,10 s04 5,39 s08 6,89 s05 5,68 s05 4,74 s05 5,73 s08 5,25 s06 7,24 s06 6,13 s06 6,08 s08 7,91 s07 4,82 s07 7,26 s07 6,42 s08 5,76 s08 6,95 s08 8,14 s08 6,77 s08 8,84 s09 8,81 s09 8,77 s09 7,11 s08 6,58 s10 8,04 s10 9,14 s10 7,46 s08 8,47 s11 8,33 s11 9,26 s11 7,81 s08 5,56 s12 10,84 s12 9,13 s12 8,15 s08 7,71 s13 7,58 s13 8,74 s13 12,74 s08 7,04 s14 9,96 s14 8,10 s14 8,84 s19 12,50 82,51 82,51 82,50 82,51 7,50 7,50 7,50 7,50 2,03 2,03 2,03 2,03 82,51 82,51 82,50 82,51 Moyenne : Ecart-Type : Somme : Chiffre d'Affaire Somme : VISUAL INTELLIGENCE Vos données vous délivrent-elles la bonne information ? Semaines SmartPhone Tablette Laptop Desktop s04 4,26 s04 3,10 s04 5,39 s08 6,89 s05 5,68 s05 4,74 s05 5,73 s08 5,25 s06 7,24 s06 6,13 s06 6,08 s08 7,91 s07 4,82 s07 7,26 s07 6,42 s08 5,76 s08 6,95 s08 8,14 s08 6,77 s08 8,84 s09 8,81 s09 8,77 s09 7,11 s08 6,58 s10 8,04 s10 9,14 s10 7,46 s08 8,47 s11 8,33 s11 9,26 s11 7,81 s08 5,56 s12 10,84 s12 9,13 s12 8,15 s08 7,71 s13 7,58 s13 8,74 s13 12,74 s08 7,04 s14 9,96 s14 8,10 s14 8,84 s19 12,50 82,51 82,51 82,50 82,51 7,50 7,50 7,50 7,50 2,03 2,03 2,03 2,03 82,51 82,51 82,50 82,51 7,50 7,50 7,50 7,50 2,03 2,03 2,03 2,03 Moyenne : Ecart-Type : Somme : Moyenne : Ecart-Type : Chiffre d'Affaire Somme : ? Chiffre d’Affaires
  • 21.
    21 A QUELLE QUESTIONDOIT RÉPONDRE MA DATAVISUALISATION ? par un processus décisionnel
  • 22.
  • 23.
  • 24.
    24 DATA INTELLIGENCE Agenda DE LA BIA LA DATA INTELLIGENCE DATA VISUALISATION & Experience utilisateurs AGILITÉ & Datalab GOUVERNANCE Data, Organisation… BIG DATA & Big analytics MOBILITE 1. Introduction 2. Panorama des usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R
  • 25.
    25UNE AGILITÉ DEVENUENÉCESSAIRE & GAGE DE CRÉATION DE VALEUR… … rendue notamment possible par la mise en place d’environnements « datalab » TIME TO MARKET ADÉQUATION DE LA SOLUTION AUX BESOINS FAIRE FACE À LA COMPLEXITÉ RÉDUCTION DES INEFFICACITÉS IMPLICATION DE L’ENSEMBLE DES ACTEURS AMÉLIORER LA CONNAISSANCE FAVORISER L’EXPÉRIMENTATION DÉVELOPPER L’INNOVATION
  • 26.
    26LE PROCESSUS DEQUALIFICATION DE VALEUR DE LA DATA LES LIMITES DU MODELE « UN BESOIN > UN PROJET » BIG- IDEE STRATEGIE / DIRECTION INDUSTRIALISATION EXAMEN / DECISION DSI SOCLES TECHNIQUES COMITES DES DONNEES DICTIONNAIRES DESIGN BUILD RUN METIERS INFORMATIQUE
  • 27.
    27LE PROCESSUS DEQUALIFICATION DE VALEUR DE LA DATA UNE ORGANISATION AGILE ET CONCERTEE DE QUALIFICATION RE-UTILISABLE (OU AD HOC) BIG- IDEE STRATEGIE / DIRECTION EXPERIMENTATION INDUSTRIALISATION EXAMEN / DECISION EQUIPE DATALAB SANDBOX DSI SOCLES TECHNIQUES COMITES DES DONNEES DICTIONNAIRES DESIGN BUILD RUN METIERS INFORMATIQUE PLAN D’ACTION / MOYENS DECOUVERTE QUALIFICATION EVALUATION SUIVI RESULTATS
  • 28.
    28LE PROCESSUS DEQUALIFICATION DE VALEUR DE LA DATA UNE DEMARCHE TEST & LEARN GOUVERNEE ET RESPONSABLE BIG- IDEE STRATEGIE / DIRECTION EXPERIMENTATION INDUSTRIALISATION EXAMEN / DECISION PLAN D’ACTION / MOYENS EQUIPE DATALAB SANDBOX DSI SOCLES TECHNIQUES COMITES DES DONNEES DICTIONNAIRES DECOUVERTE QUALIFICATION EVALUATION DESIGN BUILD RUN SUIVI RESULTATS METIERS INFORMATIQUE
  • 29.
    29LE PRINCIPE SANDBOX EDW Datalab (sandbox) ANALYSE/ DATAVIZ STATISTIQUES / MINING ACCES TECHNIQUES RICHES ET A JOUR PROFILING/QUALITY FLUX COMPLEXES STOCKAGE BESOINS I.T. BESOINS METIERS USAGE AGILE Données « départementales » DATALAKE S.I. COMPATIBLE !! Données Externes (BigData, OpenData, …)
  • 30.
    30 DATA INTELLIGENCE Agenda DE LA BIA LA DATA INTELLIGENCE DATA VISUALISATION & Experience utilisateurs AGILITÉ & Datalab GOUVERNANCE Data, Organisation… BIG DATA & Big analytics 1. Introduction 2. Panorama des usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R DATA SCIENCE
  • 31.
    31 De la Business Intelligenceau Big Analytics… Les challenges majeurs L’émergence du Big (Data) Analytics  Collecter l’ensemble des données : non structurées, semi-structurées et structurées ; internes et externes  Maîtriser les nouvelles technologies et les compétences  Assurer la confidentialité & la sécurité de l’information  Assurer la qualité de la donnée & la gouverner  Maîtriser les process & apporter de l’agilité  Transformer rapidement les data en actions et résultats
  • 32.
    32UN NOUVEAU PARADIGME: DÉMULTIPLICATION DE LA DONNÉE De nouveaux enjeux : extension et valorisation de la donnée ! Vision 360° Augmentation de l’interactivité Analyse descriptives et prédictives Amélioration des processus existants Nouvelles générations de produits et de services Open Data Interactions (mails, courriers, appels) Réseaux Sociaux Données internes Partenaires Délégataires (ex. SNCF) … Économies : ressources,énergie… Recommandations proactives Maintenance prédictive Amélioration continue des processus Optimisation du « time to repair » (Réduction des délais d’analyse des causes) Capteurs machines/robots Contexte & conditions Flux € Maintenance Transport Vision 360° Interactions “agiles” Analyses prédictive, prescriptive & descriptive Amélioration des processus (existants) Nouvelles générations de produits & services Transactions (incl. digital Interactions (incl. digital) Réseaux sociaux Points de rencontres clients Partenaires (ex. livraison) …
  • 33.
    33 LES ENJEUX SERVIR LESUSAGES APPORTER DE LA VALEUR COMPLEMENTAIRE LE BIG DATA N’EST PAS LA NOUVELLE BI, NI SON SOCLE OUVRIR LES DONNEES ET LES USAGES
  • 34.
  • 35.
    37 DATA INTELLIGENCE Agenda 1. Introduction 2. Panoramades usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R DE LA BI A LA DATA INTELLIGENCE DATA VISUALISATION & Experience utilisateurs AGILITÉ & Datalab GOUVERNANCE Data, Organisation… BIG DATA & Big analytics DATA SCIENCE
  • 36.
    38 DATA MINING & DATASCIENCE UN LIEN TRÈS FORT ! CHRONOLOGIE : 1850 : STATISTIQUE Quelques centaines d’individus et quelques variables, recueillies selon un protocole strict pour une étude scientifique 1960 : ANALYSE DE DONNÉES Quelques dizaines de milliers d’individus et quelques dizaines de variables recueillies de façon rigoureuse pour une enquête précise 1990 : DATA MINING Plusieurs millions d’individus et plusieurs centaines de variables hétérogènes, recueillies dans le système d’information des entreprises pour de l’aide à la décision 2010 : DATA SCIENCE Les Big Datas avec plusieurs centaines de millions d’individus et plusieurs milliers de variables, de tous types, recueillies dans les entreprises, les systèmes, Internet, pour de l’aide à la décision, de nouveaux services  La data science n’est pas nouvelle.  Elle représente l’application (et l’adaptation) du data mining aux Big Datas…
  • 37.
    39 DATA MINING & DATASCIENCE ON RETROUVE LES DEUX MÊMES APPROCHES Ces 2 approches sont complémentaires  LES TECHNIQUES DESCRIPTIVES – EXPLORATOIRES • Visent à mettre en évidence des informations présentes mais cachées par le volume des données réduisent, résument, synthétisent les données et permettent une meilleure compréhension • Il n’y a pas de variable « cible »  LES TECHNIQUES PREDICTIVES – DECISIONNELLES • Visent à expliquer et/ou prédire un évènement ou un phénomène à partir des informations du passé • Expliquent les données • Il y a une variable « cible » à prédire, à expliquer
  • 38.
    40 DATA MINING & DATASCIENCE ET AUSSI LA MÊME DÉMARCHE Quel que soit l’objectif à atteindre ou la nature des informations à traiter, la démarche méthodologique ne change pas.  Démarche itérative en 6 étapes  Les trois premières phases sont les plus déterminantes  Que l’on parle de data mining ou de data science, il n’y a rien de magique là-dedans mais une démarche minutieuse, réfléchie et très itérative !  S’il suffisait de stocker un maximum de données et de les passer à la moulinette d’algorithmes pour trouver des pépites… EVALUATION ET SUIVI DE LA PERFORMANCE VALIDATION DES OBJECTIFS ET INDUSTRIALISATION EXPLORATION, MODÉLISATION, OPTIMISATION SÉLECTION, EXPLORATION ET PRÉPARATION DES DONNÉES CADRAGE DU PROJET DÉFINITION DES OBJECTIFS
  • 39.
    41 DATA MINING & DATASCIENCE QUELLES DIFFÉRENCES ALORS ??? Et bien pas mal finalement !  NOMBRE DE VARIABLES / CRITERES / FEATURES Plusieurs milliers en data science versus quelques centaines en data mining  OPEN SOURCE • Accès généralisé à des fonctionnalités et des algorithmes de dernière génération qui jusque-là n’étaient disponibles que dans des suites logicielles payantes et parfois onéreuses : Arbres boostés (GBM), Règles d’association séquentielles, Régressions logistiques Ridge, Lasso, ElasticNet, SVM, Réseaux de neurones… • In-Memory : si ça passe, c’est beaucoup plus rapide ! • Parallel processing : pour tirer un maximum de la machine et gagner du temps • Nouvelles données : de nombreux outils/API/packages pour extraire, stocker et transformer des données issues du Web, des médias sociaux, de l’open data, données météo, images ou vidéos, IoT
  • 40.
    42 BEST PRACTICES POUR ALLER VERSLA DATA SCIENCE LES PROFILS ?
  • 41.
    43 DATA INTELLIGENCE Agenda 1. Présentation deMicropole 2. Introduction 3. Panorama des usages 4. Nouveaux enjeux 5. Panorama des outils 6. Nouvelles architectures orientées Data Intelligence 7. Q&R DE LA BI A LA DATA INTELLIGENCE DATA VISUALISATION & Experience utilisateurs AGILITÉ & Datalab GOUVERNANCE Data, Organisation… BIG DATA & Big analytics DATA SCIENCE
  • 42.
    44 USAGES METIERS DE LABI A LA DATA INTELLIGENCE LE SUPPORT I.T. AUX METIERS LE BESOIN D’UN DIALOGUE DOCUMENTE ET PERMANENT POUR APPUYER L’EFFICACITE OPERATIONAL DATA >DEFINITIONS ET VALIDATIONS • RAPPORTS • ANALYSE AD HOC • TERMINOLOGIE • BUSINESS RULES • TECHNICAL RULES • CARTOGRAPHIES • PERFORMANCE • QUALITE • ERGONOMIE • CONFORMITE ET JURIDIQUE • ANALYSE D’IMPACT • PROJETS (Définition et Suivi) • NEW • MAINTENANCE • MIGRATION • EVOLUTION • DOCUMENTATION I.T. COMMUNAUTES D’USAGE ANALYTICAL DATA USAGES METIER
  • 43.
    45 DE LA BIA LA DATA INTELLIGENCE DEMARCHE PAR OPPORTUNITE OU CRITICITE PREVUE POUR DURER AU-DELA DE L’URGENCE PROJET SPONSOR RESP. I.T. RESP. METIER CONTRIBUTEURS PERIMETRE SUJET GLOSSAIRES CARTO PROJECT MGT USE SUPERVISION BUSINESS SUBJECT OR DATA COUNCIL SPONSOR CORPORATE GOVERNANCE SUPERVISION SUPPORTS ET PROCESS A OUTILLER OBLIGATOIREMENT
  • 44.
    46 DE LA BIA LA DATA INTELLIGENCE QUELS OUTILS POUR LA GOUVERNANCE ? ATTENTION AUX TRAVAUX D’HERCULE SANS OUTILS ADAPTES !! GLOSSAIRES CARTO PROJECT MGT USE SUPERVISION BUSINESS GLOSSARYRETRO DOCUMENTATION (BASES, FLUX, RAPPORTS, …) SPECIFICATIONS METIERS, PROTOTYPAGE (LAB) TICKETING, COLLABORATIF, CMS Analyse d’impact
  • 45.
    47 DE LA BIA LA DATA INTELLIGENCE VOTRE VISION D’UNE GOUVERNANCE PAR SUJET PAR RAPPORT AUX PERIMETRES DE VOTRE RESSORT SPONSOR A RESP. I.T. X RESP. METIER M PERIMETRE SUJET A SPONSOR B RESP. I.T.Y RESP. METIER N PERIMETRE SUJET B SPONSOR C RESP. I.T.Z RESP. METIER O PERIMETRE SUJET C
  • 46.
    48 DE LA BIA LA DATA INTELLIGENCE POUR CONTRIBUER A LA VISION D’UNE GOUVERNANCE GLOBALE … ET LE PILOTAGE DES INDICATEURS D’ENTREPRISE ? SPONSOR COMEX RESP. DSI RESP. FONCT. (*n) PERIMETRE CORPORATE SPONSOR A SPONSOR B SPONSOR C …
  • 47.
    49 DE LA BIA LA DATA INTELLIGENCE ET SI VOUS NE PLACEZ PAS LA GOUVERNANCE AU CŒUR DE VOTRE B.I., COMMENT POURREZ-VOUS ETRE AGILES ET TIRER PARTI DU BIG DATA ?
  • 48.
    50 DATA INTELLIGENCE Agenda DE LA BIA LA DATA INTELLIGENCE 1. Introduction 2. Panorama des usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R
  • 49.
    51 Tableaux de borddynamiques et évolutifs fournissant une aide au pilotage et à l’analyse de son activité BI d’Entreprise « Stratégique » Reporting pré-défini /paramétrables pour suivre l’alignement de l’entreprise sur la stratégie et les objectifs définis BI Départementale « Tactique » Sources de données « volumineuses » stables, maitrisées et industrialisées Sources de données peu volumineuses, métiers, locales, évolutives et externes ~18 mois80% IT 20% Métier LES DIFFÉRENTES FORMES DE LA BI Gouvernance projet forte Cycle en « V » Rigidité du Datawarehouse ~3/6 mois50% IT 50% Métier Gouvernance projet modérée Indicateur non diffusable en dehors dept. Finance, Marketing, Perf. management BI Exploratoire « Investigation » Analyse exploratoire pour découvrir de nouvelles générations de services,. Identifier et supporter de nouvelles opportunités business Sources de données volumineuses, peu ou pas structurées, collectées à la volet EDW BI Locale Data Lab Evolution perpétuelle100% Key User+IT en mode DataScience Gouvernance projet faible Méthode de développement rapide E-commerce, navigation web, Géomarket
  • 50.
    52REPENSER LES ARCHITECTURESBI Pensez différemment EPM DATA SCIENCE ET DES PLATEFORMES AGILES (DATALAB’S) ANALYSE ET REPORTING MÉTIER REPORTING ENTREPRISE Sources SIO DATAMARTS BASE COLONNES BASE OLAP DATAWAREHOUSE ODS REF AGR BigData Plusieurs usages = Plusieurs architectures (logique) = Plusieurs solutions Schémas d’urbanisation adaptés = Accès directe à la donnée valorisée = Gain de temps REPORTING OPÉRATIONNELDATALAKE Repenser les usages = Meilleure valorisation/utilisation de la donnée = Rationalisation et gouvernance des restitutions
  • 51.
    53REPENSER LES ARCHITECTURESBI En systématisant le Big Data – Si nous connaissons les apports, connaissons-nous les impacts ? Big Data en remplacement de la BI existante Big Data en complément de la BI existante Architectures hybrides Démarche d’évolution Architectures intégrées Démarche de refonte Recommandé par Micropole dans 80% des cas Faire évoluer en s’appuyant sur le patrimoine informationnel existant (sans tout casser) … Assurer une continuité de service Montée en compétence progressive Budget « raisonnable »
  • 52.
    54NOTRE CONVICTION Architecture hybride Enmouvement (Streaming)Structurées EDW Non-structurées “” Hadoop Couche d’exposition Restituer & Analyser Prévoir & Prédire Comprendre & Modéliser Data Science Reporting Opérationnel Reporting Entreprise Recherche & Exploration Planification & Simulation Reporting Opé. Explora- tion Vision 360 Reporting Tableau de bord Analyses adhoc Mining Analyse prédictive Prév. métiers Budget & PMT Planif. & simul. avancées Machine learn
  • 53.
    55 Afin de correctementpositionner les données au sein des différentes briques, il est important d'identifier les types de données, leur couleur, leur vitesse afin d'exploiter au mieux les cas d'usages. Données blanches : Données présentes au sein du système d'information décisionnel. Elles sont structurées et sont stockées dans les Data Warehouse Données grises : Ce sont les données externes à l'entreprise peuvent être structurées ou non, il peut s'agir de données issues de l'Open Data, elle représentent un volume plus important que les données blanches Les données sombres (Dark Data) : Elles représentent les données inexploitées au sein des entreprises, présentes en masse elle n'ont pu être exploitée à cause de leur volume, leur format, l'incapacité et le coût associé à leur captation. Le Big Data permet enfin de les exploiter et d'alimenter de nouveaux cas d'usages porteurs de valeur pour l'entreprise. Données froides Données chaudes Quel que soit le type de donnée, elle existe sous la forme d'une donnée active, vivante, avec une évolution rapide, on parle alors de donnée chaude, à l'opposé on trouve les données froides, les données historiques devant être accessibles en cas de besoin. Les données tièdes représentent les données récentes faisant l'objet d'accès quotidiens ou hebdomadaires. Données tièdes NOTRE CONVICTION Une meilleure gestion de la donnée
  • 54.
    56 Etirer les donnéesfroides vers le Big Data ou le cloud avec une exécution intelligente des requêtes Fonctionnalité Etirer de grandes tables de données opérationnelles de la base de données vers le Big Data ou vers le Cloud, tout en conservant la capacité de requêter la donnée où qu'elle soit Bénéfices Intégration BI Données froides Achats In-memory OLTP table Données chaudes Historique d'achats table étirée Exécution de requêtes fédérées On-premises Cloud ou Big Data NOTRE CONVICTION SI ETENDU
  • 55.
    57 Identifier la lignede rupture Implémentations complexes Enterprise Data Warehouse Données en silos Hadoop Dashboards Analyse Ad hoc Machine learning OLAP Toutes les données In-memory Internet des objets Systèmes transactionnels ETL Reporting Opérationnel Valeur Streaming Innovation EDW Hadoop NOTRE CONVICTION
  • 56.
    58 BI d’Entreprise « Stratégique» BI Départementale « Tactique » Sources de données « volumineuses » stables, maitrisées et industrialisées Sources de données peu volumineuses, métiers, locales, évolutives et externes UTILISER LE BIG DATA EN COMPLÉMENT DE LA BI EXISTANTE (1) BI Exploratoire « Investigation » Sources de données volumineuses, peu ou pas structurées, collectées à la volet EDW Hadoop Peu ou pas structurées Peu ou pas organisées Chaudes Brutes Structurées Peu organisées Tièdes Orientées Structurées Organisées Froides Transformées Couche d’exposition exploration Vision 360°Analyse Prédictif Data ScienceTableaux de bord Reporting Synchro
  • 57.
    59 BI d’Entreprise « Stratégique» BI Départementale « Tactique » Sources de données « volumineuses » stables, maitrisées et industrialisées Sources de données peu volumineuses, métiers, locales, évolutives et externes UTILISER LE BIG DATA EN REMPLACEMENT DE LA BI EXISTANTE (2) BI Exploratoire « Investigation » Sources de données volumineuses, peu ou pas structurées, collectées à la volet Hadoop Peu ou pas structurées Peu ou pas organisées Chaudes Brutes Structurées Peu organisées Tièdes Orientées Structurées Organisées Froides Transformées Couche d’exposition exploration Vision 360°Analyse Prédictif Data ScienceTableaux de bord Reporting
  • 58.
    60 LE POINT DELA BI A LA DATA INTELLIGENCE ENTERPRISE DATA INTELLIGENCE ENTERPRISE B.I. SAVOIR FAIRE BIGDATA DATA SCIENCE DATAVIZINNOVATIONS CONTRAINTES AGILITE QoS SECURITE GOUVERNANCE VALEUR OÙ EN ÊTES-VOUS ? À QUEL RYTHME VOULEZ-VOUS MUTER ?
  • 59.
    61 DATA INTELLIGENCE Agenda 1. Introduction 2. Panoramades usages 3. Evolution et nouveaux enjeux 4. Nouvelles architectures orientées Data Intelligence 5. Retour d’expérience 6. Q&R DE LA BI A LA DATA INTELLIGENCE Désolés, nous ne sommes pas autorisés à utiliser ce retour d’expérience en dehors de l’évènement dans nos locaux
  • 60.
    LES MARDIS DECOUVERTEMICROPOLE QUESTIONS / REPONSES MERCI DE VOTRE ATTENTION