4. 1. Vers un nouveau monde
2. Big Data : Définition et enjeux
3. Cas d’usages du Big Data
4. Challenges techniques
5. Initier une démarche Big Data : Bonne pratiques
Sommaire :
5. 1. Vers un nouveau monde
2. Big Data : Définition et enjeux
3. Cas d’usages du Big Data
4. Challenges techniques
5. Initier une démarche Big Data : Bonne pratiques
Sommaire :
11. Mais aussi : vos clients peuvent être vos meilleurs
avocats… comme vos pires ennemis
12. Il faut donc offrir au client ce qu’il attend…
• De la transparence
• Une information pertinente
• Un véritable dialogue
• Des offres adaptées
• Des réactions rapides
• Des propositions en temps réel
• D’être remercié pour son
comportement d’achat
• …
18. Quel est le véritable objectif ?
+? =Valeur
Impact
Next Best
Offer /Action
Ciblage plus fin
Améliorer la
publicité
Attribuer les
leads
Réduire le
Churn
Augmenter la
fidélisation
Détection de
Fraudes
Calcul des
risques
Excellence
opérationnelle
Prévention
d’incidents
Amélioration
des processus
Collaboration
Vendre plus,
Vendre mieux
Décider plus vite,
Décider mieux
19. 1. Vers un nouveau monde
2. Big Data : Définition et enjeux
3. Cas d’usages du Big Data
4. Le Big Data pour la Connaissance Clients
5. Initier une démarche Big Data : Bonne pratiques
Sommaire :
20. Big Data : l’or noir du XXIe siècle
Information will be the
“oil of the 21st century”
It will be the resource running our
economy in ways not possible in
the past.
Peter Sondergaard
Gartner Senior VP
21. Big Data : l’or noir du XXIe siècle
… ou
d’utiliser la
Data
22. Big Data : l’or noir du XXIe siècle
Vague
d’innovation sans
précédent
Explosion des
volumes de
données
Démocratisation
de l’accès à
l’information
Baisse des coûts
matériels
23. Les 3 + 2 V du Big Data
Volume
Source: IDC
LatencyYears Sub-Second
Data Volume
Across Time Scales
BusinessValue
Velocité
Variété
25. Les promesses du Big Data
Données non structurées
(notamment textuelles)
Intégration au SI métier
de l’entreprise
Intégration d’algorithmes
prédictifs
Enormes volumes de
données
Rapidité des calculs et
temps-réel sur des
interactions
Nouvelles sources de données
Capteurs, réseaux sociaux, open-
data, INSEE, autres organismes
privés
27. Tout est Donnée!
90 % des données générées l’ont été
2014 : dans les deux dernières années
2015 : dans l’année
2020 : dans la seconde
Prévision 2020
80 Mds d'objets
connectés
OBJETS CONNECTÉS
63 MCHF de revenus
d'ici 2018
MOBILE
Prévision 2017
1,7Mds d'utilisateurs fixes
1,4Mds d'utilisateurs
Mobiles
SOCIAL
Valeur estimée de
« l’unlocking »
3 220 MCHF
OPEN DATA
(source McKinsey 2013)
Seules 30% des
données des
entreprises sont
exploitées
DONNEES
INTERNES
28. Data vs. opinions
If we have data, let's look at data. If all we
have are opinions, let's go with mine.
Jim Barksdale
31. Les modèles data-driven créent de nouveaux services
Electronique Banque
Produits de
consommation
Utilities Industrie Secteur public
Du prestataire de
produits financiers…
…à l’assistant
de gestion
du budget
Du lecteur MP3…
…Au conseiller
pour les choix
culturel
Des Megawatts…
…au Negawatts
De la fabrication
d’avions…
…à le gestion des
Heures de vol
D’un équipementier
de sport…
…à un coach
personnel
numérique
Du service public…
…au service à
la carte
32. • Nécessité d’un pilotage transverse
– Tous les métiers sont touchés
– Casser les silos
• Conduite du changement
• Mise ne place d’un vocabulaire commun
– Une approche globale
• Nouveaux métiers et nouvelles fonctions
• Sourcing externe versus montée en
compétence
Les enjeux organisationnels
33. Evolution des profils dans les entreprises
• Pourcentage d’ingénieurs dans les entreprises
– Les entreprises qui savent tirer parti des données pour driver leur business ont
une part importante d’ingénieurs
Source : Estimation basées sur les profils « engineer » LinkedIn, Oct. 2014
34. Le Chief Data Officer
• Son rôle :
– Exploiter le Capital des Données de l’entreprise pour le business
– Développer de nouveaux business ou services avec les données
– Gouverner et protéger les données
– Etre le garant de l’éthique sur l’utilisation des données
• Siège au Comité de Direction des entreprises
– Rôle dans la stratégie
– Orientation clairement Business
• Caractéristiques :
– Expérience et légitimité
– Positionnement transverse
– Une triple compétence :
• Business (vision stratégique)
• Data (angle Systèmes d’Information)
• Organisation
35. Le Data-Steward
• Son rôle :
– Propriétaire de domaines de données
– Participer à la gouvernance des données
– Garant de la bonne qualité des données
– Relais local du CDO
Caractéristiques :
• Excellente connaissance des données
• Profil communicant
36. Le Data-Scientist
Le Data-Scientist est
meilleur en statistiques que
l’informaticien et
meilleur en informatique que le
statisticien
… Mais existe-t-il vraiment ?!
“Data scientist is the sexiest job
of the 21st century”
37. 1. Vers un nouveau monde
2. Big Data : Définition et enjeux
3. Cas d’usages du Big Data
4. Le Big Data pour la Connaissance Clients
5. Initier une démarche Big Data : Bonne pratiques
Sommaire :
40. Vision des décideurs sur le Big Data
La relation client avant tout, puis l’efficacité des processus et l’innovation
0 10 20 30 40 50 60
Expérience client
Efficacité des processus
Innovation produit
Marketing ciblé
Réduction des coûts
Gestion des risques
Monétisation de l'information
Governance et réglementations
Sécurité
Autres
Sources : Gartner
41. Big Data : pour qui, pour quoi ?
Industrie
• Produit comme un service
• Qualité, innovation R&D
• Maintenance préventive
Assurance
• Fraudes et risques
• Connaissance client, Vision
360°, scoring temps-réel
• Recommandation client
• Tarification personnalisée
Secteur public
• Services informationnels
• Fraudes, abus
• Sécurité publique
• Personnalisation de la
relation citoyen
Distribution
• Offres temps réel et service
personnalisés
• Optimisation de
l’expérience magasin
• Pricing dynamique
Santé
• Gestion des effets
indésirables
• Traitements personnalisés.
• Amélioration des
diagnostics
Telecom
• Parcours clients multi-
canaux
• Partage de données de
géo localisation
• Fraudes et analyse du
comportement client
Banques
• Parcours clients multi-
canaux
• Fraude, anti blanchiment
• Partage des données
consommateurs pour
personnalisation
Transports, loisirs
• Planification et gestion des
evts liés à la logistique
• Service client temps réel
• Economie d’énergie
• Pricing dynamique
Produits gde conso.
• Analyse de sentiments et
retour produits
• Relation personnalisée
avec le consommateur
• Produit comme un service
42. « Le Smart Watering »
• En France , 25% de l’eau injectée sur le réseau est perdue en fuites et fraudes
Le manque à gagner pour les citoyens s’élève à 2,4 milliards d’euros par an. (Source SIA Conseil)
– Les canaux numériques et l’Internet des objets ouvrent de nouvelles opportunités pour
collecter/exploiter les données, et les mettre à disposition de tous
• Les Gains :
– Informations en temps réel sur les débits et la qualité de l’eau
– Services à valeur ajoutée pour les consommateurs et les collectivités
– Détection au plus tôt des problèmes sur le réseau et en bout de chaine
– Engagement commun au principe de consommation responsable
– Automatisation du processus de collecte de la consommation
Alertes intelligentes
43. Données des véhicules
• Véhiposte est l’opérateur de la flotte de
véhicules du Groupe La Poste
• Objectifs
– Optimisation des tournées
– Eco-conduite
– Maintenance préventive
• Quelques chiffres
– 40 000 véhicules actifs (4 roues)
– Données détaillées au trajet (entre 2 arrêts) pour les
véhicules électriques
– 45 000 immobilisations de véhicules d'au moins 1
journée sur les 4 dernières années
– Données des capteurs des véhicules électriques +
Données déclaratives des véhicules thermiques
44. Données des véhicules
• Ce que démontre l’expérimentation :
– Traitement statistique des valeurs aberrantes
– Puissance et rapidité de traitement de volumes
importants de données hétérogènes offrant de
nouvelles perspectives : Surveillance, monitoring
du véhicule et conseil d’éco-conduite temps réel
– Facilité de mise en œuvre (projet réalisé en 1
mois)
– Montée en compétence sur les technologies
Hadoop
• La suite :
– Extension du projet sur de nouvelles applications :
• maintenance prédictive
• optimisation des tournées
– Développement d’un assistant de conduite mobile
45. Election de Barack Obama 2012
• Les moyens :
– Maillage géographique très précis des électeurs
– Utilisation de données sociologiques et des réseaux sociaux
– Données récoltées en amont par le porte à porte et croisées avec
des données internet
• Actions sur la Campagne :
– Les bénévoles de la campagne Obama savent quels arguments
mettre en avant vis-à-vis des femmes célibataires, ou des jeunes,
ou des hispaniques
– Ciblage précis des pubs, coups de fils et appels à donations
• Actions le jour du scrutin :
– Suivi en temps réel et à un niveau de détail important du niveau
de participation
– Mobilisation des bénévoles sur les quartiers qui votent le moins
46. Le Big Data avec les réseaux sociaux
• Des banques américaines ont ajouté des données
issues de Facebook et Twitter dans les algorithmes
d’octroi des prêts
– Détermination du profil de risque en fonction des
données (amis, intérêts…)
– Vos amis sont-ils bons payeurs ?
La Sécu italienne (INPS) traque la fraude avec Facebook
• Croisement automatique avec les données Facebook
(notamment statuts)
• Identification des arrêts maladie susceptibles d’être
frauduleux
• par leur date (mercredi, veille de vacances scolaires),
• par leur récurrence pour un groupe d’individus,
• Par le statut FaceBook (ex : « Aujourd’hui, c’est
journée shopping »)
47. Monétisation des Données
PIRELLI - Projet « smart-tyres »
• 700 000 camions équipés
• Capteur dans le pneu qui mesure la pression et la température mais aussi
la charge du véhicule, ses accélérations, son adhérence, ou la vitesse de
rotation de la roue
• Objectifs : maintenance prédictive, sécurité, optimisation de la gestion
de flottes (côté clients) et feedback amélioré sur les produits (pour
Pirelli)
• Economie de carburant de 1 000 € par véhicule et par an
• Vente des données aux assureurs pour personnaliser la tarification
Comm Bank - Projet Daily IQ
• Position dominante en Australie : Gère 40% des
transactions par carte des consommateurs (dont
elle connaît donc précisément le profil)
• Permet à la Banque de proposer un service
d’analyse de la clientèle à ses clients
professionnels
48. Prévention des risques pour les collaborateurs
L’exploitation des données de l’entreprise centrées sur une vision
Collaborateur permet d’améliorer la prévention des risques
• RH : Risques psycho-sociaux
• HSE : Risques d’accidents
Utilisation des données comme :
Historique du collaborateur : poste occupé, manager, nb de
changements de postes, évolution dans l’entreprise, salaire, etc.
Evaluations et Entretiens annuels
CR/Rapports partagés avec la hiérarchie
Badgeuses
Machines sur lesquelles intervient le collaborateur
A partir de ces informations, des algorithmes sont appliquées pour permettre :
Catégorisation des collaborateurs suivant leur profil de risque
Alerte sur les profils détectés à risque élevé
49. 1. Vers un nouveau monde
2. Big Data : Définition et enjeux
3. Cas d’usages du Big Data
4. Challenges techniques
5. Initier une démarche Big Data : Bonne pratiques
Sommaire :
50. Hadoop, le fer de lance des technologies Big Data
Hadoop
Distributed File
System (HDFS)
File Sharing & Data
Protection Across
Physical Servers
MapReduce
Distributed Computing
Across Physical Servers
Hadoop permet de constituer une
plateforme Big Data complète
Scalable sur des volumes
Tolérant aux pannes
Open source
Conçu pour un hardware
standard
CORE HADOOP COMPONENTS
Principales Distributions Hadoop
51. Hadoop, le fer de lance des technologies Big Data
Source : P Russom – TDWI Best practices report ; Integrating Hadoop into BI & Data Warehousing
« Hadoop n’est plus une option »
Forrester, Avril 2014
52. Hadoop, le fer de lance des technologies Big Data
Map Reduce est le composant
Hadoop qui permet de paralléliser
un traitement sur les différents
nœuds qui composent son
architecture.
Application MapReduce
1. Map Phase
2. Shuffle Phase
3. Reduce Phase
Résultat
Distribution du
traitement sur les
différents noeuds
Hadoop Data Nodespublic static class TokenizerMapper
extends Mapper<Object,Text,Text,IntWritable> {
private final static IntWritable
one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text val, Context
StringTokenizer itr =
new StringTokenizer(val.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWrita
private IntWritable result = new IntWritable();
public void reduce(Text key,
Iterable<IntWritable> val, Context context){
int sum = 0;
for (IntWritable v : val) {
sum += v.get();
. . .
Hadoop
Distributed File
System (HDFS)
File Sharing & Data
Protection Across
Physical Servers
MapReduce
Distributed Computing
Across Physical Servers
CORE HADOOP COMPONENTS
53. Réduction des coûts de stockage
• Hadoop fonctionne sur du Hardware banalisé
– Cela permet de réduire très fortement les coûts de stockage
TCO Annuel pour 1 To de données
54. 1. Vers un nouveau monde
2. Big Data : Définition et enjeux
3. Cas d’usages du Big Data
4. Le Big Data pour la Connaissance Clients
5. Initier une démarche Big Data : Bonne pratiques
Sommaire :
55. Facteurs-clés de succès
• Démarrer toute initiative Big Data par une phase exploratoire de découverte et d’appropriation des données
– En mettant en œuvre une infrastructure analytique simple et rapide à déployer
– En se concentrant sur les datas et les opportunités qu’elles présentent
57. Facteurs-clés de succès
Métier et IT doivent avancer conjointement
Métiers
• Identifier les cas d’usage
• Piloter le projet par l’usage et
l’apport de valeur
• S’approprier les données
• Expérimenter
Services IT
• Identifier les solutions
• Adapter l’infrastructure
• Réunir les données
• Expérimenter
- Travailler ensemble
- Expérimenter en lançant
la démarche exploratoire
- Initier rapidement les
premiers POC
58. Facteur-clé de succès
Impliquer les bonnes personnes
Réunir tous les métiers concernés
pour casser les silos
Obtenir un sponsoring
de haut niveau dans
l’entreprise
Impliquer tôt les
services Juridiques /
CNIL
Traiter le sujet en tant que
projet transverse à la DSI