Gestion des données de référence client : Révéler pleinement le potentiel de vos Big Data

1. Gestion des Données de Référence Client
Eric HUBERT, Consultant Solution
Customer Information Management Europe
Révéler pleinement le potentiel de vos Big Data
DATA FORUM MICROPOLE

2. Pitney Bowes
Localiser vos opportunités
et vos risques
Communiquer et créer de
la valeur à chaque point de
contact
Identifier, connectez et
gérez les données Client
pour favoriser l’intelligence
opérationnelle

3. Spectrum® est une plateforme centralisée consitutée d’un ensemble de capacités uniques permettant de
mettre en oeuvre rapidement des vues uniques contextuelles centrées Client à travers une organisation
Data Quality
and Integration
Master Data
Management and
Information Governance
Customer Analytics
and Visual Insights
Identifier

4. Véracité
Big
Data
Vitesse
Véracité
VariétéValeur
Volume
Les 5 V du Big Data

5. Intrinsèque
•Exactitude
•Cohérence
•Crédibilité
•Sources
Disponibilité
•Accessibilité
•Sécurisation
•Traçabilité
•Audit
Représentation
•Interprétation
•Compréhension
•Intégrité
•Consistance
Contexte
•Pertinence
•Exhaustivité
•Complétude
•Fraicheur
•Durée de vie
Véracité
Data quality framework (*)
(*) Source : Wang, R. Y., & Strong, D. M. (1996) - JMIS
Beyond Accuracy: What Data Quality Means to Data Consumers
La véracité des données
représente le principal défi
des Big Data.
Le manque de maitrise de
leur qualité conduit à des
analyses erronées.

6. Illustration Contexte / Durée de vie
4% par an
415 000
~3 000 000 par an
198 000
2074 depuis le 01/2016
Chiffres France 2014 - Source: INSEE, Ministère de la Justice, La Poste
62 000

7. PII - Problèmes fréquemment rencontrés
ID Nom Adresse Ville CP Tel Email
C146 崴 毛 西山台6-20-4 589-0022 0617-555-000 huali@@yaho.com
W123 Mme Durieux 8 rue Ruisseau Nanets 44100 0617555000 mdurieux@gmail.com
R423 Durieu - Prax 8 10 rue Rousseau 44 06175329550 prax@yahoo.com
M979 Durieux SR Conseil 18 R de Courcelles Paris 06175329550
WEB
Nomsmultiples
Mix contacts B2C/B2B
Adresse incorrecte
Erreurs typographiques
Doublons
Valeurs manquantes
Champs mal renseignés
Formatsnon standards
Syntaxe et domaine
invalidesScripts non homogènes

8. De la mise en qualité à la Vision Unique Client
ID Nom Adresse Ville CP Tel Email
C146 崴 毛 西山台6-20-4 589-0022 0617-555-000 huali@@yaho.com
W123 Mme Durieux 8 rue Ruisseau Nanets 44100 0617555000 mdurieux@gmail.com
R423 Durieu - Prax 8 10 rue Rousseau 44 06175329550
M979 Durieux SR Conseil Nantes 06175329550
WEB
GUID Nom Adresse Ville CP Tel Email
1 崴 毛 西山台6-20-4 大阪狭山市 589-0022 0617-555-000 huali@yahoo.com
2 DURIEUX 8 RUE DU RUISSEAU NANTES 44100 0617555000 mdurieux@gmail.com
Normalize, Match, Merge

9. Data Source 1 Data Source 2 TransactionsData Source 3
Lieux Lieux
Clients
Lieux
Clients
Produits Produits Produits
Processus
métier
Clients
Processus
métier
Processus
métier
Processus
métier
WWW
Vision Unique
Client
Normalize
Match
Merge
De la mise en qualité à la Vision Unique Client

10. Big Vision Unique Client
Connectors
Non-native
Embedded
Embedded &
Optimized
Native

11. Spectrum Big Data Quality SDK
Transforme & Package les composants Data Quality
& Address Quality dans un SDK pour les
plateformes Hadoop
Le SDK fournit:
– Des APIs d’integration de fonctions DQ
(matching, parsing, Address Validation
etc.)
– Les éléments de configuration incluant -
options, metadonnées d’E/S, builder APIs
Types d’APIs:
– Pre-built Map-reduce wrapper APIs pour
les operations de DQ
– Core AQ/DQ APIs avec des exemples de
programmes MR, Spark, Hive
– Extended Hive UDF
Matching / De-Duplication
Parsing
Address Validation
Hadoop MR Spark … Sample MR
Sample Spark
Sample Hive
Reporting
Spectrum Big Data Quality SDK
Utility tools
Reference Data
Client’s Application
Client’s Distributed Cluster
Client Job Controler
Big Data Quality

12. Spectrum Big Data Quality SDK supporte les
implementations MapReduce, Hive UDF et Spark
Module Features
Data Normalization
• Table lookup
• Advance transformer
• Open parser
Name parsing
• Global name parser
• Name / nickname / alias dictionary
Address Validation • Global address Validation support for 240 countries
Match / Merge
• Match key generator
• Match intraflow / Interflow
• Match Transactional
• Merge - Best of breed
• Merge - Duplicate synchronization
• Merge - Filter
Big Data Quality
Few minutes
1 hour
Traditional Spectrum
Spectrum Big Data

13. Big Data Quality
Exemple Hive UDFs de Vision Unique Client incluant normalisation d’adresse
et matching Nom & Adresse
Select * from table1; Select *,match(Nom, Adresse, CP, Ville) from table1;
Nom Adresse CP Ville
崴 毛 西山台6-20-4 589-0022
Mme Durieux 8 rue Ruisseau 44100 Nanets
Durieu - Prax 8 10 rue Rousseau 44
…
Nom Adresse CP Ville Match
崴 毛 西山台6-20-4 589-0022 Collection1
Mme Durieux 8 rue Ruisseau 44100 Nanets Collection2
Durieu - Prax 8 10 rue Rousseau 44 Collection2
…
BDQ SDK
(Hive UDF)
Reference
Data
Match
Rules

14. Où êtes-
vous ?
Que se passe-t-il
autour de
vous ?
Que faites-
vous ?
Qui se
trouve
avec vous ?
Quelles sont
vos attentes ?
Qu’est-ce qui
suscite votre
intérêt ?
Contexte
Valeur
Fidélisation
Opportunité
Satisfaction
Fidélisation
Part de portefeuille
Rentabilité
Besoins
R-F-M
Attitudes
Persuasion
Risque de crédit
Informations
Activités
Historique des transactions
Activités sur les réseaux
sociaux
Achats, paiements, factures,
relevés
Historique de l’engagement
Historique marketing
Historique du service
Requêtes, tickets, réclamations
Appels, e-mails, SMS, parcours
Web, visites en magasin
Posts, visites, J’aime, récompenses
Consentements
Offres, réponses, bons de
réduction
Relations
Foyer
Lieux
Organisationnelle
Médias
Adhésions
Individu
Profil principal
Identité
Nom
Âge
Sexe
Emploi
…
La Vision Unique Client renforce la Véracité de vos
Big Data

15. Persistance des données de référence en base graphe
G=(V,A)
Lieux Consentements
Réseaux sociauxRelations
Sources

16. MDM Traditionnel MDM Agile
Modèles de données rigides Modéles agiles
Projets IT complexes Démarche itérative et incrémentale
Disruptifs Capitalisation sur les infrastructures/processus existant
Vue mono dimensionnelle Vues multi-dimensionnelles pour une utilisation contextuelle
Focus données Focus usage des données
Compréhension et agilité de notre Master Data Hub

17. Compréhension et agilité de notre Master Data Hub
Le graphe permet de gérer naturellement les hyper-connections ainsi que les
hierarchies présentes dans les données de référence
- Groupes
- Hiérarchies
- Data lineage
- Traçabilité
- Versioning
Graphe de
metadonnées Client
Graphe de
données Client

18. Cloud
Mobile / UX
Big Data
Analytics/
Machine Learning
Recommandation temps reel
Influenceurs
Gestion des risques
Gestion de la fraude
…
Et si vous libériez la puissance de vos Données Client ?
Communauté
Influenceurs

19. “what if you change the underlying
repository to a graph? It immediately
changes the mindset and strategy of
MDM from systems to views”
“MDM tools today don't look like your
father's MDM”
“suppliers are using graph
databases to help to understand the
relationships between customers and
products and influencers”
“Re-imagine Master Data
Management - With Graph
Databases”
MDM de nouvelle génération

20. Nous pouvons vous aider pour le RGPD

21. Solutions Pitney Bowes pour la mise en œuvre du RGPD
Discover
Génération automatisée de
l’inventaire des données de
votre organisation
Prepare
Constitution d’une vue unifiée
des données d’identification
et de consentement pour
faciliter l’accès et la MAJ
Act
Gérez les droits d'accès, de
rectification, d’opposition
et le consentement

22. Addresse IP
Numéro Sécurité sociale
Dossier de santé
Biometrique
Téléphone
Adresse postale
Nom Client
Données de localisation
Religion
Date de naissance
Cookies Web
Données RFID
Addresse Email
Historique de navigation
N° de passport
Sexe
Identifant fiscal
RIB
Profession
Age Historique de communications
Comment identifier les données à caractère personnel ?

23. Variante Nom du champ
Nom complet Numéro_De_Sécurité_Sociale
Abréviation NSS, NIR, NIRPP
Mot Secu
Nom alternatif ID_INSEE
Nom arbitraire Identifant_National
Nom ambigu SNUM
À l’aide des “meta-données”
Comment identifier les données à caractère personnel ?

24. Variante Contenu du champ
nnnnnnnnnnnnn 1720731556073
nnnnnnnnnnnnn-nn 1720731556073-19
n-nn-nnnn-nnnnnn 1-72-0731-556073
nnnnnnnnn / padding Durand, 1720731556073
4 champs 1| 72 | 0731 | 556073
Masqué partiellement 1****31556073
A l’aide des données elles-mêmes
Comment identifier les données à caractère personnel ?

25. Le Data Discovery permet de scanner des
millions de champs de tables ou de
documents pour générer la « cartographie »
des données à caractère personnelle d’une
organisation ainsi qu’une documentation
complète sur les meta-données et les
données
La Classification des Données permet de
définir des domaines de données et de
répertorier pour chaque domaine les
données identifiées
Inventaire des données

26. Adresse postale
Civilité
Email
Nom de famile
Permis de conduire
Nom
Sexe
Profession
Date de naissance
Prénom
Restitution cartographique

27. Data Source 1 Data Source 2 Data Source 4Data Source 3
Consentement
Prospects
Processus
métier
Clients
Processus
métier
Processus
métier
Processus
métier
WWW
Vision Unique
Consentements
Registre /
Consolidation
Consentement
Prospects
Clients
Consentement
Prospects
Clients
Consentement
Clients
De l’inventaire au registre des données de consentement

28. Digital channels
Web, Apps, Email,
Display,…
Contact centre
Physical
channels
Stores, Mails
Existing
Consent
CRM,…
Consumer opt in
/ opt out
interface
Consumer Data
Access nterface
Marketing &
advertising systems
Contact systems
In-Store, Contact Centre
Personalisation
systems
Website, Apps
Analytical systems
Client Master Data
& Consent Data
Vue Unique Consentement

29. Vue Unique Consentement - Modèle

30. Vue Unique Consentement – Instanciation du modèle

31. Déploiement d’un portail RGPD
Vérification d’identité
Accès, rectification,
opposition

32. Plate-forme unique / Approche modulaire
Data Integration
Extract, Transform, Load
Big Data Connectors
Data Federation
Business App Connectors
Workflows
Data Quality
Entity Extraction
Data Parsing and Standardization
Global Name Recognition
Global Address Verification
Matching and Linking
Data Enrichment
Data Governance
Data Discovery
Data Profiling
Data Stewardship
Data Monitoring
Data Mastering
Persistent Knowledge Graph
Agile Modeling
Complex relationships
Social Network Analysis
The Pitney Bowes Spectrum™
Technology Platform
CLUSTER ARCHITECTURE SOA ● CLIENT APIs ●
BATCH ● WEB SERVICES

33. Merci
https://www.pitneybowes.com