Watch full webinar here: https://bit.ly/3EbMWSe
Le Data Mesh est un nouveau paradigme, essentiel pour la gestion des données aujourd’hui, par une approche distribuée et décentralisée, dans lequel des domaines autonomes exposent leurs propres données en tant que "produits" au reste de l'organisation. Pourquoi mettre en place un Data Mesh ? Le Data Mesh tente de réduire les goulots d'étranglement dus à une dépendance excessive des utilisateurs à des équipes informatiques centralisées, et tire parti des connaissances spécialisées en matière de données que possèdent déjà les experts métier du domaine.
La littérature sur le Data Mesh laisse la mise en œuvre de ces idées très ouverte à chaque organisation ; plus qu'une architecture figée ou une technologie attitrée, c'est une méthode d'organisation pragmatique. Le Data Mesh peut être considéré comme la face organisationnelle des architectures techniques du Data Fabric.
Participez à ce webinar pour en savoir plus sur :
- Les idées clés du Data Mesh et du Data Fabric
- Comment Denodo peut vous aider à mettre en œuvre un Data Mesh
- Comment nos clients utilisent Denodo pour passer de la théorie à la pratique
GenAI y el futuro de la gestión de datos: mitos y realidades
Simplifier la mise en place d'une stratégie Data Mesh avec Denodo
1. Simplifier la mise en
place d'une stratégie
Data Mesh avec
Denodo
Emily Sergent
Ingénieure avant-vente Denodo
2. AGENDA
1. Qu’est-ce que le Data Mesh ?
2. Denodo et l’intégration de données logique
3. Cas d’usage client : Data Mesh et Data Fabric en pratique
4. Démonstration
5. Conclusion
4. Qu’est-ce que le Data Mesh ?
▪ Le data mesh est un nouveau paradigme
architectural pour la gestion des données
▪ Proposé par la consultante Zhamak Dehghani
en 2019.
▪ Il permet de passer d'une infrastructure de
données centralisée gérée par une seule
équipe IT à une organisation distribuée de la
donnée gérée par les sachants métier
5. Quels défis relevés par le data mesh ?
1. Manque d'expertise métier dans les équipes IT centralisées
▪ Déphasage/manque de connaissance des besoins
▪ La valeur métier peut être « lost in translation »
2. Manque de flexibilité des référentiels de données
centralisés
▪ L’infrastructure de la donnée est très diversifiée et
change fréquemment
▪ Pas de plateforme de stockage et de compute « one
size fits all »
3. Manque de vitesse et d’agilité
▪ Nécessite l'extraction, l'ingestion et la synchronisation
des données dans la plateforme centralisée
▪ L’IT devient un goulot d'étranglement
6. 6
Data Mesh : les fondamentaux
Supply Chain HR
Sales
Sup
plie
r
Pro
duc
t
Part Em
ploy
ee
Offi
ce
Con
trac
t
Cus
tom
er
Pro
duc
t
Sal
e
Utilisateur
corporate
▪ Une organisation par les domaines ou unités autonomes
indépendantes
▪ Les domaines sont chargés de gérer et d'exposer leurs
propres "produits de données" au reste de l'organisation
▪ La création des produits est assurée par des experts
métier au sein de chaque domaine
▪ Les produits sont interopérables et réutilisables
▪ Les produits de données doivent être découvrables,
compréhensibles et accessibles facilement par le reste de
l'organisation
7. 7
La typologie des produits de données
Le data mesh définit trois types différents de produits de données :
▪ Source-Domain Data Products : Produits de données "natives" qui
représentent les données telles qu’elles sont représentées par les
systèmes opérationnels
▪ Aggregate-Domain Data Products : dérivés des produits ci-dessus, ils
représentent des données agrégées pour l'analyse. Ils peuvent provenir
de plus d'un seul produit de données source-domaine et livrer de la
donnée de plusieurs domaines
▪ Consumer-Aligned Data Products : produits de données définis pour les
besoins spécifiques d’un cas d’usage
Sup
plie
r
Pro
duc
t
Part
8. Une plateforme de données en libre-service
▪ La création, la sécurisation, le déploiement, le contrôle et la gestion d’une
plateforme peuvent être complexes
▪ Libre-service : mise en place centralisée par IT, création et gestion
déléguées aux domaines
▪ Capacité d'automatiser/simplifier :
▪ L’interopérabilité des données
▪ Les politiques de sécurité et la gestion des identités
▪ L'exposition dans des formats standards aux outils transverses
▪ La publication et la documentation dans un catalogue central
9. 9
Gouvernance computationnelle fédérée
Les « produits de données » créés par les différents domaines
doivent interopérer afin de répondre aux nouveaux besoins :
▪ Pour être joints, agrégés, corrélés, etc.
Cela nécessite un accord :
▪ Sur la sémantique des entités communes (par exemple,
client, produit),
▪ Sur les formats des types de champs (par exemple, numéro
d’identité, identifiants d'entités, etc.),
La gouvernance, quand elle est possible, est appliquée
automatiquement (« gouvernance computationnelle » =
gouvernance automatisée)
10. 10
Sécurité
Gérée globalement et intégrée à votre infrastructure de
sécurité existante :
▪ La sécurité doit être appliquée à l'échelle
globale, conformément aux réglementations et
aux politiques applicables
▪ Mais attention, les domaines gardent le contrôle
sur la sécurité de leurs données aussi !
11. 11
Data Fabric (Tissage) : un approche décentralisée et automatisée
Source: Forrester Enterprise Data Fabric
Wave, June 2020
Source: Demystifying the Data Fabric Gartner,,
September 2020
Gartner décrit la Data Fabric comme "un modèle d'architecture qui informe et
automatise la conception, l'intégration et le déploiement d'objets de données,
indépendamment des plateformes de déploiement et des approches
architecturales."
12. 12
De la Data Virtualization au Logical Data Fabric et au Data Mesh
Data Fabric (Tissage)
Compounds Customers Products Claims
RDBMS/OLTP
Flat Files
Third Party
Legacy
Mart
Traditional Analytics/BI
Data Warehouse
Mart
ETL ETL
Data Lakes Cloud Data Stores Apps and Document
Repositories
XML • JSON • PDF
DOC • WEB
Le Logical Data Fabric est un modèle d'architecture pour la livraison de données, qui intègre,
automatise la conception et la livraison, et fournit des objets de données indépendamment des
plateformes de déploiement et de l'emplacement des données (hybride, multi-cloud). Cette approche
permet de déployer simplement le modèle organisationnel du Data Mesh.
14. 14
Les approches d'intégration de données point à
point sont difficiles :
• L'extraction et le déplacement des données
augmentent la latence et le coût, et diminuent
la qualité.
• Chaque projet résout la question de l'accès aux
données et de leur intégration d'une manière
différente.
• Les solutions sont étroitement liées aux sources
de données, ce qui nuit à la flexibilité et à
l'agilité.
Un paysage complexe DATA
SOURCE
DATA
CONSUMER
Data
Governance
Tools
DB, DW &
Data Lakes
Files
BI Dashboard
Report and Tools
Data Science &
Machine Learning
Apps
Mobile &
Enterprise Apps
Microservices
Apps
Cloud DB
& SaaS
Streaming
Data & IoT
Cube
16. 16
Denodo : Une plateforme d’intégration logique
Hybrid/
Multi-Cloud
Security &
Governance
Al/ML
Recommendations
Query
Optimization &
Acceleration
Advanced
Semantics
Data Catalog
Discover / Explore /
Document
BI Tools
SQL / MDX
Data Science
Tools
Data as a Service
RESTful / OData
GraphQL/ GeoJSON
Files
Cubes
Data Lake &
NoSQL
Cloud
Stores
Traditional
DB & DW
Files
INTEGRER
GERER
LIVRER
Données disparates en
tout lieu, sans latence
ou dépendance du
format
Données avec un modèle
sémantique universel et une
fonctionnalité IA / ML permettant la
gouvernance des données vitales.
et démocratiser les données à l'aide
d'outils d'intelligence artificielle et de
science des données, de catalogues
de données et d'API
17. 17
L’architecture technique de Denodo
Denodo est une couche d’intégration
qui se situe entre les sources de
données et les consommateurs de la
donnée
La plateforme stocke
uniquement les métadonnées
Se connecter comme à une base de
données relationnelle unifiée via
SQL (JDBC/ODBC)
Les données sont également mise à
disposition via les APIs REST, OData,
et GraphQL
Avec plus de 150 connecteurs, il y a
une prise en charge de données
provenant de diverses sources,
formats et protocoles
18. 18
Lecteur DVD
Streaming
Vidéo Club
Vidéo Club
Livraison digitale
Livraison digitale
Multi-format
Stockage physique
Stockage physique
digital
Cloud à domicile
A la demande sur tous
les appareils
Les utilisateurs de la données ont des besoins similaires : un accès direct et
permanent aux données pour tous leurs outils selon chaque format
Magnétoscope
A domicile avec
planification
+ petit, des bonus
+ de stockage
+ meilleur qualité
+ Dématérialisé
+ Catalogue
+ Recommandations
+ Compte famille
(gouverné)
+ Catalogue étendu
Comprendre l’approche logique
VOD
19. 19
Denodo : Une plateforme unique d’intégration de la donnée
Une approche logique à l’intégration, la gestion et la livraison
SOURCES CLIENTS
TOUTES PLATEFORMES TECHNIQUES
On-Premise | Cloud | Multi-Cloud | Containeurisées
DB, DW &
Data Lakes
Cloud DB
& SaaS
Streaming
Data & IoT
Cube
Advanced Semantics
& Active Data
Catalog
Unified Security &
Governance
Real-time Data
Integration
Smart Query
Acceleration
AI/ML Recommendations
& Automation
Logical Data
Abstraction
Data
Governance
Tools
BI Dashboard
Report and Tools
Data Science &
Machine Learning
Apps
Mobile &
Enterprise Apps
Microservices
Apps
Fichiers
20. 20
Denodo : Une plateforme unique d’intégration de la donnée
Une approche logique à l’intégration, la gestion et la livraison
SOURCES CLIENTS
TOUTES PLATEFORMES TECHNIQUES
On-Premise | Cloud | Multi-Cloud | Containeurisées
DB, DW &
Data Lakes
Cloud DB
& SaaS
Streaming
Data & IoT
Cube
Vues
de
base
Intégration
&
couche
sémantique
Consommation
API
Data
Governance
Tools
BI Dashboard
Report and Tools
Data Science &
Machine Learning
Apps
Mobile &
Enterprise Apps
Microservices
Apps
Fichiers
21. 21
Le Data Mesh avec Denodo
Produit de
données
• Métadonnées +
transformations
• Standardisation
• Documentation
• Taguage des données
sensibles
• Connectivité
• Socle technique
• Accès et sécurité
centralisés
• Audit et monitoring
• Libre-service, via multiples
formats et modèles de
livraison
BI & Analytics
JDBC/ODBC
Apps & APIs
REST/OData/GraphQL
Libre-service
Data Catalog
23. 23
Institution financière de référence dans le
Midwest des États-Unis
• Plus de 200 milliards de dollars d'actifs
• Gestion de plus de mille centres
bancaires à service complet et de plus de
deux mille 2 369 guichets automatiques
dans dix États
Cas client : Grande banque américaine DATA
MESH
LOGIQUE
24. 24
Constats d’avant la mise en place d’un
data mesh :
• Les analystes passaient 70% de leur
temps à chercher les données contre
30% à travailler avec les données
• Accroissement constant du temps et
des ressources dédiés aux tâches
réglementaires
• Souhait de moderniser leur
architecture tout en assurant la
disponibilité continue
Cas client : Grande banque américaine
Bénéfices :
• Un point de départ sur l’infrastructure de
données existante pour sécuriser la migration à
venir
• Mise en place de la métadonnée sur un modèle
transverse pour faciliter la gouvernance
• Transfert de responsabilité de la donnée vers les
domaines pour améliorer la qualité et la
pertinence de la donnée
• Mise en place d’un projet client 360° avec une
livraison API
• Reduction du temps de recherche des données
par 50%
DATA
MESH
LOGIQUE
25. 25
• Un retailer de mobilier et décoration fondé en
1971 et basé en Floride aux Etats-Unis
• Plusieurs marques dont HomeStore et Ashley
Furniture
• Modèle de vente hybride avec une partie
en-ligne et un réseau de magasins physiques
Cas client : City Furniture DATA
FABRIC
LOGIQUE
26. 26
• Une couche unique d’accès aux
données pour plusieurs outils
analytiques, assurant des calculs
standardisés de référence
• Enrichissement et contextualisation
des données Google Analytics pour
élargir la compréhension et la vision
• Livraison via APIs pour ouvrir de
nouveaux cas d’usage : détection de
fraude et la gestion de stock
Cas client : City Furniture DATA
FABRIC
LOGIQUE
27. 27
Première institution financière en Islande
• 40% Part de marché Banque des Particuliers
• 33% Part de marché Banque des Entreprises
• Meilleures notes de risque ESG parmi les
banques européennes (Sustainalytics 2021)
• Meilleure banque aux cotes de satisfaction
des consommateurs islandais (Ánægjuvogin
/ Stjórnvísi 2021)
Cas client : Landsbankinn
DATA
MESH
LOGIQUE
28. 28
Année 0 : Avant Denodo
SAS environment
28
KPI DB Source DBs New DWH Old DWH Markets DB
Views
BO
reporting
Self-service
BI
PDF
statements
MS Office
Integration
Views
Views
Views
General Reporting
KPI
Self-Service
data
Analytics
Reports
Analytics
Server
Risk Reporting
Monitoring / Audit Business security
Business rules
Board
Other DBs
SAP BO Semantic Layer
Data
Sources
Semantic
Layer
Trop de points d’accès
• Des technologies hétérogènes
• Systèmes sources complexes
Règles métier dispersées
• Couches sémantiques en BI
• Logique métier dans les vues DB
De nombreux points de contrôle
d'accès
• Des points d'audit partout
• Chaque système a son propre
contrôle d'accès
DATA
MESH
LOGIQUE
29. 29
Année 1 : Le data warehouse logique
KPI DB Source DBs New DWH Old DWH Markets DB
BO
reporting
Self-service
BI
MS Office
Integration
General Reporting
KPI Self-Service
data
Analytics
Reports
Analytics
Server
Risk Reporting
Board
Other DBs
Data
Sources
Logical Data Warehouse w/ Denodo
Monitoring / Audit Business security
Business rules
PDF
statements
Point d’accès unique
• « Besoin de données ? LDW a la
réponse !
• Pour les rapports, les analyses, les
API, …
Point de vérité unique
• Référentiel de logique métier
• Lignée disponible
Point de contrôle d'accès unique
• Accès unifié aux données
• Point unique d'audit
DATA
MESH
LOGIQUE
30. 30
Années 2 et 3 : Expansion et modernisation
30
BO
Reporting Tableau
RestWS to
Excel
General Reporting
KPI
Self-Service
data
Analytics
Reports
Analytics
Server
Risk Reporting
Board
Data
Sources
Logical Data Warehouse w/ Denodo
KPI DB
Source
DBs
New
DWH
Old
DWH
Markets
DB
Other
DBs
Flat files
Excel
SaaS
REST
SOAP
WWW
Customers
Domains
Operational
systems
Monitoring / Audit Business security
Business rules
Customer
statements
DATA
MESH
LOGIQUE
Ajout de consommateurs de
données
• Tableau
• REST / API REST
Ajout de plus de sources de
données
• Où ETL n'est pas nécessaire
• Lorsque l'historique est fourni dans la
source
Pipelines de données logiques
• Réduit le nombre de tâches ETL
• EDW obtient des données de LDW
31. 31
Année 4 : Implémentation d’un Data Mesh
Source
system
Base
Data Mesh
Domain A
developer
Business
systems
LDW
developer
LDW
Requests
(interface contracts)
Shares Combines
Domain B
developer
Requests
(interface contracts)
Publication
Data Mesh
Publishes
LDW
Un processus simplifié
• Domaines dotés d'un espace de développement
• Les développeurs LDW combinent les vues
• Les domaines publient des données
• Les systèmes opérationnels accèdent aux
données
Modélisation « top-down »
• Utilisation des vues d'interface (contrats de
données)
DATA
MESH
LOGIQUE
32. 32
Année 4 : Le Data Mesh révèle sa valeur
32
Savings
domain
Loans
domain
Cards
domain
Claims
domain
EDW
domain
LDW
developer
CRM Loan Online bank
DATA
MESH
LOGIQUE
Déléguer la gestion des données aux domaines
• Les données sont entre les mains de leur créateur
• La fiabilité de la donnée est augmentée
Donner une meilleure vue d'ensemble du pipeline
• Cycle de vie des vues géré par le développeur source
• Raccourcir le « time to value » de la donnée
Réduire les pipelines de données
• Moins de tâches ETL
• Plus d’agilité et de flexibilité
36. 36
Depuis 1999, nous nous concentrons sur l'intégration, la gestion et la livraison des données.
Denodo: Leader en gestion de la donnée
DENODO
Présence mondiale - 30 bureaux dans 23 pays ; +600
employés.
Nouveaux bureaux Pays-Bas, Belgique, Suède, Corée du
Sud en 2021, Thaïlande en 2022.
CLIENTS et PARTENAIRES
+ 1000 clients, dont de nombreuses sociétés F500 et
G2000 dans tous les grands secteurs d'activité.
+ 300 partenaires actifs et engagés, dans le monde
entier
FINANCES
+50% de croissance annuelle depuis 7 ans
108% de rétention nette
0 $ de dette ; rentable
Leader : Quadrant magique de Gartner
pour les outils d'intégration de données,
2021
Leader : Vague 2020 de Forrester -
Enterprise Data Fabric, Q2 2020
Leader : Forrester 2017 Wave - Data
Virtualization, quatrième trimestre
2017.
LEADERSHIP
Gartner Customers’ Choice: 2022
Gartner Peer Insights for Data Integration
Tools (2nd year in a row)
37. 37
Denodo Reconnu Comme Leader 2022, pour la troisième année consécutive
- Gartner Magic Quadrant for Data Integration
Tools, August 2022
D’ICI 2023, LES ORGANISATIONS
UTILISANT LES DATA FABRICS
POUR DYNAMIQUEMENT SE
CONNECTER, OPTIMISER ET
AUTOMATISER LES PROCESS DE
DATA MANAGEMENT REDUIRONS
LEUR TEMPS D’INTEGRATION ET
DE LIVRAISON DES DONNÉES
D’AU MOINS 30%.”
“Denodo fournit à ses
clients les capacités
nécessaires pour
automatiser la conception
d’une Data Fabric avec
ses composants - un
catalogue sémantique des
données unifié, un moteur
d'optimisation des
requêtes et des
algorithmes de ML basés
sur les métadonnées.
La conception de son
modèle de données
repose sur la
Virtualisation des
Données pour fournir
rapidement des données
intégrées aux utilisateurs
afin d'obtenir des résultats
plus rapides”
38. 38
Evaluations Forrester Research
A la pointe du secteur du Data Management
Forrester Wave : Virtualisation des données d'entreprise,
quatrième trimestre 2017
Forrester Wave : Enterprise Data Fabric, Q2 2022 IDC : Data Catalog MarketSpace 2022
39. 39
Gartner Peer Insights "La voix du client" : Outils d'intégration de données ; Publié - 28 janvier 2022
Denodo - Choix des clients 2022, pour la deuxième année consécutive
▪ Denodo est l'un des trois seuls leaders MQ à avoir été désigné comme le choix
des clients parmi les 18 fournisseurs figurant dans le rapport.
▪ Avec une note globale de 4,4 sur 5,0, Denodo est le troisième fournisseur
d'intégration de données le mieux noté de tous les temps.
Gartner Peer Insights "La voix du client" : Data Integration Tools, 28
janvier 2022
« Très bonne expérience. Le logiciel fournit les
fonctionnalités qui sont décrites sur la fiche produit
avec un très haut niveau de professionnalisme. Il
contribuera à la création d'une culture des données
plus forte en facilitant l'accès aux données pour les
utilisateurs métiers. »
- Directeur des données, industrie de l'énergie, 30 milliards de dollars
de revenus annuels
40. 40
+1000 clients, dont de nombreuses entreprises du Fortune 500 et du Global 2000, +30 secteurs d'activité.
Sélection de clients de référence dans les principaux secteurs d'activité
Services Financiers
Santé
Production
Assurance
Detail
Pharma / Biotech
Technologie
Secteur Publique
Telecommunications
Energie
41. 41
3rd Party
Connectors
Data Science / Prep Tools
Alliances Technologiques - Ecosystème
MDM & DQ Tools
Data Governance Tools
Cloud Service
Providers
Big Data/NoSQL Sources
HDInsight
BI & Reporting Tools
Data Modeling Tools
Security & Privacy
Traditional Data Sources
SaaS/Cloud Applications
Cloud Data Warehouses
API Management / ESB
42. 42
Prochaines étapes
Essayez Denodo avec vos propres données
Denodo Express
• Version « standalone » allégée
• Disponible sur denodo.com
Evaluation guidée
• Méthodologie POC
Denodo Standard
Free Trial
• 30 jours d’essai
• Disponible via denodo.com