Watch full webinar here: https://bit.ly/3LL1IRM
Vous vous trouvez confronté à des architectures de données de plus en plus complexes, avec des sources de données allant des sources legacy aux nouveaux systèmes de stockage cloud. Pour adresser cette complexité croissante, votre réflexe est peut-être de s'appuyer sur un outil unique : l'ETL. Mais le processus lourd de réplication que cela implique est-il nécessaire ou souhaitable pour toute problématique d'intégration de la donnée?
Lors de ce webinar, nous vous proposons de découvrir comment la data virtualization fournit un accès rapide et facile à des données qui ne nécessite pas la création de pipelines et de tâches de réplication. Nous parlerons des avantages et des pièges de l'ETL et montrerons en quoi la data virtualization est une meilleure alternative à l'ETL dans de nombreuses circonstances : pour simplifier et accélérer une migration, renforcer la sécurité, promouvoir les initiatives de self-service, ou livrer les données à des projets de digitalisation.
Les points clés abordés :
- La data virtualization et les outils d’ETL peuvent-ils fonctionner ensemble ?
- La data virtualization peut-elle vous faire gagner du temps et de l'argent sur le stockage des données ?
- Vos outils ETL sont-ils capables de gérer les volumes et les types de données complexes d'aujourd'hui ?
GenAI y el futuro de la gestión de datos: mitos y realidades
J'ai déjà un ETL, pourquoi aurais-je besoin de la Data Virtualization?
1. J'ai déjà un ETL, pourquoi aurais-je
besoin de la Data Virtualization ?
Emily Sergent
Ingénieure avant-vente,
Denodo
2. 2
La donnée, un paysage qui se complexifie
Staging (ODS) Entrepôts
(DWH et Datamarts)
Reporting
(système unique)
Systèmes
opérationnels
(ERP, CRM…)
Systèmes
analytiques
spécialisés
BW
HANA
Data Lake
ETL ETL
Source
unique
Raw zone Trusted Zone Refined Zone
Source
3. 3
En quête de flexibilité
Un ETL est fait pour transformer et restocker la
donnée dans un nouveau format et dans un
nouveau système.
Mais dès que les besoins ou la réalité technique
évoluent, un ETL peut s’avérer fragile et
difficile à adapter.
Considérer l’effort nécessaire pour :
• Intégrer une nouvelle source de données
• Migrer vers le cloud
• Augmenter la fraîcheur de la donnée ou
passer en temps réel
4. Les limites d’un ETL
En plus, L’ETL n’adresse pas certaines
problématiques courantes de l’intégration
de donnée :
• Modélisation/couche sémantique
• Abstraction et flexibilité pour mettre en
place différentes formes de stockage ou
assurer une migration
• Livraison en multiples formats pour
différents consommateurs (Analytique,
Data Science, API…)
• Sécurité
• Contextualisation, exploration, accès à la
donnée en libre service
5. 5
La multiplication des silos
Streaming
Analytics Data Warehouse
Data Warehouse
Appliance
Product Customer
Asset
Master Data
Management
Cloud Data
Platforms
Graph Database
Advanced
Analytics
Analytical
Tools/Apps
Analytical
Tools/Apps
Analytical
Tools/Apps
Analytical
Tools/Apps
Analytical
Tools/Apps
Analytical
Tools/Apps
Analytical Models
Tools/Apps
Data
Integration
Tools and
Scripts
Data
Integration
Tools and
Scripts
Data
Integration
Tools and
Scripts
Data
Integration
Tools and
Scripts
Data
Integration
Tools and
Scripts
Data
Integration
Tools and
Scripts
Silo Silo Silo Silo Silo Silo Silo
Streaming Data Structured and
Multi-Structured
Data
Multi-Structured
Data
CRM and
customer
interactions
CRM
ERP
SCM
CRM
ERP
SCM CRM
ERP
SCM
Structured Data Structured Data Master Data
Management
6. • « Casser » peut ignorer la réalité : certains silos sont nés
d’une nécessité technique ou fonctionnelle :
• BUs séparées ou sociétés issues des fusions ou
d’acquisitions
• Domaines métiers
• Cloud/multi-cloud/on-prem
• Contraintes réglementaires
• La réplication n’est pas toujours pratique ou même
possible, et peut nuire à la fiabilité et complexifier la
gouvernance
• Les ETL/ELTs gardent leur utilité… mais ce n’est pas la
seule option pour l’intégration de la donnée
Monolithes vs. silos ?
75% de la donnée stockée
n’est pas utilisée
90% des requêtes concernent
des données en temps réel
7. 7
Trois axes d’organisation
Data Mart
Data Science
Governance
▪ On constate trois axes
d’organisation : fonctionnel,
physique, et accès/usage
▪ Une couche virtuelle permet de
limiter l’adhérence entre les choix
organisationnels et de maximiser
la flexibilité
Access/Usage
API
8. 8
La virtualisation de données : une intégration flexible à la demande
Connecter
✓ Accès en temps réel à des sources de données variées
✓ Tirer parti de la puissance des technologies existantes
✓ Maîtriser la complexité des formats de stockage et des
protocoles d’accès
Combiner
✓ Construire des vues qui ciblent les besoins et cas d’usage métier
✓ Accès à la demande à travers un optimiseur de requêtes
✓ Gouvernance et sécurité appliquées de manière transparente
Consommer
✓ Accès SQL et multidimensionnel : JDBC/ODBC et MDX
✓ Data Services : SOAP, REST, OData, GraphQL
✓ Libre service et exploration : Data catalog intégré
9. 9
Plateforme de virtualisation de données Denodo
Vues
de base
Vues
standardisées
Vues métiers
Sécurité, couche sémantique et optimiseur de requêtes
Sources
de données
Consommateurs
10. 10
Vers une architecture logique
▪ Une architecture distribuée : Les données
résident dans plusieurs systèmes, on-prem ou
dans le cloud
▪ Une architecture logique : Les consommateurs
accèdent aux données via des modèles
sémantiques, découplés de l'emplacement des
données et des schémas physiques
▪ Quelques exemples d’architectures de données
logiques :
▪ L’entrepôt de données logique ou « Logical Data
Warehouse »
▪ Le Data Fabric
▪ Le Data Mesh
11. 11
La Data Virtualization dans un Logical Data Warehouse
Couche
d’accès et
d’abstraction
Modèle
sémantique et
gestion des
metadonnées
Sécurité et
gouvernance
centralisées
Stratégie
d’ingestion
Fournisseur d’API
REST, OData et
GraphQL GeoJSON
13. Un ETL réplique et achemine la donnée, laissant la sécurité
et la gouvernance à d’autres outils. La virtualisation de
données, par son rôle clé d’accès à la donnée, renforce la
sécurité et permet une gouvernance centralisée.
• Contrôle d’accès basé sur les rôles (RBAC) pour
implémenter des règles d’accès indépendamment de la
source et des consommateurs
• Règles d’accès flexibles : sur les vues, les lignes, les
colonnes, et les valeurs avec un masquage avancé
• Intégration avec votre environnement : AD/LDAP,
Kerberos, SAML, OAuth 2
• Audit complet de tout accès à la donnée à travers la
plateforme
• Documentation de métadonnées centralisée avec
lineage intégrée
Gouvernance et sécurité
15. 15
Cas d’usage client
✓ Fournisseur d’intelligence métier aux
acteurs de l’industrie pétrolière :
données minières, rendements,
prospection géologique
✓ Il a fallu jusqu'à deux semaines pour
fournir aux clients les données
gouvernementales
✓ Remplacement de l'ancien système
basé sur l'ETL par une plateforme de
virtualisation des données.
✓ Equipe DV de 1.5 personnes
(développeur + admin mi-temps)
16. Jay Heydt, Manager, DrillingInfo (Enverus)
As a data and business intelligence provider, one of our biggest
challenges is the need to rapidly sell the data that we acquire. The
Denodo Platform enables us to build and deliver data services to our
internal and external consumers within 3-4 hours instead of the 1-2
weeks that would take with ETL."
17. 17
Cas d’usage client
✓ Entreprise biopharmaceutique mondiale
qui cherche à transformer la vie des
personnes atteintes de maladies graves en
neurologie et en immunologie
✓ Cas d’usage centrés sur la donnée, tels
qu'une vue à 360 degrés du patient,
tendances de recrutement, l'allocation
efficace des ressources, etc.
✓ Réduction de l'empreinte ETL
✓ Développement rapide dans le cadre de
l'initiative DevOps
✓ 6 cas d’usage implémentés en une seule
année et d'autres à venir
Sources de données
Netezza
MyAccess
SQL Server
DATA
VIRTUALIZATION
Consommateurs de la donnée
Couche d’accès
18. 18
Cas d’usage client
✓ Fondée en 1983, Prologis fournit des solutions
logistiques immobilières partout dans le monde
✓ Modernisation de l’infrastructure de données
avec une migration cloud, sans temps d'arrêt
prolongés des systèmes existants
✓ Reduction de la complexité ETL et des sources de
données monolithiques ; réintégration des données
issues des modèles data science
✓ Migration progressive et simplifiée vers Snowflake
✓ Accélération estimée à 30% des projets analytiques
19. 19
Cas d’usage client
✓ Besoin : un portail centralisé pour les
techniciens des centres d'appels
✓ Accès aux données internes (CRM,
gestion des incidents, état du réseau,
etc.) et externes (fournisseurs
logistiques, etc.) à partir d'un seul outil.
✓ Réduction de 50 % de la charge de
travail de l'équipe de back-office
✓ Amélioration de la satisfaction des
clients de 94%
21. 21
Le catalogue de données Denodo
Un catalogue de données intégré pour fournir un accès en libre service bâti sur la couche sémantique universelle
Catalogue dynamique qui donne accès aux entités métiers, leur
description et leur contextualisation ainsi que leur contenu
Gouverner – Contrôler et auditer l’accès à la donnée au niveau fin et
de manière centralisée
Décrire – Contextualiser la donnée à travers les catégories, les tags, la
description et les propriétés customisables
Métadonnées basées sur l'utilisation – savoir qui, quand, quoi et
comment on a consommé de la donnée
Préparation des données – la capacité de transformer, d'affiner et de
personnaliser les données à des fins métiers
Interface utilisateur intuitive et adaptée à des rôles métiers, avec la
recherche simplifiée et des capacités de collaboration
22. 22
En conclusion
• Fiabilité des données
▪ Diminuer la réplication et augmenter la pertinence
• Flexibilité pour les utilisateurs métiers
▪ Accéder à toutes les données de l'entreprise en libre-service avec les outils de
leur choix
• Flexibilité pour l’IT
▪ Assurer la modernisation des applications et la migration vers le cloud sans
interruption de service
• Contrôle et gouvernance pour la gestion des données
▪ Renforcer la sécurité, réduire les risques et assurer la conformité
La virtualisation des données peut vous aider à tirer parti des points forts des diverses
technologies de sources de données tout en garantissant :
23. 23
“Product strategy focused on logical and distributed
architectures: Denodo enables its customers to connect distributed
data through business-friendly semantic models that decouple data
from its location and physical schemas. It reflects a longtime focus and
strength in data virtualization that enables agile data integration and
delivery.”
2021 Gartner Magic Quadrant for Data Integration Tools
Gartner : Denodo nommé Leader et “Customers’ choice”
Une fois de plus, Gartner a décerné à
Denodo la distinction “Customer’s
Choice”, avec une note globale
moyenne de 4,4 sur 5,0 au 30
novembre 2021, sur la base de 68 avis
reçus en 18 mois.
62% < 3 mois 91% < 6 mois
Projets Denodo :
- Gartner Peer Insights, Data Integration 2018
Lire le rapport complet sur notre site web
24. Clients
900+ actifs
F500, G2000 & Start-ups
Santé financière
$4B+ Fond privé (HGGC).
60+% croissance annuelle; Zéro dette;
Rentable.
Présence Denodo
Palo Alto (USA) & A Coruña (Espagne)
Présence mondiale
Leadership
A l’origine et « Pure Player » de la data
virtualization depuis 1999
Reconnaissance des analystes et du marché
en tant que leader (Forrester, Gartner,
Clients depuis 6+ ans)
Nombreux prix
Denodo Technologies
Leader & Pionnier de la Data Virtualization
Technologie
Industrie
Service financier
Assurance
Santé
Secteur public
Télécommunication
Distribution
Pharma / Bio-Tech
Energie
25. 25
Prochaines étapes
Commencer à connecter vos propres sources de données avec la plateforme Denodo !
Denodo Express
• Version gratuite et allégée pour
une installation partout
• Téléchargeable ici
Evaluation collaborative
Contactez-nous !
Denodo Standard Free Trial
• 30 jours d’évaluation offerts
• Accessible ici sur le fournisseur
cloud de votre choix