SlideShare une entreprise Scribd logo
1  sur  62
Télécharger pour lire hors ligne
Session découverte de la Logical
Data Fabric soutenue par la Data
Virtualization
Tarik Zaakour
Consultant avant-ventes
Mardi 16 Mai 2023
AGENDA
1. Généralités
2. Introduction à la Data Virtualization
3. Une plateforme logique
4. Ce que disent les analystes
5. L’approche logique et le Data Mesh
6. Cas d’usage et études de cas clients
7. Gouvernance & sécurité
8. Les APIs
9. Comment Denodo optimise ses requêtes?
10. Exemples de déploiement
11. Questions/Réponses
12. Démonstration avec le Denodo Test Drive
13. Questions/Réponses
14. Prochaines étapes
Généralités
4
Quelques généralités
• La présentation sera enregistrée
• Les échanges et les questions/réponses
• Avant la démonstration
• A la fin de la présentation
• N’hésitez pas à poser vos questions dans le chat au
fil de l’eau
• Pour accéder aux test drives :
• Se connecter à www.denodo.com
• Rubrique “Try Denodo Platform” puis “Denodo Test
Drives”
• Le Test Drive sur Azure n’est qu’un début : cas
d’usage Data Science et Data Marketplace sur AWS
et GCP
Introduction à la Data
Virtualization
Pourquoi la Data Virtualization? Défis, Solutions et Avantages
6
Acteurs et données de nos écosystèmes actuels
Situation actuelle simplifiée
Sales
HR
Apps/API
Executive
Marketing
Data Science
AI/ML
75% de la donnée stockée
jamais utilisée
90% des demandes nécessitent
du temps-réel
Problèmes les plus communs:
× Collaboration et partage limitées
× Vues métiers inconsistantes et limitées
× Gouvernance complexe
× Environnement fragmenté
× Beaucoup (trop) de réplication
× Synchronisations en cascade, longues et coûteuses
7
Qu’est-ce la Data Virtualization?
Un logiciel permettant l’intégration et la gestion moderne des données d’entreprises
Point d’entrée unifié pour rechercher ,
explorer et consommer la donnée
Self-service pour tous les profils de
l’entreprise
Sécurité et gouvernance renforcées
Plateforme moderne
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
8
Plateforme de données moderne souhaitée
Simplicité, rapidité/agilité, sécurité… à moindre coût
Connecter, introspecter & Gouverner vos
source, avec zéro réplication de la donnée
Combiner & intégrer vos données en vues
métiers
Consommer & Sécuriser les vues métiers
dans de multiples formats
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
9
Le fonctionnement de la Data Virtualization?
Connecter, Combiner & Consommer
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
CONNECTER, INTROSPECTER & GOUVERNER VOS
SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE
COMBINER & INTEGRER VOS DONNÉES EN VUES
MÉTIERS
CONSOMMER & SECURISER LES VUES MÉTIERS DANS
DE MULTIPLES FORMATS
COMBINE & INTEGRATE INTO BUSINESS DATA VIEWS
Une plate-forme logique pour :
l'intégration, la gestion et la livraison
des données
11
La plateforme Denodo : UNE plateforme logique pour toutes vos données
Intégrez, gérez et fournissez logiquement des données
distribuées
TOUTE
SOURCE DE
DONNÉES
TOUT
CONSOMMA
TEUR DE
DONNÉES
TOUT ENVIRONNEMENT DE PLATEFORME
On-Premises | Cloud | Multi-Cloud | Conteneurisé
Data
Governance
Tools
BI Dashboard
Report and
Tools
Data Science &
Machine
Learning
Apps
Mobile &
Enterprise
Apps
Microservice
s
Apps
DB, DW &
Data
Lakes
Files
Cloud
DB
& SaaS
Streaming
Data &
IoT
Cube
Smart
Query
Acceleratio
n
AI/ML Recommendations
& Automation
Advanced
Semantics
& Active Data
Catalog
Unified Security
&
Governance
Logical
Data
Abstraction
Real-Time
Data
Integration
12
INTÉGREZ
Des données
disparates dans
n'importe quel
emplacement,
format ou latence
Files
Cubes
Cloud
Stores
Traditional
DB & DW
Data Lake &
NoSQL
Hybrid/
Multi-Cloud
Security &
Governance
Al/ML
Recommendations
Advanced
Semantics
GEREZ
Des données connexes avec
un modèle sémantique
universel et une fonctionnalité
AI / ML permettant une
gouvernance des données
vitales
Query
Optimization &
Acceleration
Data Catalog
Discover / Explore /
Document
BI Tools
SQL / MDX
Data Science
Tools
Data as a Service
RESTful / Odata
GraphQL/ GeoJSON
LIVREZ
Et démocratisez les données à
l'aide d'outils de BI et de data
science, de catalogues de
données et d'API
La plateforme Denodo : la plateforme logique pour toutes vos données
13
BI Tools Data Science Tools
Architecture de la plateforme Denodo
CATALOGUE DE DONNÉES
Découvrir - Explorer - Documenter
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
SQL
CONSOMMATEURS
INTEGRER
des données disparates, quel que soit l'endroit,
le format ou la latence
GÉRER
des données connexes dans des vues avec un
modèle sémantique universel
LIVREZ
en utilisant des outils de BI et de science des
données, un catalogue de données et des API.
Self-Service
Hybrid/
Multi-Cloud
Optimisation de
Requêtes
AI//ML
Recommendations
Securité
PLATEFORME
D'INTÉGRATION,
DE
GESTION
ET
DE
DIFFUSION
DES
DONNÉES
SOURCES
150+
data
adapters
Apps Streaming
Gouvernance des
données
SaaS
Files
OLAP
Hadoop
& NoSQL
Cloud
Stores
Traditional
DB & DW
14
Les couches dans Denodo
Couches de connectivité
Couche d’intégration
Couches des entités métiers
Couche applicative
Couches des services web
15
Principaux différenciateurs
FACILITÉ D'UTILISATION
Une interface intuitive et facile à
utiliser pour favoriser la
démocratisation et la découverte
des données.
RÉPONSE RAPIDE AUX REQUÊTES
L'optimisation des requêtes permet
d'obtenir des résultats plus
rapidement, ce qui se traduit par un
meilleur calcul et une réduction des
coûts.
CATALOGUE DE DONNÉES ACTIF
INTÉGRÉ
Offre une expérience axée sur la
sémantique pour faciliter la
découverte et la gouvernance des
données.
CONNECTIVITÉ
UNIVERSELLE
Intégration à plus de 150
sources de données
COUCHE API DE SERVICES
DE DONNÉES MODERNES
Fournir des données par le
biais d'un schéma unique
accessible par une couche API
moderne.
MASQUAGE DYNAMIQUE DES
DONNÉES
Fournit des capacités améliorées
de gouvernance des données
GESTION AUTOMATISÉE DU
CLOUD
augmentez ou réduisez vos
dépenses pour mieux gérer les
coûts associés aux pics
d'utilisation.
Réduction de 83 %.
dans le délai de
recouvrement des recettes
67% de réduction
dans l'effort de préparation
des données
Diminution de 65%.
dans les délais de livraison
par rapport à l'ETL
Source: Forrester Total Economic ImpactTM of Data
Virtualization, 2021
Ce que disent les analystes
17
- Gartner Magic Quadrant for Data Integration Tools, August 2021
Denodo permet à ses clients de connecter des
données distribuées grâce à des modèles
sémantiques conviviaux qui découplent les données
de leur emplacement et des schémas physiques.
Cela reflète une concentration et une force de
longue date dans la virtualisation des données qui
permet une intégration et une livraison agiles des
données."
18
Evaluations de Gartner et Forrester Research
A la pointe du secteur de l’Intégration de Données
Forrester Wave : Virtualisation des données d'entreprise,
quatrième trimestre 2017
Forrester Wave : Enterprise Data Fabric, Q2 2022
Quadrant magique Gartner 2022 pour les outils
d'intégration de données
19
Denodo - Seul
vendeur à avoir
une note parfaite
de 5.0 !
Seul fournisseur avec un
score parfait de 5,0 en
virtualisation des
données et de toutes les
autres fonctionnalités
critiques
Meilleur score conjoint
de 4,0 dans les services
d'API de tous les autres
fournisseurs d’Intégration
de Données
Tableau 2 : Évaluation du produit/service sur les capacités critiques
Capacités critiques
de Gartner pour les
outils d'intégration
de données ;
Publication – Août
2022
20
Gartner Peer Insights "La voix du client" : Outils d'intégration de données ; Publié - 28 janvier 2022
Denodo - Choix des clients 2022, pour la deuxième année consécutive
▪ Denodo est l'un des trois seuls leaders MQ à avoir été désigné comme le choix
des clients parmi les 18 fournisseurs figurant dans le rapport.
▪ Avec une note globale de 4,4 sur 5,0, Denodo est le troisième fournisseur
d'intégration de données le mieux noté de tous les temps.
Gartner Peer Insights "La voix du client" : Data Integration Tools, 28
janvier 2022
« Très bonne expérience. Le logiciel fournit les
fonctionnalités qui sont décrites sur la fiche produit
avec un très haut niveau de professionnalisme. Il
contribuera à la création d'une culture des données
plus forte en facilitant l'accès aux données pour les
utilisateurs métiers. »
- Directeur des données, industrie de l'énergie, 30 milliards de
dollars de revenus annuels
L’approche logique et le Data Mesh
L'objectif principal de Data Mesh est d'accélérer la création de
données fiables, de haute qualité et conformes à partager dans
toute l'entreprise.
Cet objectif est atteint en formant les utilisateurs de l'entreprise à
produire ces données plutôt que de toujours compter sur des
équipes informatiques centralisées qui peuvent ne pas être en
mesure de suivre le rythme de la demande.
Architecture Data Mesh
23
Les principes du Data Mesh
▪ Propriété et architecture des données
décentralisées orientées domaine.
▪ Les données en tant que produit.
▪ Ensembles de données réutilisables
▪ Peut être consommé par différents systèmes analytiques à partir de
différentes charges de travail analytiques
▪ Construire une fois, réutiliser partout
▪ Infrastructure de données en libre-service en tant
que plate-forme.
▪ Gouvernance fédérée des données informatiques.
24
Implémentation du Data Mesh avec Denodo
SQL
Operational EDW
Data Lakes Files
SaaS APIs
REST GraphQL OData
Event
Product
Customer Location Employee
Domaine commun Gestion des événements Ressources humaines
Chaque domaine se voit attribuer un schéma virtuel distinct.
Un domaine commun peut être utile pour les produits de
données centralisés communs à tous les domaines.
1
1 Les domaines connectent leurs sources de données.
2
Les métadonnées sont mappées sur des vues relationnelles.
Aucune donnée n'est répliquée.
3
3
2
Les domaines peuvent modéliser leurs produits de données.
Les produits peuvent être utilisés pour définir d'autres produits.
4
4
Pour l'exécution, les produits peuvent être servis directement à partir
de leurs sources ou répliqués vers un emplacement central, comme
un lac.
5
5
Une équipe centrale peut définir des directives et
une gouvernance pour assurer l'interopérabilité.
6
6
Les produits peuvent être accessibles via SQL ou
exposés en tant qu'API. Aucun codage n'est requis.
7
7
L'infrastructure peut facilement évoluer dans un cluster.
8
8
25
Architectures monolithiques
▪ Centralisée : toutes/la plupart des données dans un
seul système
▪ Toutes les données doivent être copiées sur le système
cible
▪ Les données doivent être répliquées pour les adapter à
chaque nouveau cas d'utilisation (data marts)
▪ Géré par une équipe de données informatiques centrale
▪ Physique : les consommateurs doivent savoir :
▪ Emplacement des données
▪ Comment les données sont représentées dans ce
système
▪ Quelles méthodes d'accès sont prises en charge dans
ce système
▪ Exemples : Entrepôt de données, Data Lake, Data
LakeHouse
26
Les 6 piliers de Data Fabric s'alignent sur la vision de base de Denodo
1. Point d'accès unique à toutes
les données à n'importe quel
endroit
2. Des données exposées sous
une forme Business-Friendly,
adaptée aux besoins de
chaque consommateur
3. Faible coût et mise sur le
marché rapide : jusqu'à 80 %
de réduction des coûts
d'intégration de données
4. Référence pour les données
de confiance via la
sémantique : appliquez une
sémantique, une qualité, une
gouvernance et une sécurité
des données cohérentes
5. Découvrabilité : Le
Data Catalog actif crée un
marché de données pour
l'entreprise
6. ML et automatisation pour
accélérer toutes les étapes du
cycle de vie de la gestion des
données
27
Les six piliers de la Data Fabric
Gartner envisage un système basé sur six
piliers pour fournir la base d'une Data Fabric :
1. Catalogue de données augmenté
2. Graphe de connaissances enrichi de
sémantique
3. Activation des métadonnées
4. Moteur de recommandation
5. Préparation et livraison des données
6. Orchestration et DataOps
28
- The Forrester Wave™: Enterprise Data Fabric, Q2 2020
La solution data fabric de Denodo intègre les
composants clés de la gestion des données,
notamment l'intégration, l'ingestion, la
transformation, la gouvernance et la sécurité des
données, afin de prendre en charge les cas
d'utilisation nouveaux et émergents, notamment les
clients 360, l'analyse en temps réel et à la demande,
l'analyse IoT et l'analyse en libre-service."
Cas d’usage et études de cas clients
30
Virtualisation des données : fondement des architectures logiques et distribuées
« Les capacités de virtualisation des données offrent une couche d'accès et de livraison qui peut servir de base à la structure logique des données,
laquelle offre des fonctions d'automatisation importantes dans l'espace de gestion des données. Il s'agit notamment de l'automatisation des
recommandations de données, de la qualité des données, de la gouvernance des données et des politiques, en plus des fonctions d'intégration
de base de la virtualisation des données »
– Gartner: Assessing the Relevance of Data Virtualization in Modern Data Architectures, June 2021
6 Capacités clefs dans les architectures de données logiques et
distribuées Cas d'utilisation différenciés Personnes
Hybrid/Multi-
Cloud Data
Integration
Self-Service
BI
Lakehouse/
Analytics Query
Accelerator
3600 View
of Entities
Data
Replication
Data Science
Enterprise
Data Services
Data Fabric/
Data Mesh
Data/BI
Analysts
Data
Scientists
Architects
Data Engineers/
Developers
Data Ops
Admin
Temps réel
d'Intégration de
Données
Données
logiques
Abstraction
Requête
Intelligente et
Accélération
Sémantique
avancée
Automatisation et
recommandation
Sécurité unifiée et
gouvernance
Data Catalog
AI/ML
31
Présentation
• Besoin d'une vue omnicanal en temps
réel à 360 degrés des données des
patients à travers les différentes
sources.
• Les processus ETL traditionnels
n'étaient pas assez rapides pour
répondre aux besoins en données des
équipes métiers.
• Réduire le temps de développement
pour transformer les données pour au
final un usage analytique.
• Faciliter l'accès aux données sur
plusieurs sources de données.
• De plus en plus d'applications migrent
vers le cloud, mais la nécessité
d'analyser les données de manière
croisée reste toujours présente
• Les scientifiques des données utilisent
la couche de virtualisation Denodo
pour explorer les données, écrire des
scripts et élaborer des
recommandations pour augmenter les
ventes et améliorer les traitements
• La plate-forme Denodo est établie
comme un élément essentiel de
l'architecture de l'entrepôt de données
logique au-dessus des diverses sources
de données d'UCB.
• La plate-forme Denodo se connecte,
au lieu de collecter des données
comme dans ETL, à chaque source et
présente des vues de données aux
utilisateurs professionnels sous la
forme d'une couche sémantique
virtuelle
• En un an de mise en œuvre de
Denodo, UCB a pu mettre en
production six cas d'utilisation
différents dans différents domaines
fonctionnels.
• La plate-forme Denodo a réduit de
moitié le temps de développement
par rapport au temps requis par les
processus ETL de l'entreprise.
• Denodo a fourni à UCB la vitesse,
l'efficacité et l'agilité dont
l'entreprise avait besoin, ce qui lui a
permis d'avancer avec ses produits
de données tout en rationalisant les
rapports réglementaires.
Les défis La solution Les résultats
Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de
transformer la vie des personnes atteintes de maladies neurologiques et immunologiques
sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre
d'affaires total de plus de 5 milliards de dollars
32
Présentation
Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de
transformer la vie des personnes atteintes de maladies neurologiques et immunologiques
sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre
d'affaires total de plus de 5 milliards de dollars
Les applications
consommatrices
Les sources
Netezza
MyAccess
SQL Server
Gouvernée & Sécurisée
Plateforme de
Livraison de
Données
Coûts de dév.
Agilité
Avec le meilleur TTM
Gouvernance et sécurité
34
Catalogue de données avec accès aux données
35
Catalogue de données
La virtualisation des données avec Le
Data Catalog offre trois avantages
principaux :
1. Une compréhension et un accès à
toutes les données et
métadonnées de l'entreprise.
2. BI libre-service
3. Élimination du besoin de créer de
nouveaux magasins de données et
de déplacer physiquement les
données
SYNCHRONISATION DES MÉTADONNÉES
Denodo Platform prend en charge :
• La découverte et capture de métadonnées à partir de systèmes de
gestion de bases de données
• La synchronisation de modèles de données avec des outils de
modélisation de données.
• Pour la synchronisation des modèles de données, la plateforme
Denodo fournit des fonctions d'analyse des mises à jour et
modifications des sources et des modifications dans le schéma sous-
jacent, permettant de décider de propager ou non la modification dans
le schéma Denodo.
INTÉGRATION AVEC DES OUTILS TIERS DE GESTION DE MÉTADONNÉES
Denodo n'est pas en concurrence mais complète les solutions de catalogue de
données d'entreprise en les rendant opérationnelles.
36
Principes de sécurité
Contrôle centralisé
▪ Autoriser l'accès en fonction des besoins de l'entreprise,
indépendamment de la localisation des données ou de la
méthode d'accès
▪ Définir un contrôle d'accès fin sur toutes les sources de
données (fichiers, services web, ...)
▪ Configuration centralisée
Intégré à votre environnement
▪ SSO, Kerberos
▪ Authentification locale ou LDAP
▪ Comptes de pass-though ou de service
nom pays téléphone SSN
John Smith USA 555-1212
Alain Durand France
Mary White USA 555-2212
Contrôler l'accès aux colonnes,
aux lignes ou même aux valeurs
individuelles
37
Principes de sécurité
Contrôle centralisé
Denodo gère la sécurité comme sur une DB :
▪ S’intègre avec votre Active Directory & SSO
▪ Masquage dynamique, restrictions sur les colonnes
et les lignes selon les Roles & Privileges des
utilisateurs
Intégré à votre environnement
Centralise la sécurité - basée sur comment les
utilisateurs utilisent la donnée et non
comment elle est stockée
IT Semantic Layer
JOIN
GROUP
BY
GROUP
BY
1. Requête métier
2. Authentification avec
une corporate identity
3. Application des règles
d’autorisation .
Par exemple, masque SSN
et restriction locale
4. Requête envoyée à la
source avec les filtres de
conditions correspondants
5. Résultat sécurisé
est généré et envoyé
à l’utilisateur
DISPARATE DATA SOURCES
Less Structured
More Structured
DATA CONSUMERS
DATA CONSUMERS
Analytical Operational
Les APIs
39
Architecture de référence de virtualisation des données
Metadata Management, Data Governance, Data Security
Data
Warehouse
Web,
Cloud,
Saas
Enterprise
Applications
Enterprise
Application
Web
Mobile
Data Sources Service Consumers
Data Search & Discovery
Federation
Transformation
Abstraction
Data
Services
Federation
Transformation
Abstraction
Optimization
Security
Governance
Data Caching
Enterpri
se
Service
Bus
SOA
Service Providers • Génération automatique de
documents Swagger
• Prise en charge de tous les
formats
• Réutilisations des
fondements de la sécurité
Denodo
• Héritage des aspects
sécurités
A
P
I
M
a
n
a
g
e
m
e
n
t
P
l
a
t
f
o
r
m
Comment Denodo optimise ses
requêtes ?
41
La performance
Les données restent à la source
▪ Lorsqu’une requête est traitée par Denodo, les
données sont remontées depuis les sources
▪ Potentiellement un volume de données important
dans des sources disparates
Stratégie de Denodo : Maximiser le traitement à la
source
▪ Minimiser le trafic réseau
▪ Tirer parti des capacités de traitement des sources
▪ Compléter avec un cache intelligent
▪ Optimisations spécifiques pour les sources MPP
(Massively Parallel Processing)
42
La performance
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
Ventes Client
Table
temporaire
JOIN
GROUP BY
Option 1 Option 2
Option 3
Temp-Client
Les données « clients » et « ventes » sont stockées dans
différentes sources.
Quel est le meilleur plan d'exécution ?
Stratégie fédération simple
(outils BI)
Mouvement temporaire des données
(Si les sources le permettent)
2 M
50
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Délégation partielle d'agrégation
2 M
2 M
... juste un exemple parmi les
stratégies appliquées par
Denodo dans l'optimisation des
requêtes
300 M 2 M
Ventes Client
JOIN
GROUP BY
43
La performance
Système
Temps
d'exécution
Données
transférées
Technique
d'optimisation
Denodo 9 sec. 4 M
La delegation de
l'agrégation
Autres 125 sec. 302 M Aucun : scan complet
300 M 2 M
Ventes Client
JOIN
GROUP BY
2 M
2 M
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Pour maximiser la délégation au
dataware, l'agrégation est
divisée en 2 étapes :
• 1ère par ID client
• 2ème par État
Cela a considérablement
réduit le trafic réseau et la
complexité de traitement dans
Denodo
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
44
« Summaries » et mise en cache dans votre stratégie de modélisation
Couche d’abstraction
Modèles sources originaux
Couche sémantique
Modèle logique DW
Couche métier (optionnel)
Vue dénormalisée pour les entreprises
Couche de Reporting (optionnel)
Rapports prédéfinis avec métriques calculées
Caching
Sources lentes et protégées
uniquement
Summaries
Summaries
Caching
45
Nous ajoutons un moteur MPP à la plateforme Denodo
Logical Layer Logical Layer
Traditional
DB & DW
Cloud Excel
MPP Engine
Traditional
DB & DW Cloud
Data Lakes
Excel
Distributed FS Distributed FS
46
De la fédération multi-sources naïve à l'accélération Denodo MPP
JOIN
GROUP
BY
Sales
300 M
2 M
Customer Item
200K
Temp tables
DATA
MOVEMENT
Sales Customer
300 M 100k
JOIN
GROUP
BY
Oracle
Item
20k
2 M
Customer
Oracle
Item
200K
MPP
ACCELERATION
SELECT i_category, c_last_name,
SUM(ss_net_paid_inc_tax) AS price
FROM tpcds_parquet.store_sales
INNER JOIN tpcds_oracle.customer ON ss_customer_sk = c_customer_sk
INNER JOIN tpcds_oracle.item ON i_item_sk = ss_item_sk
GROUP BY i_category, c_last_name
Autres fédérateurs : Stratégie naïve Denodo: Data Movement Denodo + Presto: MPP Acceleration
Denodo MPP Denodo MPP Oracle
Sales
300 M
Denodo MPP
JOIN
GROUP
BY
47
De la fédération multi-sources naïve à l'accélération Denodo MPP
Denodo Presto
Naïve RBO RBO + CBO RBO + CBO + MPP Tout dans Presto
(reference)
Time ∞ 13,5 s 6,5s 1,9s 1.9s
Plan Federation Aggregation Push-
down
Data Movement MPP Acceleration n/a
SELECT i_category, c_last_name,
SUM(ss_net_paid_inc_tax) AS price
FROM tpcds_parquet.store_sales
INNER JOIN tpcds_oracle.customer ON ss_customer_sk = c_customer_sk
INNER JOIN tpcds_oracle.item ON i_item_sk = ss_item_sk
GROUP BY i_category, c_last_name
Exemples de déploiement
49
Environnement Cloud Denodo
AWS Cloud Infrastructure
Azure Cloud Infrastructure
On-Prem Environment
Azure VM
Metro Transit Department
T-Bird
DCHS
Integrated Health
SQL Data Warehouse Azure Data Lake
Databricks Python/Azure ML
SQL Data Warehouse Azure Data Lake
Databricks Python/Azure ML
SQL Data Warehouse Azure Data Lake
KCSO
Analytics Platform
Azure
Commercial
Azure
Commercial
Azure
Government
Enterprise Tools
On-Prem
Host
On-Prem
Host
Data Catalog
(Future)
Data Governance
(Future)
Data Quality
(Informatica)
Client Machines
BI Insights Data Warehouse
Geo
(ArcGIS
Online)
Reports
(Tableau)
Reports
(Power BI)
Dashboards
(Power BI)
Open
Data
(Socrata)
Machine Learning
Predictive Models
Departments
Agencies Citizens Council
Denodo is Java
code that can be run on
Azure in:
• A VM
• A Docker Container
• A Kubernetes
Cluster
Informatica DI
Subnet
Business Resource Center
HUB VNet
Subnet
VNet
UDR
Peering
On-Prem VM
Subnet
50
Entrepôt de données logique moderne
Consommation
DATA FLOW
• Join big data and analytical queries housed in ADLS
and other on-Prem Big Data platforms.
• Join Snowflake and secure data across snowflake
with corporate security model while also providing
graphical UI joining tool.
• Leverage azure analytical layer for silo’d data
across the azure services.
• Incorporate relational data from on-prem and cloud
sources.
• Optimize and translate queries across platforms to
increase speed and efficiency of queries.
• Parallel SQL across cloud and on-prem
environments for further optimization and speed
increases.
• Provide a single source for all consumption layer no
matter the query or request with complete
governance and audit trail.
1
2
3
4
5
6
7
Source
Oracle
Big Data
SQL Server
API
SQL
Azure Denodo
Virtualization
API
SQL
On-Prem Denodo
Virtualization
• 3rd Party
Data (IMS,
etc.)
• Internal
Apps
• Email
• External
Apps
• Social
Media
• Flat Files
• IOT
Streams
• Data Hubs
• Regulator
y
Authoritie
s
• Rest API’s
ADLS Gen 2
Big Data
Data Lake
Relational
Analytical
Relational
6
5
Data Lake
Relational
Relational
Bbig Data
7
1
2
3
4
2
4
4
1
5
Q&A
Démonstration avec le Denodo Test
Drive
53
Atelier : analyse tendances annuelles de ventes
Prochaines étapes
55
Depuis 1999, nous nous concentrons sur l'intégration, la gestion et la fourniture de données.
Denodo: Leader en Gestion de Data
BUREAUX DE DENODO, EMPLOYÉS
Présence mondiale - 25 bureaux dans
20 pays ; plus de 500 employés.
Nouveaux bureaux en 2021 - Pays-
Bas, Belgique, Suède, Corée du Sud.
CLIENTS et PARTENAIRES
+ 1000 clients, dont de nombreuses sociétés
F500 et G2000 dans tous les grands secteurs
d'activité.
+ 300 partenaires actifs et engagés, dans le
monde entier
.
FINANCES
~50% de croissance annuelle
108% de rétention nette ; 4% de
désabonnement
0 $ de dette ; rentable
Leader : Quadrant magique de Gartner
pour les outils d'intégration de données,
2021
Leader : Vague 2020 de Forrester -
Enterprise Data Fabric, Q2 2020
Leader : Forrester 2017 Wave - Data
Virtualization, quatrième trimestre
2017.
LEADERSHIP
Customers’ Choice: 2022 Gartner Peer
Insights for Data Integration Tools (2nd
year in a row)
56
+1000 clients, dont de nombreuses entreprises du Fortune 500 et du Global 2000, +30 secteurs d'activité.
Sélection de clients de référence dans les principaux secteurs d'activité
Services Financiers
Santé
Production
Assurance
Detail
Pharma / Biotech
Technologie
Secteur Publique
Telecommunications
Energie
57
Sélection de partenaires intégrateurs de systèmes et revendeurs 300+
Spécialistes & Partenaires de Solutions
Partenaires intégrateurs de systèmes mondiaux
Partenaires Intégrateurs de Systèmes Régionaux
58
3rd Party
Connectors
Data Science / Prep Tools
Alliances Technologiques - Ecosystème
MDM & DQ Tools
Data Governance Tools
Cloud Service
Providers
Big Data/NoSQL Sources
HDInsight
BI & Reporting Tools
Data Modeling Tools
Security & Privacy
Traditional Data Sources
SaaS/Cloud Applications
Cloud Data Warehouses
API Management / ESB
59
Denodo: Leader en Gestion de Data
Leader & Pionnier dans la Data Virtualization
AUTO ÉVALUATION
ÉVALUATION COLLABORATIVE
Téléchargez Denodo Express
Contactez-nous !
Évaluez (1h) avec le Test Drive:
Denodo Platform
for AWS, Azure ou GCP
BUREAUX DE DENODO, EMPLOYÉS
Présence mondiale - 25 bureaux dans
20 pays ; plus de 500 employés.
Nouveaux bureaux en 2021 - Pays-
Bas, Belgique, Suède, Corée du Sud.
CLIENTS et PARTENAIRES
+ 1000 clients, dont de nombreuses sociétés
F500 et G2000 dans tous les grands secteurs
d'activité.
+ 300 partenaires actifs et engagés, dans le
monde entier
.
FINANCES
~50% de croissance annuelle
108% de rétention nette ; 4% de
désabonnement
0 $ de dette ; rentable
60
Denodo: Nos prochains événements
EN LIGNE :
- Webinar – Sujet Data Mesh : 1er Juin 2023
EN PERSONNE :
- Cours Architecture : 6-7 Juin 2023
- Matinée Conférence Denodo : 21 juin 2023
Q&A
Thanks!
www.denodo.co
m
info@denodo.co
m
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying
and microfilm, without prior the written authorization from Denodo Technologies.

Contenu connexe

Similaire à Session découverte de la Logical Data Fabric soutenue par la Data Virtualization

Session découverte de la Data Virtualization
Session découverte de la Data VirtualizationSession découverte de la Data Virtualization
Session découverte de la Data VirtualizationDenodo
 
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data VirtualizationSession en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data VirtualizationDenodo
 
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...Denodo
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
 
Quel est l'avenir des stratégies de données?
Quel est l'avenir des stratégies de données?Quel est l'avenir des stratégies de données?
Quel est l'avenir des stratégies de données?Denodo
 
La Data Virtualization au coeur de l’architecture “Data Mesh”
La Data Virtualization au coeur de l’architecture “Data Mesh”La Data Virtualization au coeur de l’architecture “Data Mesh”
La Data Virtualization au coeur de l’architecture “Data Mesh”Denodo
 
Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...
Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...
Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...Excelerate Systems
 
Panorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data PlatformPanorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data PlatformPhilippe Geiger
 
Les clés de succès pour moderniser votre architecture de données en 2022
Les clés de succès pour moderniser votre architecture de données en 2022Les clés de succès pour moderniser votre architecture de données en 2022
Les clés de succès pour moderniser votre architecture de données en 2022Denodo
 
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...Denodo
 
Comment accompagner la transformation de votre SI sans impacter les métiers ?
Comment accompagner la transformation de votre SI sans impacter les métiers ?Comment accompagner la transformation de votre SI sans impacter les métiers ?
Comment accompagner la transformation de votre SI sans impacter les métiers ?Denodo
 
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
 La voie du succès avec les bases de données de graphes, la Graph Data Scie... La voie du succès avec les bases de données de graphes, la Graph Data Scie...
La voie du succès avec les bases de données de graphes, la Graph Data Scie...Neo4j
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
 
IBM Software & Information Management - Décembre 2010
IBM Software & Information Management - Décembre 2010IBM Software & Information Management - Décembre 2010
IBM Software & Information Management - Décembre 2010Nicolas Desachy
 
DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !
DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !
DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !Denodo
 
Les avantages du Cloud avec Windows Server 2012
Les avantages du Cloud avec Windows Server 2012Les avantages du Cloud avec Windows Server 2012
Les avantages du Cloud avec Windows Server 2012NRC
 
Découvrez les nouvelles fonctionnalités de Talend 6
Découvrez les nouvelles fonctionnalités de Talend 6Découvrez les nouvelles fonctionnalités de Talend 6
Découvrez les nouvelles fonctionnalités de Talend 6Jean-Michel Franco
 

Similaire à Session découverte de la Logical Data Fabric soutenue par la Data Virtualization (20)

Session découverte de la Data Virtualization
Session découverte de la Data VirtualizationSession découverte de la Data Virtualization
Session découverte de la Data Virtualization
 
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data VirtualizationSession en ligne: Découverte du Logical Data Fabric & Data Virtualization
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
 
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
 
Présentation de SQL Azure
Présentation de SQL AzurePrésentation de SQL Azure
Présentation de SQL Azure
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
 
Quel est l'avenir des stratégies de données?
Quel est l'avenir des stratégies de données?Quel est l'avenir des stratégies de données?
Quel est l'avenir des stratégies de données?
 
La Data Virtualization au coeur de l’architecture “Data Mesh”
La Data Virtualization au coeur de l’architecture “Data Mesh”La Data Virtualization au coeur de l’architecture “Data Mesh”
La Data Virtualization au coeur de l’architecture “Data Mesh”
 
Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...
Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...
Enterprise Data Hub - La Clé de la Transformation de la Gestion de Données d'...
 
Panorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data PlatformPanorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data Platform
 
Les clés de succès pour moderniser votre architecture de données en 2022
Les clés de succès pour moderniser votre architecture de données en 2022Les clés de succès pour moderniser votre architecture de données en 2022
Les clés de succès pour moderniser votre architecture de données en 2022
 
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
 
Comment accompagner la transformation de votre SI sans impacter les métiers ?
Comment accompagner la transformation de votre SI sans impacter les métiers ?Comment accompagner la transformation de votre SI sans impacter les métiers ?
Comment accompagner la transformation de votre SI sans impacter les métiers ?
 
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
 La voie du succès avec les bases de données de graphes, la Graph Data Scie... La voie du succès avec les bases de données de graphes, la Graph Data Scie...
La voie du succès avec les bases de données de graphes, la Graph Data Scie...
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
 
IBM Software & Information Management - Décembre 2010
IBM Software & Information Management - Décembre 2010IBM Software & Information Management - Décembre 2010
IBM Software & Information Management - Décembre 2010
 
DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !
DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !
DataGalaxy et Denodo : le guichet unique de gouvernance et d’accès aux données !
 
Les avantages du Cloud avec Windows Server 2012
Les avantages du Cloud avec Windows Server 2012Les avantages du Cloud avec Windows Server 2012
Les avantages du Cloud avec Windows Server 2012
 
Informatica 9 soa
Informatica 9 soaInformatica 9 soa
Informatica 9 soa
 
Découvrez les nouvelles fonctionnalités de Talend 6
Découvrez les nouvelles fonctionnalités de Talend 6Découvrez les nouvelles fonctionnalités de Talend 6
Découvrez les nouvelles fonctionnalités de Talend 6
 

Plus de Denodo

Enterprise Monitoring and Auditing in Denodo
Enterprise Monitoring and Auditing in DenodoEnterprise Monitoring and Auditing in Denodo
Enterprise Monitoring and Auditing in DenodoDenodo
 
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps ApproachLunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps ApproachDenodo
 
Achieving Self-Service Analytics with a Governed Data Services Layer
Achieving Self-Service Analytics with a Governed Data Services LayerAchieving Self-Service Analytics with a Governed Data Services Layer
Achieving Self-Service Analytics with a Governed Data Services LayerDenodo
 
What you need to know about Generative AI and Data Management?
What you need to know about Generative AI and Data Management?What you need to know about Generative AI and Data Management?
What you need to know about Generative AI and Data Management?Denodo
 
Mastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business LandscapeMastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business LandscapeDenodo
 
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
Denodo Partner Connect: Business Value Demo with Denodo Demo LiteDenodo Partner Connect: Business Value Demo with Denodo Demo Lite
Denodo Partner Connect: Business Value Demo with Denodo Demo LiteDenodo
 
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...Denodo
 
Drive Data Privacy Regulatory Compliance
Drive Data Privacy Regulatory ComplianceDrive Data Privacy Regulatory Compliance
Drive Data Privacy Regulatory ComplianceDenodo
 
Знакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данныхЗнакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
 
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
Data Democratization: A Secret Sauce to Say Goodbye to Data FragmentationData Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
Data Democratization: A Secret Sauce to Say Goodbye to Data FragmentationDenodo
 
Denodo Partner Connect - Technical Webinar - Ask Me Anything
Denodo Partner Connect - Technical Webinar - Ask Me AnythingDenodo Partner Connect - Technical Webinar - Ask Me Anything
Denodo Partner Connect - Technical Webinar - Ask Me AnythingDenodo
 
Lunch and Learn ANZ: Key Takeaways for 2023!
Lunch and Learn ANZ: Key Takeaways for 2023!Lunch and Learn ANZ: Key Takeaways for 2023!
Lunch and Learn ANZ: Key Takeaways for 2023!Denodo
 
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way ForwardIt’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way ForwardDenodo
 
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...Denodo
 
How to Build Your Data Marketplace with Data Virtualization?
How to Build Your Data Marketplace with Data Virtualization?How to Build Your Data Marketplace with Data Virtualization?
How to Build Your Data Marketplace with Data Virtualization?Denodo
 
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
Webinar #2 - Transforming Challenges into Opportunities for Credit UnionsWebinar #2 - Transforming Challenges into Opportunities for Credit Unions
Webinar #2 - Transforming Challenges into Opportunities for Credit UnionsDenodo
 
Enabling Data Catalog users with advanced usability
Enabling Data Catalog users with advanced usabilityEnabling Data Catalog users with advanced usability
Enabling Data Catalog users with advanced usabilityDenodo
 
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...Denodo
 
GenAI y el futuro de la gestión de datos: mitos y realidades
GenAI y el futuro de la gestión de datos: mitos y realidadesGenAI y el futuro de la gestión de datos: mitos y realidades
GenAI y el futuro de la gestión de datos: mitos y realidadesDenodo
 
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...Denodo
 

Plus de Denodo (20)

Enterprise Monitoring and Auditing in Denodo
Enterprise Monitoring and Auditing in DenodoEnterprise Monitoring and Auditing in Denodo
Enterprise Monitoring and Auditing in Denodo
 
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps ApproachLunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
 
Achieving Self-Service Analytics with a Governed Data Services Layer
Achieving Self-Service Analytics with a Governed Data Services LayerAchieving Self-Service Analytics with a Governed Data Services Layer
Achieving Self-Service Analytics with a Governed Data Services Layer
 
What you need to know about Generative AI and Data Management?
What you need to know about Generative AI and Data Management?What you need to know about Generative AI and Data Management?
What you need to know about Generative AI and Data Management?
 
Mastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business LandscapeMastering Data Compliance in a Dynamic Business Landscape
Mastering Data Compliance in a Dynamic Business Landscape
 
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
Denodo Partner Connect: Business Value Demo with Denodo Demo LiteDenodo Partner Connect: Business Value Demo with Denodo Demo Lite
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
 
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
 
Drive Data Privacy Regulatory Compliance
Drive Data Privacy Regulatory ComplianceDrive Data Privacy Regulatory Compliance
Drive Data Privacy Regulatory Compliance
 
Знакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данныхЗнакомство с виртуализацией данных для профессионалов в области данных
Знакомство с виртуализацией данных для профессионалов в области данных
 
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
Data Democratization: A Secret Sauce to Say Goodbye to Data FragmentationData Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
 
Denodo Partner Connect - Technical Webinar - Ask Me Anything
Denodo Partner Connect - Technical Webinar - Ask Me AnythingDenodo Partner Connect - Technical Webinar - Ask Me Anything
Denodo Partner Connect - Technical Webinar - Ask Me Anything
 
Lunch and Learn ANZ: Key Takeaways for 2023!
Lunch and Learn ANZ: Key Takeaways for 2023!Lunch and Learn ANZ: Key Takeaways for 2023!
Lunch and Learn ANZ: Key Takeaways for 2023!
 
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way ForwardIt’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
 
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
 
How to Build Your Data Marketplace with Data Virtualization?
How to Build Your Data Marketplace with Data Virtualization?How to Build Your Data Marketplace with Data Virtualization?
How to Build Your Data Marketplace with Data Virtualization?
 
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
Webinar #2 - Transforming Challenges into Opportunities for Credit UnionsWebinar #2 - Transforming Challenges into Opportunities for Credit Unions
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
 
Enabling Data Catalog users with advanced usability
Enabling Data Catalog users with advanced usabilityEnabling Data Catalog users with advanced usability
Enabling Data Catalog users with advanced usability
 
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
 
GenAI y el futuro de la gestión de datos: mitos y realidades
GenAI y el futuro de la gestión de datos: mitos y realidadesGenAI y el futuro de la gestión de datos: mitos y realidades
GenAI y el futuro de la gestión de datos: mitos y realidades
 
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
 

Session découverte de la Logical Data Fabric soutenue par la Data Virtualization

  • 1. Session découverte de la Logical Data Fabric soutenue par la Data Virtualization Tarik Zaakour Consultant avant-ventes Mardi 16 Mai 2023
  • 2. AGENDA 1. Généralités 2. Introduction à la Data Virtualization 3. Une plateforme logique 4. Ce que disent les analystes 5. L’approche logique et le Data Mesh 6. Cas d’usage et études de cas clients 7. Gouvernance & sécurité 8. Les APIs 9. Comment Denodo optimise ses requêtes? 10. Exemples de déploiement 11. Questions/Réponses 12. Démonstration avec le Denodo Test Drive 13. Questions/Réponses 14. Prochaines étapes
  • 4. 4 Quelques généralités • La présentation sera enregistrée • Les échanges et les questions/réponses • Avant la démonstration • A la fin de la présentation • N’hésitez pas à poser vos questions dans le chat au fil de l’eau • Pour accéder aux test drives : • Se connecter à www.denodo.com • Rubrique “Try Denodo Platform” puis “Denodo Test Drives” • Le Test Drive sur Azure n’est qu’un début : cas d’usage Data Science et Data Marketplace sur AWS et GCP
  • 5. Introduction à la Data Virtualization Pourquoi la Data Virtualization? Défis, Solutions et Avantages
  • 6. 6 Acteurs et données de nos écosystèmes actuels Situation actuelle simplifiée Sales HR Apps/API Executive Marketing Data Science AI/ML 75% de la donnée stockée jamais utilisée 90% des demandes nécessitent du temps-réel Problèmes les plus communs: × Collaboration et partage limitées × Vues métiers inconsistantes et limitées × Gouvernance complexe × Environnement fragmenté × Beaucoup (trop) de réplication × Synchronisations en cascade, longues et coûteuses
  • 7. 7 Qu’est-ce la Data Virtualization? Un logiciel permettant l’intégration et la gestion moderne des données d’entreprises Point d’entrée unifié pour rechercher , explorer et consommer la donnée Self-service pour tous les profils de l’entreprise Sécurité et gouvernance renforcées Plateforme moderne Sales HR Executive Marketing Apps/API Data Science AI/ML
  • 8. 8 Plateforme de données moderne souhaitée Simplicité, rapidité/agilité, sécurité… à moindre coût Connecter, introspecter & Gouverner vos source, avec zéro réplication de la donnée Combiner & intégrer vos données en vues métiers Consommer & Sécuriser les vues métiers dans de multiples formats Sales HR Executive Marketing Apps/API Data Science AI/ML
  • 9. 9 Le fonctionnement de la Data Virtualization? Connecter, Combiner & Consommer Sales HR Executive Marketing Apps/API Data Science AI/ML CONNECTER, INTROSPECTER & GOUVERNER VOS SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE COMBINER & INTEGRER VOS DONNÉES EN VUES MÉTIERS CONSOMMER & SECURISER LES VUES MÉTIERS DANS DE MULTIPLES FORMATS COMBINE & INTEGRATE INTO BUSINESS DATA VIEWS
  • 10. Une plate-forme logique pour : l'intégration, la gestion et la livraison des données
  • 11. 11 La plateforme Denodo : UNE plateforme logique pour toutes vos données Intégrez, gérez et fournissez logiquement des données distribuées TOUTE SOURCE DE DONNÉES TOUT CONSOMMA TEUR DE DONNÉES TOUT ENVIRONNEMENT DE PLATEFORME On-Premises | Cloud | Multi-Cloud | Conteneurisé Data Governance Tools BI Dashboard Report and Tools Data Science & Machine Learning Apps Mobile & Enterprise Apps Microservice s Apps DB, DW & Data Lakes Files Cloud DB & SaaS Streaming Data & IoT Cube Smart Query Acceleratio n AI/ML Recommendations & Automation Advanced Semantics & Active Data Catalog Unified Security & Governance Logical Data Abstraction Real-Time Data Integration
  • 12. 12 INTÉGREZ Des données disparates dans n'importe quel emplacement, format ou latence Files Cubes Cloud Stores Traditional DB & DW Data Lake & NoSQL Hybrid/ Multi-Cloud Security & Governance Al/ML Recommendations Advanced Semantics GEREZ Des données connexes avec un modèle sémantique universel et une fonctionnalité AI / ML permettant une gouvernance des données vitales Query Optimization & Acceleration Data Catalog Discover / Explore / Document BI Tools SQL / MDX Data Science Tools Data as a Service RESTful / Odata GraphQL/ GeoJSON LIVREZ Et démocratisez les données à l'aide d'outils de BI et de data science, de catalogues de données et d'API La plateforme Denodo : la plateforme logique pour toutes vos données
  • 13. 13 BI Tools Data Science Tools Architecture de la plateforme Denodo CATALOGUE DE DONNÉES Découvrir - Explorer - Documenter DATA AS A SERVICE RESTful / OData GraphQL / GeoJSON SQL CONSOMMATEURS INTEGRER des données disparates, quel que soit l'endroit, le format ou la latence GÉRER des données connexes dans des vues avec un modèle sémantique universel LIVREZ en utilisant des outils de BI et de science des données, un catalogue de données et des API. Self-Service Hybrid/ Multi-Cloud Optimisation de Requêtes AI//ML Recommendations Securité PLATEFORME D'INTÉGRATION, DE GESTION ET DE DIFFUSION DES DONNÉES SOURCES 150+ data adapters Apps Streaming Gouvernance des données SaaS Files OLAP Hadoop & NoSQL Cloud Stores Traditional DB & DW
  • 14. 14 Les couches dans Denodo Couches de connectivité Couche d’intégration Couches des entités métiers Couche applicative Couches des services web
  • 15. 15 Principaux différenciateurs FACILITÉ D'UTILISATION Une interface intuitive et facile à utiliser pour favoriser la démocratisation et la découverte des données. RÉPONSE RAPIDE AUX REQUÊTES L'optimisation des requêtes permet d'obtenir des résultats plus rapidement, ce qui se traduit par un meilleur calcul et une réduction des coûts. CATALOGUE DE DONNÉES ACTIF INTÉGRÉ Offre une expérience axée sur la sémantique pour faciliter la découverte et la gouvernance des données. CONNECTIVITÉ UNIVERSELLE Intégration à plus de 150 sources de données COUCHE API DE SERVICES DE DONNÉES MODERNES Fournir des données par le biais d'un schéma unique accessible par une couche API moderne. MASQUAGE DYNAMIQUE DES DONNÉES Fournit des capacités améliorées de gouvernance des données GESTION AUTOMATISÉE DU CLOUD augmentez ou réduisez vos dépenses pour mieux gérer les coûts associés aux pics d'utilisation. Réduction de 83 %. dans le délai de recouvrement des recettes 67% de réduction dans l'effort de préparation des données Diminution de 65%. dans les délais de livraison par rapport à l'ETL Source: Forrester Total Economic ImpactTM of Data Virtualization, 2021
  • 16. Ce que disent les analystes
  • 17. 17 - Gartner Magic Quadrant for Data Integration Tools, August 2021 Denodo permet à ses clients de connecter des données distribuées grâce à des modèles sémantiques conviviaux qui découplent les données de leur emplacement et des schémas physiques. Cela reflète une concentration et une force de longue date dans la virtualisation des données qui permet une intégration et une livraison agiles des données."
  • 18. 18 Evaluations de Gartner et Forrester Research A la pointe du secteur de l’Intégration de Données Forrester Wave : Virtualisation des données d'entreprise, quatrième trimestre 2017 Forrester Wave : Enterprise Data Fabric, Q2 2022 Quadrant magique Gartner 2022 pour les outils d'intégration de données
  • 19. 19 Denodo - Seul vendeur à avoir une note parfaite de 5.0 ! Seul fournisseur avec un score parfait de 5,0 en virtualisation des données et de toutes les autres fonctionnalités critiques Meilleur score conjoint de 4,0 dans les services d'API de tous les autres fournisseurs d’Intégration de Données Tableau 2 : Évaluation du produit/service sur les capacités critiques Capacités critiques de Gartner pour les outils d'intégration de données ; Publication – Août 2022
  • 20. 20 Gartner Peer Insights "La voix du client" : Outils d'intégration de données ; Publié - 28 janvier 2022 Denodo - Choix des clients 2022, pour la deuxième année consécutive ▪ Denodo est l'un des trois seuls leaders MQ à avoir été désigné comme le choix des clients parmi les 18 fournisseurs figurant dans le rapport. ▪ Avec une note globale de 4,4 sur 5,0, Denodo est le troisième fournisseur d'intégration de données le mieux noté de tous les temps. Gartner Peer Insights "La voix du client" : Data Integration Tools, 28 janvier 2022 « Très bonne expérience. Le logiciel fournit les fonctionnalités qui sont décrites sur la fiche produit avec un très haut niveau de professionnalisme. Il contribuera à la création d'une culture des données plus forte en facilitant l'accès aux données pour les utilisateurs métiers. » - Directeur des données, industrie de l'énergie, 30 milliards de dollars de revenus annuels
  • 21. L’approche logique et le Data Mesh
  • 22. L'objectif principal de Data Mesh est d'accélérer la création de données fiables, de haute qualité et conformes à partager dans toute l'entreprise. Cet objectif est atteint en formant les utilisateurs de l'entreprise à produire ces données plutôt que de toujours compter sur des équipes informatiques centralisées qui peuvent ne pas être en mesure de suivre le rythme de la demande. Architecture Data Mesh
  • 23. 23 Les principes du Data Mesh ▪ Propriété et architecture des données décentralisées orientées domaine. ▪ Les données en tant que produit. ▪ Ensembles de données réutilisables ▪ Peut être consommé par différents systèmes analytiques à partir de différentes charges de travail analytiques ▪ Construire une fois, réutiliser partout ▪ Infrastructure de données en libre-service en tant que plate-forme. ▪ Gouvernance fédérée des données informatiques.
  • 24. 24 Implémentation du Data Mesh avec Denodo SQL Operational EDW Data Lakes Files SaaS APIs REST GraphQL OData Event Product Customer Location Employee Domaine commun Gestion des événements Ressources humaines Chaque domaine se voit attribuer un schéma virtuel distinct. Un domaine commun peut être utile pour les produits de données centralisés communs à tous les domaines. 1 1 Les domaines connectent leurs sources de données. 2 Les métadonnées sont mappées sur des vues relationnelles. Aucune donnée n'est répliquée. 3 3 2 Les domaines peuvent modéliser leurs produits de données. Les produits peuvent être utilisés pour définir d'autres produits. 4 4 Pour l'exécution, les produits peuvent être servis directement à partir de leurs sources ou répliqués vers un emplacement central, comme un lac. 5 5 Une équipe centrale peut définir des directives et une gouvernance pour assurer l'interopérabilité. 6 6 Les produits peuvent être accessibles via SQL ou exposés en tant qu'API. Aucun codage n'est requis. 7 7 L'infrastructure peut facilement évoluer dans un cluster. 8 8
  • 25. 25 Architectures monolithiques ▪ Centralisée : toutes/la plupart des données dans un seul système ▪ Toutes les données doivent être copiées sur le système cible ▪ Les données doivent être répliquées pour les adapter à chaque nouveau cas d'utilisation (data marts) ▪ Géré par une équipe de données informatiques centrale ▪ Physique : les consommateurs doivent savoir : ▪ Emplacement des données ▪ Comment les données sont représentées dans ce système ▪ Quelles méthodes d'accès sont prises en charge dans ce système ▪ Exemples : Entrepôt de données, Data Lake, Data LakeHouse
  • 26. 26 Les 6 piliers de Data Fabric s'alignent sur la vision de base de Denodo 1. Point d'accès unique à toutes les données à n'importe quel endroit 2. Des données exposées sous une forme Business-Friendly, adaptée aux besoins de chaque consommateur 3. Faible coût et mise sur le marché rapide : jusqu'à 80 % de réduction des coûts d'intégration de données 4. Référence pour les données de confiance via la sémantique : appliquez une sémantique, une qualité, une gouvernance et une sécurité des données cohérentes 5. Découvrabilité : Le Data Catalog actif crée un marché de données pour l'entreprise 6. ML et automatisation pour accélérer toutes les étapes du cycle de vie de la gestion des données
  • 27. 27 Les six piliers de la Data Fabric Gartner envisage un système basé sur six piliers pour fournir la base d'une Data Fabric : 1. Catalogue de données augmenté 2. Graphe de connaissances enrichi de sémantique 3. Activation des métadonnées 4. Moteur de recommandation 5. Préparation et livraison des données 6. Orchestration et DataOps
  • 28. 28 - The Forrester Wave™: Enterprise Data Fabric, Q2 2020 La solution data fabric de Denodo intègre les composants clés de la gestion des données, notamment l'intégration, l'ingestion, la transformation, la gouvernance et la sécurité des données, afin de prendre en charge les cas d'utilisation nouveaux et émergents, notamment les clients 360, l'analyse en temps réel et à la demande, l'analyse IoT et l'analyse en libre-service."
  • 29. Cas d’usage et études de cas clients
  • 30. 30 Virtualisation des données : fondement des architectures logiques et distribuées « Les capacités de virtualisation des données offrent une couche d'accès et de livraison qui peut servir de base à la structure logique des données, laquelle offre des fonctions d'automatisation importantes dans l'espace de gestion des données. Il s'agit notamment de l'automatisation des recommandations de données, de la qualité des données, de la gouvernance des données et des politiques, en plus des fonctions d'intégration de base de la virtualisation des données » – Gartner: Assessing the Relevance of Data Virtualization in Modern Data Architectures, June 2021 6 Capacités clefs dans les architectures de données logiques et distribuées Cas d'utilisation différenciés Personnes Hybrid/Multi- Cloud Data Integration Self-Service BI Lakehouse/ Analytics Query Accelerator 3600 View of Entities Data Replication Data Science Enterprise Data Services Data Fabric/ Data Mesh Data/BI Analysts Data Scientists Architects Data Engineers/ Developers Data Ops Admin Temps réel d'Intégration de Données Données logiques Abstraction Requête Intelligente et Accélération Sémantique avancée Automatisation et recommandation Sécurité unifiée et gouvernance Data Catalog AI/ML
  • 31. 31 Présentation • Besoin d'une vue omnicanal en temps réel à 360 degrés des données des patients à travers les différentes sources. • Les processus ETL traditionnels n'étaient pas assez rapides pour répondre aux besoins en données des équipes métiers. • Réduire le temps de développement pour transformer les données pour au final un usage analytique. • Faciliter l'accès aux données sur plusieurs sources de données. • De plus en plus d'applications migrent vers le cloud, mais la nécessité d'analyser les données de manière croisée reste toujours présente • Les scientifiques des données utilisent la couche de virtualisation Denodo pour explorer les données, écrire des scripts et élaborer des recommandations pour augmenter les ventes et améliorer les traitements • La plate-forme Denodo est établie comme un élément essentiel de l'architecture de l'entrepôt de données logique au-dessus des diverses sources de données d'UCB. • La plate-forme Denodo se connecte, au lieu de collecter des données comme dans ETL, à chaque source et présente des vues de données aux utilisateurs professionnels sous la forme d'une couche sémantique virtuelle • En un an de mise en œuvre de Denodo, UCB a pu mettre en production six cas d'utilisation différents dans différents domaines fonctionnels. • La plate-forme Denodo a réduit de moitié le temps de développement par rapport au temps requis par les processus ETL de l'entreprise. • Denodo a fourni à UCB la vitesse, l'efficacité et l'agilité dont l'entreprise avait besoin, ce qui lui a permis d'avancer avec ses produits de données tout en rationalisant les rapports réglementaires. Les défis La solution Les résultats Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de transformer la vie des personnes atteintes de maladies neurologiques et immunologiques sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre d'affaires total de plus de 5 milliards de dollars
  • 32. 32 Présentation Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de transformer la vie des personnes atteintes de maladies neurologiques et immunologiques sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre d'affaires total de plus de 5 milliards de dollars Les applications consommatrices Les sources Netezza MyAccess SQL Server Gouvernée & Sécurisée Plateforme de Livraison de Données Coûts de dév. Agilité Avec le meilleur TTM
  • 34. 34 Catalogue de données avec accès aux données
  • 35. 35 Catalogue de données La virtualisation des données avec Le Data Catalog offre trois avantages principaux : 1. Une compréhension et un accès à toutes les données et métadonnées de l'entreprise. 2. BI libre-service 3. Élimination du besoin de créer de nouveaux magasins de données et de déplacer physiquement les données SYNCHRONISATION DES MÉTADONNÉES Denodo Platform prend en charge : • La découverte et capture de métadonnées à partir de systèmes de gestion de bases de données • La synchronisation de modèles de données avec des outils de modélisation de données. • Pour la synchronisation des modèles de données, la plateforme Denodo fournit des fonctions d'analyse des mises à jour et modifications des sources et des modifications dans le schéma sous- jacent, permettant de décider de propager ou non la modification dans le schéma Denodo. INTÉGRATION AVEC DES OUTILS TIERS DE GESTION DE MÉTADONNÉES Denodo n'est pas en concurrence mais complète les solutions de catalogue de données d'entreprise en les rendant opérationnelles.
  • 36. 36 Principes de sécurité Contrôle centralisé ▪ Autoriser l'accès en fonction des besoins de l'entreprise, indépendamment de la localisation des données ou de la méthode d'accès ▪ Définir un contrôle d'accès fin sur toutes les sources de données (fichiers, services web, ...) ▪ Configuration centralisée Intégré à votre environnement ▪ SSO, Kerberos ▪ Authentification locale ou LDAP ▪ Comptes de pass-though ou de service nom pays téléphone SSN John Smith USA 555-1212 Alain Durand France Mary White USA 555-2212 Contrôler l'accès aux colonnes, aux lignes ou même aux valeurs individuelles
  • 37. 37 Principes de sécurité Contrôle centralisé Denodo gère la sécurité comme sur une DB : ▪ S’intègre avec votre Active Directory & SSO ▪ Masquage dynamique, restrictions sur les colonnes et les lignes selon les Roles & Privileges des utilisateurs Intégré à votre environnement Centralise la sécurité - basée sur comment les utilisateurs utilisent la donnée et non comment elle est stockée IT Semantic Layer JOIN GROUP BY GROUP BY 1. Requête métier 2. Authentification avec une corporate identity 3. Application des règles d’autorisation . Par exemple, masque SSN et restriction locale 4. Requête envoyée à la source avec les filtres de conditions correspondants 5. Résultat sécurisé est généré et envoyé à l’utilisateur DISPARATE DATA SOURCES Less Structured More Structured DATA CONSUMERS DATA CONSUMERS Analytical Operational
  • 39. 39 Architecture de référence de virtualisation des données Metadata Management, Data Governance, Data Security Data Warehouse Web, Cloud, Saas Enterprise Applications Enterprise Application Web Mobile Data Sources Service Consumers Data Search & Discovery Federation Transformation Abstraction Data Services Federation Transformation Abstraction Optimization Security Governance Data Caching Enterpri se Service Bus SOA Service Providers • Génération automatique de documents Swagger • Prise en charge de tous les formats • Réutilisations des fondements de la sécurité Denodo • Héritage des aspects sécurités A P I M a n a g e m e n t P l a t f o r m
  • 40. Comment Denodo optimise ses requêtes ?
  • 41. 41 La performance Les données restent à la source ▪ Lorsqu’une requête est traitée par Denodo, les données sont remontées depuis les sources ▪ Potentiellement un volume de données important dans des sources disparates Stratégie de Denodo : Maximiser le traitement à la source ▪ Minimiser le trafic réseau ▪ Tirer parti des capacités de traitement des sources ▪ Compléter avec un cache intelligent ▪ Optimisations spécifiques pour les sources MPP (Massively Parallel Processing)
  • 42. 42 La performance SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Ventes Client Table temporaire JOIN GROUP BY Option 1 Option 2 Option 3 Temp-Client Les données « clients » et « ventes » sont stockées dans différentes sources. Quel est le meilleur plan d'exécution ? Stratégie fédération simple (outils BI) Mouvement temporaire des données (Si les sources le permettent) 2 M 50 Ventes Client JOIN GROUP BY ID GROUP BY state Délégation partielle d'agrégation 2 M 2 M ... juste un exemple parmi les stratégies appliquées par Denodo dans l'optimisation des requêtes 300 M 2 M Ventes Client JOIN GROUP BY
  • 43. 43 La performance Système Temps d'exécution Données transférées Technique d'optimisation Denodo 9 sec. 4 M La delegation de l'agrégation Autres 125 sec. 302 M Aucun : scan complet 300 M 2 M Ventes Client JOIN GROUP BY 2 M 2 M Ventes Client JOIN GROUP BY ID GROUP BY state Pour maximiser la délégation au dataware, l'agrégation est divisée en 2 étapes : • 1ère par ID client • 2ème par État Cela a considérablement réduit le trafic réseau et la complexité de traitement dans Denodo SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state
  • 44. 44 « Summaries » et mise en cache dans votre stratégie de modélisation Couche d’abstraction Modèles sources originaux Couche sémantique Modèle logique DW Couche métier (optionnel) Vue dénormalisée pour les entreprises Couche de Reporting (optionnel) Rapports prédéfinis avec métriques calculées Caching Sources lentes et protégées uniquement Summaries Summaries Caching
  • 45. 45 Nous ajoutons un moteur MPP à la plateforme Denodo Logical Layer Logical Layer Traditional DB & DW Cloud Excel MPP Engine Traditional DB & DW Cloud Data Lakes Excel Distributed FS Distributed FS
  • 46. 46 De la fédération multi-sources naïve à l'accélération Denodo MPP JOIN GROUP BY Sales 300 M 2 M Customer Item 200K Temp tables DATA MOVEMENT Sales Customer 300 M 100k JOIN GROUP BY Oracle Item 20k 2 M Customer Oracle Item 200K MPP ACCELERATION SELECT i_category, c_last_name, SUM(ss_net_paid_inc_tax) AS price FROM tpcds_parquet.store_sales INNER JOIN tpcds_oracle.customer ON ss_customer_sk = c_customer_sk INNER JOIN tpcds_oracle.item ON i_item_sk = ss_item_sk GROUP BY i_category, c_last_name Autres fédérateurs : Stratégie naïve Denodo: Data Movement Denodo + Presto: MPP Acceleration Denodo MPP Denodo MPP Oracle Sales 300 M Denodo MPP JOIN GROUP BY
  • 47. 47 De la fédération multi-sources naïve à l'accélération Denodo MPP Denodo Presto Naïve RBO RBO + CBO RBO + CBO + MPP Tout dans Presto (reference) Time ∞ 13,5 s 6,5s 1,9s 1.9s Plan Federation Aggregation Push- down Data Movement MPP Acceleration n/a SELECT i_category, c_last_name, SUM(ss_net_paid_inc_tax) AS price FROM tpcds_parquet.store_sales INNER JOIN tpcds_oracle.customer ON ss_customer_sk = c_customer_sk INNER JOIN tpcds_oracle.item ON i_item_sk = ss_item_sk GROUP BY i_category, c_last_name
  • 49. 49 Environnement Cloud Denodo AWS Cloud Infrastructure Azure Cloud Infrastructure On-Prem Environment Azure VM Metro Transit Department T-Bird DCHS Integrated Health SQL Data Warehouse Azure Data Lake Databricks Python/Azure ML SQL Data Warehouse Azure Data Lake Databricks Python/Azure ML SQL Data Warehouse Azure Data Lake KCSO Analytics Platform Azure Commercial Azure Commercial Azure Government Enterprise Tools On-Prem Host On-Prem Host Data Catalog (Future) Data Governance (Future) Data Quality (Informatica) Client Machines BI Insights Data Warehouse Geo (ArcGIS Online) Reports (Tableau) Reports (Power BI) Dashboards (Power BI) Open Data (Socrata) Machine Learning Predictive Models Departments Agencies Citizens Council Denodo is Java code that can be run on Azure in: • A VM • A Docker Container • A Kubernetes Cluster Informatica DI Subnet Business Resource Center HUB VNet Subnet VNet UDR Peering On-Prem VM Subnet
  • 50. 50 Entrepôt de données logique moderne Consommation DATA FLOW • Join big data and analytical queries housed in ADLS and other on-Prem Big Data platforms. • Join Snowflake and secure data across snowflake with corporate security model while also providing graphical UI joining tool. • Leverage azure analytical layer for silo’d data across the azure services. • Incorporate relational data from on-prem and cloud sources. • Optimize and translate queries across platforms to increase speed and efficiency of queries. • Parallel SQL across cloud and on-prem environments for further optimization and speed increases. • Provide a single source for all consumption layer no matter the query or request with complete governance and audit trail. 1 2 3 4 5 6 7 Source Oracle Big Data SQL Server API SQL Azure Denodo Virtualization API SQL On-Prem Denodo Virtualization • 3rd Party Data (IMS, etc.) • Internal Apps • Email • External Apps • Social Media • Flat Files • IOT Streams • Data Hubs • Regulator y Authoritie s • Rest API’s ADLS Gen 2 Big Data Data Lake Relational Analytical Relational 6 5 Data Lake Relational Relational Bbig Data 7 1 2 3 4 2 4 4 1 5
  • 51. Q&A
  • 52. Démonstration avec le Denodo Test Drive
  • 53. 53 Atelier : analyse tendances annuelles de ventes
  • 55. 55 Depuis 1999, nous nous concentrons sur l'intégration, la gestion et la fourniture de données. Denodo: Leader en Gestion de Data BUREAUX DE DENODO, EMPLOYÉS Présence mondiale - 25 bureaux dans 20 pays ; plus de 500 employés. Nouveaux bureaux en 2021 - Pays- Bas, Belgique, Suède, Corée du Sud. CLIENTS et PARTENAIRES + 1000 clients, dont de nombreuses sociétés F500 et G2000 dans tous les grands secteurs d'activité. + 300 partenaires actifs et engagés, dans le monde entier . FINANCES ~50% de croissance annuelle 108% de rétention nette ; 4% de désabonnement 0 $ de dette ; rentable Leader : Quadrant magique de Gartner pour les outils d'intégration de données, 2021 Leader : Vague 2020 de Forrester - Enterprise Data Fabric, Q2 2020 Leader : Forrester 2017 Wave - Data Virtualization, quatrième trimestre 2017. LEADERSHIP Customers’ Choice: 2022 Gartner Peer Insights for Data Integration Tools (2nd year in a row)
  • 56. 56 +1000 clients, dont de nombreuses entreprises du Fortune 500 et du Global 2000, +30 secteurs d'activité. Sélection de clients de référence dans les principaux secteurs d'activité Services Financiers Santé Production Assurance Detail Pharma / Biotech Technologie Secteur Publique Telecommunications Energie
  • 57. 57 Sélection de partenaires intégrateurs de systèmes et revendeurs 300+ Spécialistes & Partenaires de Solutions Partenaires intégrateurs de systèmes mondiaux Partenaires Intégrateurs de Systèmes Régionaux
  • 58. 58 3rd Party Connectors Data Science / Prep Tools Alliances Technologiques - Ecosystème MDM & DQ Tools Data Governance Tools Cloud Service Providers Big Data/NoSQL Sources HDInsight BI & Reporting Tools Data Modeling Tools Security & Privacy Traditional Data Sources SaaS/Cloud Applications Cloud Data Warehouses API Management / ESB
  • 59. 59 Denodo: Leader en Gestion de Data Leader & Pionnier dans la Data Virtualization AUTO ÉVALUATION ÉVALUATION COLLABORATIVE Téléchargez Denodo Express Contactez-nous ! Évaluez (1h) avec le Test Drive: Denodo Platform for AWS, Azure ou GCP BUREAUX DE DENODO, EMPLOYÉS Présence mondiale - 25 bureaux dans 20 pays ; plus de 500 employés. Nouveaux bureaux en 2021 - Pays- Bas, Belgique, Suède, Corée du Sud. CLIENTS et PARTENAIRES + 1000 clients, dont de nombreuses sociétés F500 et G2000 dans tous les grands secteurs d'activité. + 300 partenaires actifs et engagés, dans le monde entier . FINANCES ~50% de croissance annuelle 108% de rétention nette ; 4% de désabonnement 0 $ de dette ; rentable
  • 60. 60 Denodo: Nos prochains événements EN LIGNE : - Webinar – Sujet Data Mesh : 1er Juin 2023 EN PERSONNE : - Cours Architecture : 6-7 Juin 2023 - Matinée Conférence Denodo : 21 juin 2023
  • 61. Q&A
  • 62. Thanks! www.denodo.co m info@denodo.co m © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.