Denodo , profile picture
Téléchargé parDenodo
PDF, PPTX290 vues

Session découverte de la Data Virtualization

L'atelier sur la virtualisation des données présente des concepts clés, des défis et des avantages de cette technologie ainsi que des études de cas clients, démontrant comment Denodo facilite l'accès et la gestion des données en temps réel. Les participants découvrent des cas d'utilisation variés dans des secteurs comme la biopharmacie et la distribution, soulignant l'importance de l'intégration des données pour la prise de décision rapide et efficace. Le document met également en évidence les tendances du marché et les analyses des experts sur l'avenir de l'intégration des données et l'utilisation croissante de l'IA dans ce domaine.

Intégrer la présentation

Télécharger en tant que PDF, PPTX
Atelier découverte de la virtualisation des données Avril 2022 Tarik Zaakour, Principal sales engineer
Agenda 1. Généralités 2. Introduction à la Data Virtualization 3. Ce que disent les analystes 4. Cas d’usage et études de cas clients 5. Gouvernance & sécurité 6. Les APIs 7. Comment Denodo optimise ses requêtes? 8. Exemples de déploiement 9. Questions/Réponses 10. Démonstration avec le Denodo Test Drive 11. Questions/Réponses 12. Prochaines étapes
Généralités
4 Quelques généralités • La présentation sera enregistrée • Les échanges et les questions/réponses • Avant la démonstration • A la fin de la présentation • N’hésitez pas à poser vos questions dans le chat au fil de l’eau • Pour accéder aux test drives : • Se connecter à www.denodo.com • Rubrique “Try Denodo Platform” puis “Denodo Test Drives” • Le Test Drive sur Azure n’est qu’un début : cas d’usage Data Science et Data Marketplace sur AWS et GCP
Introduction à la Data Virtualization Pourquoi la Data Virtualization? Défis, Solutions et Avantages
6 Acteurs et données de nos écosystèmes actuels Situation actuelle simplifiée : Sales HR Apps/API Executive 75% de la donnée stockée jamais utilisée 90% des demandes nécessitent du temps-réel Marketing Problèmes les plus communs: × Collaboration et partage limitées × Vues métiers inconsistantes et limitées × Gouvernance complexe × Environnement fragmenté × Beaucoup (trop) de réplication × Synchronisations en cascade, longues et coûteuses Data Science AI/ML
7 Plateforme de données moderne souhaitée POINT D’ENTRÉE UNIFIÉ Pour rechercher, explorer et consommer la donnée SELF-SERVICE Pour tous les profils de l’entreprise SÉCURITÉ & GOUVERNANCE renforcées Simplicité, rapidité/agilité, sécurité… à moindre coût Plateforme moderne Sales HR Executive Marketing Apps/API Data Science AI/ML
8 CONNECTER, INTROSPECTER & GOUVERNER vos sources, avec ZÉRO RÉPLICATION DE LA DONNÉE COMBINER & INTÉGRER vos données en vues métiers CONSOMMER & SÉCURISER LES VUES MÉTIERS dans de multiples formats Qu’est-ce la Data Virtualization? Un logiciel permettant l’intégration et la gestion moderne des données d’entreprises Sales HR Executive Marketing Apps/API Data Science AI/ML
9 CONNECTER, INTROSPECTER & GOUVERNER VOS SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE COMBINER & INTEGRER VOS DONNÉES EN VUES MÉTIERS CONSOMMER & SECURISER LES VUES MÉTIERS DANS DE MULTIPLES FORMATS Le fonctionnement de la Data Virtualization? Connecter, Combiner & Consommer Sales HR Executive Marketing Apps/API Data Science AI/ML COMBINE & INTEGRATE INTO BUSINESS DATA VIEWS
Ce que disent les analystes
By 2022, more than 80% of Datalake projects will not provide value, as data research, inventory and preservation will prove to be the biggest obstacle to successful analysis and data management. Science. Source: “Augmented Data Catalogs: Now an Enterprise Must-Have for Data and Analytics Leaders.” September 12, 2019 Reference customers have appreciated Denodo's connectivity and data delivery capabilities supported by metadata management, which has contributed to high scores for data integration for optimized analyses and data service orchestration use cases. The focus on data catalogue functionality - i.e. enabling users to inventory distributed data assets connected to Denodo, and to collect, access and use metadata to inform data integration activities - increases the relevance of the tool for the data consistency use case. Predicts 2020: The Future of Application Architecture, Development, Integration and Platforms By 2023, more than 50% of the new integration technologies evaluated will include AI as one of the key criteria for simplifying integration. ’’ DATA MANAGEMENT & INTEGRATION : from SPECIFIC to DYNAMIC The future of DATA MANAGEMENT will be more  « CONNECT » than « COLLECT » - Dynamic - Augmented with Machine Learning - Distributed - Schema neutral - Content & context oriented - Fix Infrastructures will be commodities - Less Design/Deploy/Maintain ’’ ’’ -Critical Capabilities for Data Integration Tools, 8 October 2019 ’’ # CONNECTER EST L'AVENIR # CATALOGUE DE DONNÉES POUR RÉALISER DES PROJETS DATALAKE # SCORES ÉLEVÉS POUR DENODO # IA & INTEGRATION
12 “Denodo provides its customers with the capabilities to automate the design of a Data Fabric with its components - a unified semantic catalog of data, a query optimization engine, and metadata-based ML algorithms. The design of its data model relies on Data Virtualization to quickly deliver integrated data to users for faster results ” 2020 Gartner Magic Quadrant for Data Integration Tools Denodo nommé leader – Juin 2021 - Gartner Magic Quadrant for Data Integration Tools, August 2020 BY 2023, ORGANIZATIONS USING DATA FABRICS TO DYNAMICALLY CONNECT, OPTIMIZE AND AUTOMATE DATA MANAGEMENT PROCESSES WILL REDUCE THEIR DATA INTEGRATION AND DELIVERY TIME BY AT LEAST 30%. "
RECONNAISSANCE CLIENT, ANALYSTE ET INDUSTRIE 3 POINTS MAJEURS : TIME-TO-MARKET, RÉDUCTION DES COÛTS & CONTRÔLE DES DONNÉES 3x à 10x - 40% cost Up to -75% Agility Time to market Delivery Global TCO - Guide to Data Virtualization, Dec 2017 62% < 3 months 91% < 6 months Denodo Projects: - Peer Insight, Data Integration 2018 By 2022, 60% of all organizations will implement Data Virtualization as a key element of data integration architecture. - Market guide for Data Virtualization, Nov 2018 2021 Gartner Magic Quadrant for Data Integration Tools Forrester Wave: Enterprise Data Fabric, Q2 2020 Forrester Wave: Big Data Fabric, Q2 2018
14 The core of the matter is being able to consolidate many diverse data sources in an efficient manner by allowing trusted data to be delivered from all relevant data sources to all relevant data consumers through one common layer. Source: Demystifying the Data Fabric, Gartner, September 2020 The Data fabric focuses on automating the process integration, transformation, preparation, curation, security, governance, and orchestration to enable analytics and insights quickly for business success. Source: Enterprise Data Fabric Wave, Forrester, June 2020
15 Les six piliers de la Data Fabric Gartner envisage un système basé sur six piliers pour fournir la base d'une Data Fabric : 1. Catalogue de données augmenté 2. Graphe de connaissances enrichi de sémantique 3. Activation des métadonnées 4. Moteur de recommandation 5. Préparation et livraison des données 6. Orchestration et DataOps
16 Les 6 piliers de Data Fabric s'alignent sur la vision de base de Denodo 1. Point d'accès unique à toutes les données à n'importe quel endroit 2. Des données exposées sous une forme Business-Friendly, adaptée aux besoins de chaque consommateur 3. Faible coût et mise sur le marché rapide : jusqu'à 80 % de réduction des coûts d'intégration de données 4. Référence pour les données de confiance via la sémantique : appliquez une sémantique, une qualité, une gouvernance et une sécurité des données cohérentes 5. Découvrabilité : Le Data Catalog actif crée un marché de données pour l'entreprise 6. ML et automatisation pour accélérer toutes les étapes du cycle de vie de la gestion des données
17 Qu’est ce que le Data Mesh ? ▪ Le Data Mesh est un nouveau paradigme architectural pour la gestion des données ▪ Proposé par le consultant Zhamak Dehghani en 2019 ▪ Il passe d'une infrastructure de données centralisée par une seule équipe à une organisation distribuée ▪ Plusieurs unités autonomes (domaines) sont chargées de gérer et d'exposer leurs propres « produits de données » au reste de l'organisation ▪ Les produits de données doivent être facilement détectables, compréhensibles et accessibles au reste de l'organisation
18 Quels défis le Data Mesh essaie-t-il de relever? 1. Manque d'expertise du domaine dans les équipes de données centralisées ▪ Les équipes de données centralisées sont déconnectées de l'entreprise ▪ Ils doivent gérer des données et des besoins métiers qu'ils ne comprennent pas toujours 2. Manque de flexibilité des référentiels de données centralisés ▪ L'infrastructure de données des grandes organisations est très diversifiée et change fréquemment ▪ Les besoins analytiques modernes peuvent être trop divers pour être satisfaits par une seule plate-forme : une taille unique ne convient jamais. 3. Approvisionnement des données et réponse aux changements lents ▪ Nécessite d'extraire, d'ingérer et de synchroniser des données dans la plate-forme centralisée ▪ L'informatique centralisée devient un goulot d'étranglement
19 Comment ? • Les unités organisationnelles (domaines) sont responsables de la gestion et de l'exposition de leurs propres données • Les domaines comprennent mieux comment les données qu'ils possèdent doivent être traitées et utilisées • Leurs donne l'autonomie pour utiliser les meilleurs outils pour traiter leurs données, et les faire évoluer en cas de besoin • Résulte en des itérations de plus en plus courtes jusqu'à ce que les besoins de l'entreprise soient satisfaits • Supprime la dépendance aux infrastructures de données entièrement centralisées • Supprime les goulots d'étranglement et accélère les changements • Introduit de nouveaux concepts pour faire face aux risques tels que la création de silos de données, les efforts en double et le manque de gouvernance unifiée
20 Implémentation du Data Mesh avec Denodo SQL Operational EDW Data Lakes Files SaaS APIs REST GraphQL OData Event Product Customer Location Employee Common Domain Event Management Human Resources Chaque domaine se voit attribuer un schéma virtuel distinct. Un domaine commun peut être utile pour les produits de données centralisés communs à tous les domaines. 1 1 Les domaines connectent leurs sources de données. 2 Les métadonnées sont mappées sur des vues relationnelles. Aucune donnée n'est répliquée. 3 3 2 Les domaines peuvent modéliser leurs produits de données. Les produits peuvent être utilisés pour définir d'autres produits. 4 4 Pour l'exécution, les produits peuvent être servis directement à partir de leurs sources ou répliqués vers un emplacement central, comme un lac. 5 5 Une équipe centrale peut définir des directives et une gouvernance pour assurer l'interopérabilité. 6 6 Les produits peuvent être accessibles via SQL ou exposés en tant qu'API. Aucun codage n'est requis. 7 7 L'infrastructure peut facilement évoluer dans un cluster. 8 8
Cas d’usage et études de cas clients
22 Les cas d’usage de la Data Virtualization DU STOCKAGE & MANAGEMENT, À LA CONSOMMATION, EN PASSANT PAR LA GOUVERNANCE ET LA SÉCURITÉ DÉCISION (REAL TIME) K.Y.C. (CLIENTS 360) BI AGILE (SELF-SERVICE) DATA SCIENCE (ML & AI) APPS (MOBILE & WEB) FUSIONS & ACQUISITIONS DATA MARKETPLACE RÉGLEMENTATIONS (IFRS17, GRC) GOUVERNANCE & SÉCURITÉ APIFICATION (& SQLIFICATION) COUCHE DONNÉE UNIFIÉE AGILITÉ & SIMPLICITÉ LIVRAISON TEMPS-RÉELLE ABSTRACTION DONNÉES ZÉRO RÉPLICATION DATA CATALOG PERFORMANCES OPTIMISÉES LOGICAL DATA WAREHOUSE/LAKE BIG DATA FABRIC HYBRID DATA FABRIC DATA INTEGRATION DATA MIGRATION REFACTORING & REPLATFORMING CONSOMMATION DE LA DONNEE STOCKAGE ET GESTION DE LA DONNEE MANAGEMENT GOUVERNANCE DE LA DONNEE Sales HR Executive Marketing Apps/API Data Science AI/ML LOGICAL DATA WAREHOUSE API MIGRATION VERS LE CLOUD BIG DATA FABRIC GOUVERNANCE ET CATALOGUE DE DONNÉES
L’évolution historique Les données au cœur de l’entreprise 23
24 Présentation Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de transformer la vie des personnes atteintes de maladies neurologiques et immunologiques sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre d'affaires total de plus de 5 milliards de dollars.
25 Présentation • Besoin d'une vue omnicanal en temps réel à 360 degrés des données des patients à travers les différentes sources. • Les processus ETL traditionnels n'étaient pas assez rapides pour répondre aux besoins en données des équipes métiers. • Réduire le temps de développement pour transformer les données pour au final un usage analytique. • Faciliter l'accès aux données sur plusieurs sources de données. • De plus en plus d'applications migrent vers le cloud, mais la nécessité d'analyser les données de manière croisée reste toujours présente • Les scientifiques des données utilisent la couche de virtualisation Denodo pour explorer les données, écrire des scripts et élaborer des recommandations pour augmenter les ventes et améliorer les traitements • La plate-forme Denodo est établie comme un élément essentiel de l'architecture de l'entrepôt de données logique au-dessus des diverses sources de données d'UCB. • La plate-forme Denodo se connecte, au lieu de collecter des données comme dans ETL, à chaque source et présente des vues de données aux utilisateurs professionnels sous la forme d'une couche sémantique virtuelle • En un an de mise en œuvre de Denodo, UCB a pu mettre en production six cas d'utilisation différents dans différents domaines fonctionnels. • La plate-forme Denodo a réduit de moitié le temps de développement par rapport au temps requis par les processus ETL de l'entreprise. • Denodo a fourni à UCB la vitesse, l'efficacité et l'agilité dont l'entreprise avait besoin, ce qui lui a permis d'avancer avec ses produits de données tout en rationalisant les rapports réglementaires. Les défis La solution Les résultats
26 Présentation Les applications consommatrices Les sources Netezza MyAccess SQL Server Gouvernée & Sécurisée Plateforme de Livraison de Données Coûts de dév. Agilité Avec le meilleur TTM
27 Présentation Rexel est un groupe français, fondé en 1967, spécialisé dans la distribution de matériel électrique, de chauffage, d'éclairage et de plomberie mais aussi dans les énergies renouvelables et les produits et services d'efficacité énergétique, l'habitat connecté, et les services comme la location d'outillage portatif ou des suites logicielles à destination des professionnels
28 Présentation • Remplacement de la solution actuelle de grilles de tarification client • Sources de données disparates dans le système d'informations • Denodo suppose une couche d'abstraction logique et simplement un accès aux données pour les applications métiers • Nouvelles fonctionnalités apportées par Denodo en tant que requêtes SQL complexe qui gèrent certains calculs entre l’ERP et la couche BI. Par exemple: Denodo fournit des KPI directs à l'utilisateur final. • Tout d'abord, permettre de capitaliser sur des structures standardisées indépendantes des sources de données. • Favoriser l'accélération de la digitalisation et ne pas placer la construction de solutions applicatives consommatrices de données référentielles sur le chemin critique. • Diffusion et consommation de données d'entreprise hautement flexibles, résilientes et efficaces sur un point unique et cohérent • La valeur de Denodo est perçue comme offrant des rendements élevés grâce à l'agilité et la flexibilité en tant que composante stratégique clé de notre modernisation des SI. Les défis La Solution Les résultats
29 Présentation
30 Prologis – Opérationnalisation IA/ML $1.5 TRILLION is the economic value of goods flowing through our distribution centers each year, representing: 2.8% of GDP for the 19 countries where we do business % 2.0 of the World’s GDP 1983 100 GLOBAL 768 MSF Founded Most sustainable corporations $87B Assets under management on four continents MILLION employees under Prologis’ roofs 1.0
31 Data Virtualization: Accélérateur de projets Data Science Identification des données Informations utiles pour les cas nécessaires Data Catalog Identifier les sources potentielles Recherche de données Automatisé via Denodo Stockage de données En cas de besoin dans le lac de données Accès direct De sources Données persistantes Denodo permet de persister dans votre DL n'importe quelle vue Nettoyage des données Nettoyez vos données dans un format utile Combiner et transformer Données pour créer l'ensemble de données utiles en entrée L'analyse des données Analysez vos données Avec votre outil préféré Cost Based Optimizer Plan d'exécution intelligent Data Science Aide, Exécuter des algorithmes DS (ML, AI, etc.) Normes ouvertes + données Autre que Denodo R, Scala, Python Itérer le processus Jusqu'à ce que des informations précieuses soient produites Détection de changement Lignage des données Conception graphique rapide Implémentez votre Algo Spark, DataIku, Mahout
32 Prologis – Workflow Data Science Etape 1: Exposez les données aux data scientists
33 Prologis – Workflow Data Science Etape 2: Opérationnalisation du Model Scoring Web Service (Python Model Scoring) AWS Lambda
Gouvernance et sécurité
35 Catalogue de données avec accès aux données
Catalogue de données Gouverne & accès aux données La virtualisation des données avec Le Data Catalog offre trois avantages principaux : 1. Une compréhension et un accès à toutes les données et métadonnées de l'entreprise. 2. BI libre-service 3. Élimination du besoin de créer de nouveaux magasins de données et de déplacer physiquement les données
Catalogue de données actif Intégré à votre écosystème • Synchronisation des métadonnées Denodo Platform prend en charge : • La découverte et capture de métadonnées à partir de systèmes de gestion de bases de données • La synchronisation de modèles de données avec des outils de modélisation de données. • Pour la synchronisation des modèles de données, la plateforme Denodo fournit des fonctions d'analyse des mises à jour et modifications des sources et des modifications dans le schéma sous-jacent, permettant de décider de propager ou non la modification dans le schéma Denodo. • Intégration avec des outils tiers de gestion de métadonnées Denodo n'est pas en concurrence mais complète les solutions de catalogue de données d'entreprise en les rendant opérationnelles.
38 Principes de sécurité ✔ Contrôle centralisé ▪ Autoriser l'accès en fonction des besoins de l'entreprise, indépendamment de la localisation des données ou de la méthode d'accès ▪ Définir un contrôle d'accès fin sur toutes les sources de données (fichiers, services web, ...) ▪ Configuration centralisée ✔ Intégré à votre environnement ▪ SSO, Kerberos ▪ Authentification locale ou LDAP ▪ Comptes de pass-though ou de service nom pays téléphone SSN John Smith USA 555-1212 Alain Durand France Mary White USA 555-2212 Contrôler l'accès aux colonnes, aux lignes ou même aux valeurs individuelles
39 Principes de sécurité ✔ Contrôle centralisé Denodo gère la sécurité comme sur une DB : ▪ S’intègre avec votre Active Directory & SSO ▪ Masquage dynamique, restrictions sur les colonnes et les lignes selon les Roles & Privileges des utilisateurs ✔ Intégré à votre environnement Centralise la sécurité - basée sur comment les utilisateurs utilisent la donnée et non comment elle est stockée IT Semantic Layer JOIN GROUP BY GROUP BY 1. Requête métier 2. Authentification avec une corporate identity 3. Application des règles d’autorisation . Par exemple, masque SSN et restriction locale 4. Requête envoyée à la source avec les filtres de conditions correspondants 5. Résultat sécurisé est généré et envoyé à l’utilisateur DISPARATE DATA SOURCESLess Structured More Structured DATA CONSUMERS DATA CONSUMERS Analytica l Operational
Les APIs
41 Architecture de référence de virtualisation des données Opérationnel et Transactionnel Metadata Management, Data Governance, Data Security Data Warehouse Web, Cloud, Saas Enterprise Applications Enterprise Application Web Mobile Data Sources Service Consumers Data Abstraction & Delivery Data Search & Discovery Federation Transformation Abstraction Data Services Federation Transformation Abstraction Optimization Security Governance Data Caching Enterpri se Service Bus SOA Service Providers • Génération automatique de documents Swagger • Prise en charge de tous les formats A P I M a n a g e m e n t P l a t f o r m
42 API Management - Une complémentarité • API Management • Fournit une expérience axée sur le consommateur • Expose le catalogue d'API sur un portail • Applique les politiques de sécurité • Surveille votre trafic • Gère le cycle de vie de l'API (par exemple, la gestion des versions) • Data Virtualization • Modéliser et exposer les services de données en tant qu'API • Optimise le traitement des données • Combine les sources de données en temps réel • Accès aux sources de données à l'aide de divers protocoles • Accélère le développement par rapport à l'approche traditionnelle
Comment Denodo optimise ses requêtes ?
44 La performance ✔ Les données restent à la source ▪ Lorsqu’une requête est traitée par Denodo, les données sont remontées depuis les sources ▪ Potentiellement un volume de données important dans des sources disparates ✔ Stratégie de Denodo : Maximiser le traitement à la source ▪ Minimiser le trafic réseau ▪ Tirer parti des capacités de traitement des sources ▪ Compléter avec un cache intelligent ▪ Optimisations spécifiques pour les sources MPP (Massively Parallel Processing)
45 La performance Combiner Transformer Livrer Application Source RDBMS Source Big Data Source Web Service Un volume de données important est potentiellement transféré 2) Toutes les données concernées sont remontées des systèmes sources Sans Data Virtualization… 1) L’utilisateur demande la donnée à travers une application 3) Les données sont ensuite combinées et transformées directement dans l’application et livrées à l’utilisateur Tout le travail est exclusivement fait dans l’application
46 La performance Combiner Transformer Livrer Application Source RDBMS Source Big Data Source Web Service Avec Data Virtualization 1) L’utilisateur demande la donnée à travers une application. Denodo analyse la requête et envoie des requêtes ciblées aux sources 2) Le traitement des données à la source est maximisé via la délégation, selon leurs capacités techniques 3) Les données sont ensuite combinées et transformées par Denodo, livrées à l’application et l’utilisateur Le travail est partagé par les sources et par Denodo Le volume de données transféré est nettement réduit
47 La performance SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Ventes Client JOIN GROUP BY Ventes Client Table temporaire JOIN GROUP BY Option 1 Option 2 Option 3 Temp-Client Les données « clients » et « ventes » sont stockées dans différentes sources. Quel est le meilleur plan d'exécution ? Stratégie fédération simple (outils BI) Mouvement temporaire des données (Si les sources le permettent) 300 M 2 M 2 M 50 Ventes Client JOIN GROUP BY ID GROUP BY state Délégation partielle d'agrégation 2 M 2 M ... juste un exemple parmi les stratégies appliquées par Denodo dans l'optimisation des requêtes
48 La performance SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Fonctionnement de Denodo par rapport aux autres moteurs de la fédération Système Temps d'exécution Données transférées Technique d'optimisation Denodo 9 sec. 4 M La delegation de l'agrégation Autres 125 sec. 302 M Aucun : scan complet 300 M 2 M Ventes Client JOIN GROUP BY 2 M 2 M Ventes Client JOIN GROUP BY ID GROUP BY state Pour maximiser la délégation au dataware, l'agrégation est divisée en 2 étapes : • 1ère par ID client • 2ème par État Cela a considérablement réduit le trafic réseau et la complexité de traitement dans Denodo
49 « Summaries » et mise en cache dans votre stratégie de modélisation Couche d’abstraction Modèles sources originaux Couche sémantique Modèle logique DW Couche métier (optionnel) Vue dénormalisée pour les entreprises Couche de Reporting (optionnel) Rapports prédéfinis avec métriques calculées Caching Sources lentes et protégées uniquement Summaries Summaries Caching
Exemples de déploiement
AWS Cloud Infrastructure Azure Cloud Infrastructure On-Prem Environment Azure VM Metro Transit Department T-Bird DCHS Integrated Health SQL Data Warehouse Azure Data Lake Databricks Python/Azure ML SQL Data Warehouse Azure Data Lake Databricks Python/Azure ML SQL Data Warehouse Azure Data Lake KCSO Analytics Platform Azure Commercial Azure Commercial Azure Government Enterprise Tools On-Prem Host On-Prem Host Data Catalog (Future) Data Governance (Future) Data Quality (Informatica) Client Machines BI Insights Data Warehouse Geo (ArcGIS Online) Reports (Tableau) Reports (Power BI) Dashboards (Power BI) Open Data (Socrata) Machine Learning Predictive Models Departments Agencies Citizens Council Environnement Cloud Denodo Denodo is Java code that can be run on Azure in: • A VM • A Docker Container • A Kubernetes Cluster Informatica DI Subnet Business Resource Center HUB VNet Subnet VNet UDR Peering On-Prem VM Subnet
52 Couche de consommation Entrepôt de données logique moderne DATA FLOW • Jointer les données Big Data et les requêtes analytiques hébergées dans ADLS et d'autres plateformes Big Data sur site. • Jointer Snowflake et sécurisez les données sur snowflake avec un modèle de sécurité d'entreprise tout en fournissant un outil de jonction d'interface utilisateur graphique. • Tirez parti de la couche analytique Azure pour les données en silo sur les services Azure. • Incorporez des données relationnelles provenant de sources sur site et dans le cloud. • Optimisez et traduisez les requêtes sur toutes les plates-formes pour augmenter la vitesse et l'efficacité des requêtes. • SQL parallèle dans les environnements cloud et sur site pour une optimisation supplémentaire et des augmentations de vitesse. • Fournissez une source unique pour toutes les couches de consommation, quelle que soit la requête ou la demande, avec une gouvernance et une piste d'audit complètes. 1 2 3 4 5 6 7 Couche source Oracle Big Data SQL Server API SQL Azure Denodo Virtualization API SQL On-Prem Denodo Virtualization • Données tierces (IMS, etc.) • Applications internes • E-mail • Applications externes • Réseaux sociaux • Fichiers plats • Flux IoT • Centres de données • Les autorités réglementaires • API de repos ADLS Gen 2 Big Data Data Lake Relational Analytical Relational 6 5 Data Lake Relational Relational Bbig Data 7 1 2 3 4 2 4 4 1 5
Q&A
Démonstration avec le Denodo Test Drive
55 Atelier : analyse tendances annuelles de ventes
Prochaines étapes
Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization (leader & pionnier) – depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Denodo Technologies Leader & Pionnier dans la Data Virtualization Technologie Industrie Service financier Assurance Santé Secteur public Télécommunication Distribution Pharma / Bio-Tech Energie Clients • 850+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Rentable.
Denodo Technologies Leader & Pionnier dans la Data Virtualization Partenaires technologiques Intégrateurs & ESN Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization (leader & pionnier) – depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Clients • 850+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Rentable.
Denodo Technologies Leader & Pionnier dans la Data Virtualization AUTO ÉVALUATION ÉVALUATION COLLABORATIVE Téléchargez Denodo Express Contactez-nous ! Évaluez (1h) avec le Test Drive: Denodo Platform for AWS, Azure ou GCP Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization (leader & pionnier) – depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Clients • 850+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Rentable.
Q&A
Merci! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies. 61

Contenu connexe

PDF
Enabling a Data Mesh Architecture with Data Virtualization
parDenodo
 
PDF
Intuit's Data Mesh - Data Mesh Leaning Community meetup 5.13.2021
parTristan Baker
 
PDF
Getting Started with Delta Lake on Databricks
parKnoldus Inc.
 
PDF
Speeding Time to Insight with a Modern ELT Approach
parDatabricks
 
PPT
Data Architecture for Data Governance
parDATAVERSITY
 
PDF
Change Data Streaming Patterns for Microservices With Debezium
parconfluent
 
PPTX
NOSQL Databases types and Uses
parSuvradeep Rudra
 
PPTX
Data management vs. data governance
parshopiawilson
 
Enabling a Data Mesh Architecture with Data Virtualization
parDenodo
 
Intuit's Data Mesh - Data Mesh Leaning Community meetup 5.13.2021
parTristan Baker
 
Getting Started with Delta Lake on Databricks
parKnoldus Inc.
 
Speeding Time to Insight with a Modern ELT Approach
parDatabricks
 
Data Architecture for Data Governance
parDATAVERSITY
 
Change Data Streaming Patterns for Microservices With Debezium
parconfluent
 
NOSQL Databases types and Uses
parSuvradeep Rudra
 
Data management vs. data governance
parshopiawilson
 

Tendances

PDF
When and How Data Lakes Fit into a Modern Data Architecture
parDATAVERSITY
 
PDF
Data Mesh
parPiethein Strengholt
 
PDF
Webinar Data Mesh - Part 3
parJeffrey T. Pollock
 
PDF
Time to Talk about Data Mesh
parLibbySchulze
 
PDF
Data Mesh Part 4 Monolith to Mesh
parJeffrey T. Pollock
 
PDF
The Journey to Data Mesh with Confluent
parconfluent
 
PDF
Modernizing to a Cloud Data Architecture
parDatabricks
 
PDF
Architect’s Open-Source Guide for a Data Mesh Architecture
parDatabricks
 
PDF
Data Mesh for Dinner
parKent Graziano
 
PPTX
Data Lakehouse Symposium | Day 4
parDatabricks
 
PDF
DMBOK and Data Governance
parPeter Vennel PMP,SCEA,CBIP,CDMP
 
PDF
Vector Databases 101 - An introduction to the world of Vector Databases
parZilliz
 
PPTX
Data Vault and DW2.0
parEmpowered Holdings, LLC
 
PPTX
Intro to Data Vault 2.0 on Snowflake
parKent Graziano
 
PDF
Implementing Effective Data Governance
parChristopher Bradley
 
PDF
Microsoft Fabric: How to Accelerate AI with Data
parBrainSell Technologies
 
PDF
Is Enterprise Data Literacy Possible?
parDATAVERSITY
 
PDF
SQL for Data Science Tutorial | Data Science Tutorial | Edureka
parEdureka!
 
PPTX
Partage et Collaboration avec Power BI
parJean-Pierre Riehl
 
PPT
Oracle DB
parR KRISHNA DEEKSHITH VINNAKOTA
 
When and How Data Lakes Fit into a Modern Data Architecture
parDATAVERSITY
 
Data Mesh
parPiethein Strengholt
 
Webinar Data Mesh - Part 3
parJeffrey T. Pollock
 
Time to Talk about Data Mesh
parLibbySchulze
 
Data Mesh Part 4 Monolith to Mesh
parJeffrey T. Pollock
 
The Journey to Data Mesh with Confluent
parconfluent
 
Modernizing to a Cloud Data Architecture
parDatabricks
 
Architect’s Open-Source Guide for a Data Mesh Architecture
parDatabricks
 
Data Mesh for Dinner
parKent Graziano
 
Data Lakehouse Symposium | Day 4
parDatabricks
 
DMBOK and Data Governance
parPeter Vennel PMP,SCEA,CBIP,CDMP
 
Vector Databases 101 - An introduction to the world of Vector Databases
parZilliz
 
Data Vault and DW2.0
parEmpowered Holdings, LLC
 
Intro to Data Vault 2.0 on Snowflake
parKent Graziano
 
Implementing Effective Data Governance
parChristopher Bradley
 
Microsoft Fabric: How to Accelerate AI with Data
parBrainSell Technologies
 
Is Enterprise Data Literacy Possible?
parDATAVERSITY
 
SQL for Data Science Tutorial | Data Science Tutorial | Edureka
parEdureka!
 
Partage et Collaboration avec Power BI
parJean-Pierre Riehl
 
Oracle DB
parR KRISHNA DEEKSHITH VINNAKOTA
 

Similaire à Session découverte de la Data Virtualization

PDF
Session découverte de la Logical Data Fabric soutenue par la Data Virtualization
parDenodo
 
PDF
Session découverte de la Data Virtualization
parDenodo
 
PDF
Session découverte de la Logical Data Fabric soutenue par la Data Virtualization
parDenodo
 
PDF
Session découverte de la Data Virtualization
parDenodo
 
PDF
Analytics & Machine Learning avec la Data Virtualization
parDenodo
 
PDF
Denodo, pilier central de votre stratégie API
parDenodo
 
PDF
Réinventez votre stratégie de données en 2021 avec la Data Virtualization
parDenodo
 
PDF
Les clés de succès pour moderniser votre architecture de données en 2022
parDenodo
 
PDF
Quel est l'avenir des stratégies de données?
parDenodo
 
PDF
Optimiser l’intégration globale des données grâce à la Data Virtualization
parDenodo
 
PDF
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
parDenodo
 
PDF
Simplifier la mise en place d'une stratégie Data Mesh avec Denodo
parDenodo
 
PDF
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
parDenodo
 
PDF
J'ai déjà un ETL, pourquoi aurais-je besoin de la Data Virtualization?
parDenodo
 
PDF
Démonstration : Comment la plateforme Denodo permet d'accélérer l'analyse de ...
parDenodo
 
PDF
La Logical Data Fabric au secours de la connaissance client
parDenodo
 
PDF
Discovery Session France: Atelier découverte de la Data Virtualization
parDenodo
 
PDF
La Data Virtualization au coeur de l’architecture “Data Mesh”
parDenodo
 
PDF
Discovery Session France: Atelier découverte de la Data Virtualization
parDenodo
 
PDF
Discovery Session France: Atelier découverte de la Data Virtualization
parDenodo
 
Session découverte de la Logical Data Fabric soutenue par la Data Virtualization
parDenodo
 
Session découverte de la Data Virtualization
parDenodo
 
Session découverte de la Logical Data Fabric soutenue par la Data Virtualization
parDenodo
 
Session découverte de la Data Virtualization
parDenodo
 
Analytics & Machine Learning avec la Data Virtualization
parDenodo
 
Denodo, pilier central de votre stratégie API
parDenodo
 
Réinventez votre stratégie de données en 2021 avec la Data Virtualization
parDenodo
 
Les clés de succès pour moderniser votre architecture de données en 2022
parDenodo
 
Quel est l'avenir des stratégies de données?
parDenodo
 
Optimiser l’intégration globale des données grâce à la Data Virtualization
parDenodo
 
Webinar Denodo & CRIP : Souveraineté, information sensible et data gouvernanc...
parDenodo
 
Simplifier la mise en place d'une stratégie Data Mesh avec Denodo
parDenodo
 
Session en ligne: Découverte du Logical Data Fabric & Data Virtualization
parDenodo
 
J'ai déjà un ETL, pourquoi aurais-je besoin de la Data Virtualization?
parDenodo
 
Démonstration : Comment la plateforme Denodo permet d'accélérer l'analyse de ...
parDenodo
 
La Logical Data Fabric au secours de la connaissance client
parDenodo
 
Discovery Session France: Atelier découverte de la Data Virtualization
parDenodo
 
La Data Virtualization au coeur de l’architecture “Data Mesh”
parDenodo
 
Discovery Session France: Atelier découverte de la Data Virtualization
parDenodo
 
Discovery Session France: Atelier découverte de la Data Virtualization
parDenodo
 

Plus de Denodo

PDF
Знакомство с виртуализацией данных для профессионалов в области данных
parDenodo
 
PDF
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
parDenodo
 
PDF
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
parDenodo
 
PDF
What you need to know about Generative AI and Data Management?
parDenodo
 
PDF
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
parDenodo
 
PDF
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
parDenodo
 
PDF
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
parDenodo
 
PDF
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
parDenodo
 
PDF
Enterprise Monitoring and Auditing in Denodo
parDenodo
 
PDF
Mastering Data Compliance in a Dynamic Business Landscape
parDenodo
 
PDF
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
parDenodo
 
PDF
Drive Data Privacy Regulatory Compliance
parDenodo
 
PDF
Lunch and Learn ANZ: Key Takeaways for 2023!
parDenodo
 
PDF
GenAI y el futuro de la gestión de datos: mitos y realidades
parDenodo
 
PDF
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
parDenodo
 
PDF
Achieving Self-Service Analytics with a Governed Data Services Layer
parDenodo
 
PDF
Enabling Data Catalog users with advanced usability
parDenodo
 
PDF
How to Build Your Data Marketplace with Data Virtualization?
parDenodo
 
PDF
Denodo Partner Connect - Technical Webinar - Ask Me Anything
parDenodo
 
PDF
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
parDenodo
 
Знакомство с виртуализацией данных для профессионалов в области данных
parDenodo
 
Denodo Partner Connect: Business Value Demo with Denodo Demo Lite
parDenodo
 
Webinar #2 - Transforming Challenges into Opportunities for Credit Unions
parDenodo
 
What you need to know about Generative AI and Data Management?
parDenodo
 
Lunch and Learn ANZ: Mastering Cloud Data Cost Control: A FinOps Approach
parDenodo
 
Quels sont les facteurs-clés de succès pour appliquer au mieux le RGPD à votr...
parDenodo
 
Denodo Partner Connect: Technical Webinar - Architect Associate Certification...
parDenodo
 
Expert Panel: Overcoming Challenges with Distributed Data to Maximize Busines...
parDenodo
 
Enterprise Monitoring and Auditing in Denodo
parDenodo
 
Mastering Data Compliance in a Dynamic Business Landscape
parDenodo
 
Data Democratization: A Secret Sauce to Say Goodbye to Data Fragmentation
parDenodo
 
Drive Data Privacy Regulatory Compliance
parDenodo
 
Lunch and Learn ANZ: Key Takeaways for 2023!
parDenodo
 
GenAI y el futuro de la gestión de datos: mitos y realidades
parDenodo
 
Lunch and Learn ANZ: Achieving Self-Service Analytics with a Governed Data Se...
parDenodo
 
Achieving Self-Service Analytics with a Governed Data Services Layer
parDenodo
 
Enabling Data Catalog users with advanced usability
parDenodo
 
How to Build Your Data Marketplace with Data Virtualization?
parDenodo
 
Denodo Partner Connect - Technical Webinar - Ask Me Anything
parDenodo
 
It’s a Wrap! 2023 – A Groundbreaking Year for AI and The Way Forward
parDenodo
 

Session découverte de la Data Virtualization

  • 1.
    Atelier découverte dela virtualisation des données Avril 2022 Tarik Zaakour, Principal sales engineer
  • 2.
    Agenda 1. Généralités 2. Introductionà la Data Virtualization 3. Ce que disent les analystes 4. Cas d’usage et études de cas clients 5. Gouvernance & sécurité 6. Les APIs 7. Comment Denodo optimise ses requêtes? 8. Exemples de déploiement 9. Questions/Réponses 10. Démonstration avec le Denodo Test Drive 11. Questions/Réponses 12. Prochaines étapes
  • 3.
  • 4.
    4 Quelques généralités • Laprésentation sera enregistrée • Les échanges et les questions/réponses • Avant la démonstration • A la fin de la présentation • N’hésitez pas à poser vos questions dans le chat au fil de l’eau • Pour accéder aux test drives : • Se connecter à www.denodo.com • Rubrique “Try Denodo Platform” puis “Denodo Test Drives” • Le Test Drive sur Azure n’est qu’un début : cas d’usage Data Science et Data Marketplace sur AWS et GCP
  • 5.
    Introduction à laData Virtualization Pourquoi la Data Virtualization? Défis, Solutions et Avantages
  • 6.
    6 Acteurs et donnéesde nos écosystèmes actuels Situation actuelle simplifiée : Sales HR Apps/API Executive 75% de la donnée stockée jamais utilisée 90% des demandes nécessitent du temps-réel Marketing Problèmes les plus communs: × Collaboration et partage limitées × Vues métiers inconsistantes et limitées × Gouvernance complexe × Environnement fragmenté × Beaucoup (trop) de réplication × Synchronisations en cascade, longues et coûteuses Data Science AI/ML
  • 7.
    7 Plateforme de donnéesmoderne souhaitée POINT D’ENTRÉE UNIFIÉ Pour rechercher, explorer et consommer la donnée SELF-SERVICE Pour tous les profils de l’entreprise SÉCURITÉ & GOUVERNANCE renforcées Simplicité, rapidité/agilité, sécurité… à moindre coût Plateforme moderne Sales HR Executive Marketing Apps/API Data Science AI/ML
  • 8.
    8 CONNECTER, INTROSPECTER &GOUVERNER vos sources, avec ZÉRO RÉPLICATION DE LA DONNÉE COMBINER & INTÉGRER vos données en vues métiers CONSOMMER & SÉCURISER LES VUES MÉTIERS dans de multiples formats Qu’est-ce la Data Virtualization? Un logiciel permettant l’intégration et la gestion moderne des données d’entreprises Sales HR Executive Marketing Apps/API Data Science AI/ML
  • 9.
    9 CONNECTER, INTROSPECTER &GOUVERNER VOS SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE COMBINER & INTEGRER VOS DONNÉES EN VUES MÉTIERS CONSOMMER & SECURISER LES VUES MÉTIERS DANS DE MULTIPLES FORMATS Le fonctionnement de la Data Virtualization? Connecter, Combiner & Consommer Sales HR Executive Marketing Apps/API Data Science AI/ML COMBINE & INTEGRATE INTO BUSINESS DATA VIEWS
  • 10.
    Ce que disentles analystes
  • 11.
    By 2022, morethan 80% of Datalake projects will not provide value, as data research, inventory and preservation will prove to be the biggest obstacle to successful analysis and data management. Science. Source: “Augmented Data Catalogs: Now an Enterprise Must-Have for Data and Analytics Leaders.” September 12, 2019 Reference customers have appreciated Denodo's connectivity and data delivery capabilities supported by metadata management, which has contributed to high scores for data integration for optimized analyses and data service orchestration use cases. The focus on data catalogue functionality - i.e. enabling users to inventory distributed data assets connected to Denodo, and to collect, access and use metadata to inform data integration activities - increases the relevance of the tool for the data consistency use case. Predicts 2020: The Future of Application Architecture, Development, Integration and Platforms By 2023, more than 50% of the new integration technologies evaluated will include AI as one of the key criteria for simplifying integration. ’’ DATA MANAGEMENT & INTEGRATION : from SPECIFIC to DYNAMIC The future of DATA MANAGEMENT will be more  « CONNECT » than « COLLECT » - Dynamic - Augmented with Machine Learning - Distributed - Schema neutral - Content & context oriented - Fix Infrastructures will be commodities - Less Design/Deploy/Maintain ’’ ’’ -Critical Capabilities for Data Integration Tools, 8 October 2019 ’’ # CONNECTER EST L'AVENIR # CATALOGUE DE DONNÉES POUR RÉALISER DES PROJETS DATALAKE # SCORES ÉLEVÉS POUR DENODO # IA & INTEGRATION
  • 12.
    12 “Denodo provides its customerswith the capabilities to automate the design of a Data Fabric with its components - a unified semantic catalog of data, a query optimization engine, and metadata-based ML algorithms. The design of its data model relies on Data Virtualization to quickly deliver integrated data to users for faster results ” 2020 Gartner Magic Quadrant for Data Integration Tools Denodo nommé leader – Juin 2021 - Gartner Magic Quadrant for Data Integration Tools, August 2020 BY 2023, ORGANIZATIONS USING DATA FABRICS TO DYNAMICALLY CONNECT, OPTIMIZE AND AUTOMATE DATA MANAGEMENT PROCESSES WILL REDUCE THEIR DATA INTEGRATION AND DELIVERY TIME BY AT LEAST 30%. "
  • 13.
    RECONNAISSANCE CLIENT, ANALYSTEET INDUSTRIE 3 POINTS MAJEURS : TIME-TO-MARKET, RÉDUCTION DES COÛTS & CONTRÔLE DES DONNÉES 3x à 10x - 40% cost Up to -75% Agility Time to market Delivery Global TCO - Guide to Data Virtualization, Dec 2017 62% < 3 months 91% < 6 months Denodo Projects: - Peer Insight, Data Integration 2018 By 2022, 60% of all organizations will implement Data Virtualization as a key element of data integration architecture. - Market guide for Data Virtualization, Nov 2018 2021 Gartner Magic Quadrant for Data Integration Tools Forrester Wave: Enterprise Data Fabric, Q2 2020 Forrester Wave: Big Data Fabric, Q2 2018
  • 14.
    14 The core ofthe matter is being able to consolidate many diverse data sources in an efficient manner by allowing trusted data to be delivered from all relevant data sources to all relevant data consumers through one common layer. Source: Demystifying the Data Fabric, Gartner, September 2020 The Data fabric focuses on automating the process integration, transformation, preparation, curation, security, governance, and orchestration to enable analytics and insights quickly for business success. Source: Enterprise Data Fabric Wave, Forrester, June 2020
  • 15.
    15 Les six piliersde la Data Fabric Gartner envisage un système basé sur six piliers pour fournir la base d'une Data Fabric : 1. Catalogue de données augmenté 2. Graphe de connaissances enrichi de sémantique 3. Activation des métadonnées 4. Moteur de recommandation 5. Préparation et livraison des données 6. Orchestration et DataOps
  • 16.
    16 Les 6 piliersde Data Fabric s'alignent sur la vision de base de Denodo 1. Point d'accès unique à toutes les données à n'importe quel endroit 2. Des données exposées sous une forme Business-Friendly, adaptée aux besoins de chaque consommateur 3. Faible coût et mise sur le marché rapide : jusqu'à 80 % de réduction des coûts d'intégration de données 4. Référence pour les données de confiance via la sémantique : appliquez une sémantique, une qualité, une gouvernance et une sécurité des données cohérentes 5. Découvrabilité : Le Data Catalog actif crée un marché de données pour l'entreprise 6. ML et automatisation pour accélérer toutes les étapes du cycle de vie de la gestion des données
  • 17.
    17 Qu’est ce quele Data Mesh ? ▪ Le Data Mesh est un nouveau paradigme architectural pour la gestion des données ▪ Proposé par le consultant Zhamak Dehghani en 2019 ▪ Il passe d'une infrastructure de données centralisée par une seule équipe à une organisation distribuée ▪ Plusieurs unités autonomes (domaines) sont chargées de gérer et d'exposer leurs propres « produits de données » au reste de l'organisation ▪ Les produits de données doivent être facilement détectables, compréhensibles et accessibles au reste de l'organisation
  • 18.
    18 Quels défis leData Mesh essaie-t-il de relever? 1. Manque d'expertise du domaine dans les équipes de données centralisées ▪ Les équipes de données centralisées sont déconnectées de l'entreprise ▪ Ils doivent gérer des données et des besoins métiers qu'ils ne comprennent pas toujours 2. Manque de flexibilité des référentiels de données centralisés ▪ L'infrastructure de données des grandes organisations est très diversifiée et change fréquemment ▪ Les besoins analytiques modernes peuvent être trop divers pour être satisfaits par une seule plate-forme : une taille unique ne convient jamais. 3. Approvisionnement des données et réponse aux changements lents ▪ Nécessite d'extraire, d'ingérer et de synchroniser des données dans la plate-forme centralisée ▪ L'informatique centralisée devient un goulot d'étranglement
  • 19.
    19 Comment ? • Lesunités organisationnelles (domaines) sont responsables de la gestion et de l'exposition de leurs propres données • Les domaines comprennent mieux comment les données qu'ils possèdent doivent être traitées et utilisées • Leurs donne l'autonomie pour utiliser les meilleurs outils pour traiter leurs données, et les faire évoluer en cas de besoin • Résulte en des itérations de plus en plus courtes jusqu'à ce que les besoins de l'entreprise soient satisfaits • Supprime la dépendance aux infrastructures de données entièrement centralisées • Supprime les goulots d'étranglement et accélère les changements • Introduit de nouveaux concepts pour faire face aux risques tels que la création de silos de données, les efforts en double et le manque de gouvernance unifiée
  • 20.
    20 Implémentation du DataMesh avec Denodo SQL Operational EDW Data Lakes Files SaaS APIs REST GraphQL OData Event Product Customer Location Employee Common Domain Event Management Human Resources Chaque domaine se voit attribuer un schéma virtuel distinct. Un domaine commun peut être utile pour les produits de données centralisés communs à tous les domaines. 1 1 Les domaines connectent leurs sources de données. 2 Les métadonnées sont mappées sur des vues relationnelles. Aucune donnée n'est répliquée. 3 3 2 Les domaines peuvent modéliser leurs produits de données. Les produits peuvent être utilisés pour définir d'autres produits. 4 4 Pour l'exécution, les produits peuvent être servis directement à partir de leurs sources ou répliqués vers un emplacement central, comme un lac. 5 5 Une équipe centrale peut définir des directives et une gouvernance pour assurer l'interopérabilité. 6 6 Les produits peuvent être accessibles via SQL ou exposés en tant qu'API. Aucun codage n'est requis. 7 7 L'infrastructure peut facilement évoluer dans un cluster. 8 8
  • 21.
    Cas d’usage etétudes de cas clients
  • 22.
    22 Les cas d’usagede la Data Virtualization DU STOCKAGE & MANAGEMENT, À LA CONSOMMATION, EN PASSANT PAR LA GOUVERNANCE ET LA SÉCURITÉ DÉCISION (REAL TIME) K.Y.C. (CLIENTS 360) BI AGILE (SELF-SERVICE) DATA SCIENCE (ML & AI) APPS (MOBILE & WEB) FUSIONS & ACQUISITIONS DATA MARKETPLACE RÉGLEMENTATIONS (IFRS17, GRC) GOUVERNANCE & SÉCURITÉ APIFICATION (& SQLIFICATION) COUCHE DONNÉE UNIFIÉE AGILITÉ & SIMPLICITÉ LIVRAISON TEMPS-RÉELLE ABSTRACTION DONNÉES ZÉRO RÉPLICATION DATA CATALOG PERFORMANCES OPTIMISÉES LOGICAL DATA WAREHOUSE/LAKE BIG DATA FABRIC HYBRID DATA FABRIC DATA INTEGRATION DATA MIGRATION REFACTORING & REPLATFORMING CONSOMMATION DE LA DONNEE STOCKAGE ET GESTION DE LA DONNEE MANAGEMENT GOUVERNANCE DE LA DONNEE Sales HR Executive Marketing Apps/API Data Science AI/ML LOGICAL DATA WAREHOUSE API MIGRATION VERS LE CLOUD BIG DATA FABRIC GOUVERNANCE ET CATALOGUE DE DONNÉES
  • 23.
    L’évolution historique Les donnéesau cœur de l’entreprise 23
  • 24.
    24 Présentation Ucb est unesociété biopharmaceutique mondiale, fondée en 1928. Son ambition est de transformer la vie des personnes atteintes de maladies neurologiques et immunologiques sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre d'affaires total de plus de 5 milliards de dollars.
  • 25.
    25 Présentation • Besoin d'unevue omnicanal en temps réel à 360 degrés des données des patients à travers les différentes sources. • Les processus ETL traditionnels n'étaient pas assez rapides pour répondre aux besoins en données des équipes métiers. • Réduire le temps de développement pour transformer les données pour au final un usage analytique. • Faciliter l'accès aux données sur plusieurs sources de données. • De plus en plus d'applications migrent vers le cloud, mais la nécessité d'analyser les données de manière croisée reste toujours présente • Les scientifiques des données utilisent la couche de virtualisation Denodo pour explorer les données, écrire des scripts et élaborer des recommandations pour augmenter les ventes et améliorer les traitements • La plate-forme Denodo est établie comme un élément essentiel de l'architecture de l'entrepôt de données logique au-dessus des diverses sources de données d'UCB. • La plate-forme Denodo se connecte, au lieu de collecter des données comme dans ETL, à chaque source et présente des vues de données aux utilisateurs professionnels sous la forme d'une couche sémantique virtuelle • En un an de mise en œuvre de Denodo, UCB a pu mettre en production six cas d'utilisation différents dans différents domaines fonctionnels. • La plate-forme Denodo a réduit de moitié le temps de développement par rapport au temps requis par les processus ETL de l'entreprise. • Denodo a fourni à UCB la vitesse, l'efficacité et l'agilité dont l'entreprise avait besoin, ce qui lui a permis d'avancer avec ses produits de données tout en rationalisant les rapports réglementaires. Les défis La solution Les résultats
  • 26.
    26 Présentation Les applications consommatrices Les sources Netezza MyAccess SQLServer Gouvernée & Sécurisée Plateforme de Livraison de Données Coûts de dév. Agilité Avec le meilleur TTM
  • 27.
    27 Présentation Rexel est ungroupe français, fondé en 1967, spécialisé dans la distribution de matériel électrique, de chauffage, d'éclairage et de plomberie mais aussi dans les énergies renouvelables et les produits et services d'efficacité énergétique, l'habitat connecté, et les services comme la location d'outillage portatif ou des suites logicielles à destination des professionnels
  • 28.
    28 Présentation • Remplacement dela solution actuelle de grilles de tarification client • Sources de données disparates dans le système d'informations • Denodo suppose une couche d'abstraction logique et simplement un accès aux données pour les applications métiers • Nouvelles fonctionnalités apportées par Denodo en tant que requêtes SQL complexe qui gèrent certains calculs entre l’ERP et la couche BI. Par exemple: Denodo fournit des KPI directs à l'utilisateur final. • Tout d'abord, permettre de capitaliser sur des structures standardisées indépendantes des sources de données. • Favoriser l'accélération de la digitalisation et ne pas placer la construction de solutions applicatives consommatrices de données référentielles sur le chemin critique. • Diffusion et consommation de données d'entreprise hautement flexibles, résilientes et efficaces sur un point unique et cohérent • La valeur de Denodo est perçue comme offrant des rendements élevés grâce à l'agilité et la flexibilité en tant que composante stratégique clé de notre modernisation des SI. Les défis La Solution Les résultats
  • 29.
  • 30.
    30 Prologis – OpérationnalisationIA/ML $1.5 TRILLION is the economic value of goods flowing through our distribution centers each year, representing: 2.8% of GDP for the 19 countries where we do business % 2.0 of the World’s GDP 1983 100 GLOBAL 768 MSF Founded Most sustainable corporations $87B Assets under management on four continents MILLION employees under Prologis’ roofs 1.0
  • 31.
    31 Data Virtualization: Accélérateurde projets Data Science Identification des données Informations utiles pour les cas nécessaires Data Catalog Identifier les sources potentielles Recherche de données Automatisé via Denodo Stockage de données En cas de besoin dans le lac de données Accès direct De sources Données persistantes Denodo permet de persister dans votre DL n'importe quelle vue Nettoyage des données Nettoyez vos données dans un format utile Combiner et transformer Données pour créer l'ensemble de données utiles en entrée L'analyse des données Analysez vos données Avec votre outil préféré Cost Based Optimizer Plan d'exécution intelligent Data Science Aide, Exécuter des algorithmes DS (ML, AI, etc.) Normes ouvertes + données Autre que Denodo R, Scala, Python Itérer le processus Jusqu'à ce que des informations précieuses soient produites Détection de changement Lignage des données Conception graphique rapide Implémentez votre Algo Spark, DataIku, Mahout
  • 32.
    32 Prologis – WorkflowData Science Etape 1: Exposez les données aux data scientists
  • 33.
    33 Prologis – WorkflowData Science Etape 2: Opérationnalisation du Model Scoring Web Service (Python Model Scoring) AWS Lambda
  • 34.
  • 35.
    35 Catalogue de donnéesavec accès aux données
  • 36.
    Catalogue de données Gouverne& accès aux données La virtualisation des données avec Le Data Catalog offre trois avantages principaux : 1. Une compréhension et un accès à toutes les données et métadonnées de l'entreprise. 2. BI libre-service 3. Élimination du besoin de créer de nouveaux magasins de données et de déplacer physiquement les données
  • 37.
    Catalogue de donnéesactif Intégré à votre écosystème • Synchronisation des métadonnées Denodo Platform prend en charge : • La découverte et capture de métadonnées à partir de systèmes de gestion de bases de données • La synchronisation de modèles de données avec des outils de modélisation de données. • Pour la synchronisation des modèles de données, la plateforme Denodo fournit des fonctions d'analyse des mises à jour et modifications des sources et des modifications dans le schéma sous-jacent, permettant de décider de propager ou non la modification dans le schéma Denodo. • Intégration avec des outils tiers de gestion de métadonnées Denodo n'est pas en concurrence mais complète les solutions de catalogue de données d'entreprise en les rendant opérationnelles.
  • 38.
    38 Principes de sécurité ✔Contrôle centralisé ▪ Autoriser l'accès en fonction des besoins de l'entreprise, indépendamment de la localisation des données ou de la méthode d'accès ▪ Définir un contrôle d'accès fin sur toutes les sources de données (fichiers, services web, ...) ▪ Configuration centralisée ✔ Intégré à votre environnement ▪ SSO, Kerberos ▪ Authentification locale ou LDAP ▪ Comptes de pass-though ou de service nom pays téléphone SSN John Smith USA 555-1212 Alain Durand France Mary White USA 555-2212 Contrôler l'accès aux colonnes, aux lignes ou même aux valeurs individuelles
  • 39.
    39 Principes de sécurité ✔Contrôle centralisé Denodo gère la sécurité comme sur une DB : ▪ S’intègre avec votre Active Directory & SSO ▪ Masquage dynamique, restrictions sur les colonnes et les lignes selon les Roles & Privileges des utilisateurs ✔ Intégré à votre environnement Centralise la sécurité - basée sur comment les utilisateurs utilisent la donnée et non comment elle est stockée IT Semantic Layer JOIN GROUP BY GROUP BY 1. Requête métier 2. Authentification avec une corporate identity 3. Application des règles d’autorisation . Par exemple, masque SSN et restriction locale 4. Requête envoyée à la source avec les filtres de conditions correspondants 5. Résultat sécurisé est généré et envoyé à l’utilisateur DISPARATE DATA SOURCESLess Structured More Structured DATA CONSUMERS DATA CONSUMERS Analytica l Operational
  • 40.
  • 41.
    41 Architecture de référencede virtualisation des données Opérationnel et Transactionnel Metadata Management, Data Governance, Data Security Data Warehouse Web, Cloud, Saas Enterprise Applications Enterprise Application Web Mobile Data Sources Service Consumers Data Abstraction & Delivery Data Search & Discovery Federation Transformation Abstraction Data Services Federation Transformation Abstraction Optimization Security Governance Data Caching Enterpri se Service Bus SOA Service Providers • Génération automatique de documents Swagger • Prise en charge de tous les formats A P I M a n a g e m e n t P l a t f o r m
  • 42.
    42 API Management -Une complémentarité • API Management • Fournit une expérience axée sur le consommateur • Expose le catalogue d'API sur un portail • Applique les politiques de sécurité • Surveille votre trafic • Gère le cycle de vie de l'API (par exemple, la gestion des versions) • Data Virtualization • Modéliser et exposer les services de données en tant qu'API • Optimise le traitement des données • Combine les sources de données en temps réel • Accès aux sources de données à l'aide de divers protocoles • Accélère le développement par rapport à l'approche traditionnelle
  • 43.
  • 44.
    44 La performance ✔ Lesdonnées restent à la source ▪ Lorsqu’une requête est traitée par Denodo, les données sont remontées depuis les sources ▪ Potentiellement un volume de données important dans des sources disparates ✔ Stratégie de Denodo : Maximiser le traitement à la source ▪ Minimiser le trafic réseau ▪ Tirer parti des capacités de traitement des sources ▪ Compléter avec un cache intelligent ▪ Optimisations spécifiques pour les sources MPP (Massively Parallel Processing)
  • 45.
    45 La performance Combiner Transformer Livrer Application Source RDBMS Source Big Data Source WebService Un volume de données important est potentiellement transféré 2) Toutes les données concernées sont remontées des systèmes sources Sans Data Virtualization… 1) L’utilisateur demande la donnée à travers une application 3) Les données sont ensuite combinées et transformées directement dans l’application et livrées à l’utilisateur Tout le travail est exclusivement fait dans l’application
  • 46.
    46 La performance Combiner Transformer Livrer Application Source RDBMS Source Big Data Source WebService Avec Data Virtualization 1) L’utilisateur demande la donnée à travers une application. Denodo analyse la requête et envoie des requêtes ciblées aux sources 2) Le traitement des données à la source est maximisé via la délégation, selon leurs capacités techniques 3) Les données sont ensuite combinées et transformées par Denodo, livrées à l’application et l’utilisateur Le travail est partagé par les sources et par Denodo Le volume de données transféré est nettement réduit
  • 47.
    47 La performance SELECT c.state,AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Ventes Client JOIN GROUP BY Ventes Client Table temporaire JOIN GROUP BY Option 1 Option 2 Option 3 Temp-Client Les données « clients » et « ventes » sont stockées dans différentes sources. Quel est le meilleur plan d'exécution ? Stratégie fédération simple (outils BI) Mouvement temporaire des données (Si les sources le permettent) 300 M 2 M 2 M 50 Ventes Client JOIN GROUP BY ID GROUP BY state Délégation partielle d'agrégation 2 M 2 M ... juste un exemple parmi les stratégies appliquées par Denodo dans l'optimisation des requêtes
  • 48.
    48 La performance SELECT c.state,AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Fonctionnement de Denodo par rapport aux autres moteurs de la fédération Système Temps d'exécution Données transférées Technique d'optimisation Denodo 9 sec. 4 M La delegation de l'agrégation Autres 125 sec. 302 M Aucun : scan complet 300 M 2 M Ventes Client JOIN GROUP BY 2 M 2 M Ventes Client JOIN GROUP BY ID GROUP BY state Pour maximiser la délégation au dataware, l'agrégation est divisée en 2 étapes : • 1ère par ID client • 2ème par État Cela a considérablement réduit le trafic réseau et la complexité de traitement dans Denodo
  • 49.
    49 « Summaries »et mise en cache dans votre stratégie de modélisation Couche d’abstraction Modèles sources originaux Couche sémantique Modèle logique DW Couche métier (optionnel) Vue dénormalisée pour les entreprises Couche de Reporting (optionnel) Rapports prédéfinis avec métriques calculées Caching Sources lentes et protégées uniquement Summaries Summaries Caching
  • 50.
  • 51.
    AWS Cloud Infrastructure AzureCloud Infrastructure On-Prem Environment Azure VM Metro Transit Department T-Bird DCHS Integrated Health SQL Data Warehouse Azure Data Lake Databricks Python/Azure ML SQL Data Warehouse Azure Data Lake Databricks Python/Azure ML SQL Data Warehouse Azure Data Lake KCSO Analytics Platform Azure Commercial Azure Commercial Azure Government Enterprise Tools On-Prem Host On-Prem Host Data Catalog (Future) Data Governance (Future) Data Quality (Informatica) Client Machines BI Insights Data Warehouse Geo (ArcGIS Online) Reports (Tableau) Reports (Power BI) Dashboards (Power BI) Open Data (Socrata) Machine Learning Predictive Models Departments Agencies Citizens Council Environnement Cloud Denodo Denodo is Java code that can be run on Azure in: • A VM • A Docker Container • A Kubernetes Cluster Informatica DI Subnet Business Resource Center HUB VNet Subnet VNet UDR Peering On-Prem VM Subnet
  • 52.
    52 Couche de consommation Entrepôt dedonnées logique moderne DATA FLOW • Jointer les données Big Data et les requêtes analytiques hébergées dans ADLS et d'autres plateformes Big Data sur site. • Jointer Snowflake et sécurisez les données sur snowflake avec un modèle de sécurité d'entreprise tout en fournissant un outil de jonction d'interface utilisateur graphique. • Tirez parti de la couche analytique Azure pour les données en silo sur les services Azure. • Incorporez des données relationnelles provenant de sources sur site et dans le cloud. • Optimisez et traduisez les requêtes sur toutes les plates-formes pour augmenter la vitesse et l'efficacité des requêtes. • SQL parallèle dans les environnements cloud et sur site pour une optimisation supplémentaire et des augmentations de vitesse. • Fournissez une source unique pour toutes les couches de consommation, quelle que soit la requête ou la demande, avec une gouvernance et une piste d'audit complètes. 1 2 3 4 5 6 7 Couche source Oracle Big Data SQL Server API SQL Azure Denodo Virtualization API SQL On-Prem Denodo Virtualization • Données tierces (IMS, etc.) • Applications internes • E-mail • Applications externes • Réseaux sociaux • Fichiers plats • Flux IoT • Centres de données • Les autorités réglementaires • API de repos ADLS Gen 2 Big Data Data Lake Relational Analytical Relational 6 5 Data Lake Relational Relational Bbig Data 7 1 2 3 4 2 4 4 1 5
  • 53.
  • 54.
    Démonstration avec leDenodo Test Drive
  • 55.
    55 Atelier : analysetendances annuelles de ventes
  • 56.
  • 57.
    Présence Denodo • PaloAlto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization (leader & pionnier) – depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Denodo Technologies Leader & Pionnier dans la Data Virtualization Technologie Industrie Service financier Assurance Santé Secteur public Télécommunication Distribution Pharma / Bio-Tech Energie Clients • 850+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Rentable.
  • 58.
    Denodo Technologies Leader &Pionnier dans la Data Virtualization Partenaires technologiques Intégrateurs & ESN Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization (leader & pionnier) – depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Clients • 850+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Rentable.
  • 59.
    Denodo Technologies Leader &Pionnier dans la Data Virtualization AUTO ÉVALUATION ÉVALUATION COLLABORATIVE Téléchargez Denodo Express Contactez-nous ! Évaluez (1h) avec le Test Drive: Denodo Platform for AWS, Azure ou GCP Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization (leader & pionnier) – depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Clients • 850+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Rentable.
  • 60.
  • 61.
    Merci! www.denodo.com info@denodo.com © CopyrightDenodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies. 61