Télécharger en tant que PDF, PPTX
Téléchargé parDenodo
Session découverte de la Data Virtualization
Ce document présente un atelier virtuel sur la virtualisation des données, couvrant son introduction, ses cas d'usage, la gouvernance, la sécurité, la performance et des études de cas clients. Il met en avant la façon dont la virtualisation des données simplifie l'accès et le traitement des données au sein des organisations, abordant des exemples concrets de clients tels que UCB et Logitech. Enfin, il conclut sur les avantages de la plateforme Denodo pour améliorer l'intégration, la gestion et l'exploitation des données.
Contenu connexe
Similaire à Session découverte de la Data Virtualization
Session découverte de la Data Virtualization
- 1. Décembre 2021 Emily Sergent,Sales Engineer esergent@denodo.com Atelier virtuel : découverte de la Data Virtualization
- 2. Agenda 1. Généralités 2. Introductionà la Data Virtualization 3. Cas d’usage et études de cas clients 4. Gouvernance & sécurité 5. Performance 6. Démonstration 7. Conclusion 8. Questions/Réponses
- 3. 3 Quelques généralités • Laprésentation sera enregistrée • Les échanges et les questions/réponses • Avant la démonstration • A la fin de la présentation • N’hésitez pas à poser vos questions dans le chat au fil de l’eau • Pour suivre un tutorel pas à pas : • Se connecter à https://www.denodo.com/en/denodo-platform/test-drives • Cas d’usage Analytiques, Data Science et Data Marketplace sur Azure, AWS et GCP
- 4. Introduction à laData Virtualization Pourquoi la Data Virtualization? Défis, Solutions et Avantages
- 5. 5 Avant la virtualisationdes données Ventes RH Apps/API COMEX Marketing Problèmes courants : × Vues métiers décousues × Gouvernance complexe × Environnement de données fragmenté × Trop de réplication de données × Synchronisation longue et coûteuse 75% de la donnée stockée n’est pas utilisée 90% des requêtes concernent des données en temps réel
- 6. 6 Data Virtualization :Une plateforme de données moderne POINT D’ENTRÉE UNIQUE POUR L’EXPLORATION ET LA CONSOMMATION DE LA DONNÉE ACCÈS EN LIBRE SERVICE POUR TOUS LES RÔLES AU SEIN DE L’ORGANISATION SÉCURITÉ & GOUVERNANCE RENFORCÉES SIMPLE, AGILE, SÉCURISÉE AVEC UN ROI IMPORTANT Plateforme moderne d’accès à la donnée Ventes RH COMEX Marketing Apps/API Data Science AI/ML
- 7. 7 CONNECTER, COMBINER &CONSOMMER Ventes RH COMEX Marketing Apps/API Data Science AI/ML Data Virtualization : Une plateforme de données moderne Connecter ✔ Accès en temps réel à des sources de données variées ✔ Tirer parti de la puissance des technologies existantes ✔ Maîtriser la complexité des formats de stockage et des protocoles d’accès Combiner ✔ Construire des vues qui ciblent les besoins et cas d’usage métier ✔ Accès à la demande à travers un optimiseur de requêtes ✔ Gouvernance et sécurité appliquées de manière transparente Consommer ✔ Accès SQL : JDBC, ODBC et ADO.NET ✔ Data Services : SOAP, REST, OData, GraphQL ✔ Libre service et exploration : Data catalog intégré
- 8. 8 Plateforme de virtualisationde données Denodo Vues de base Vues standarisées Vues métier Sécurité, couche sémantique et optimiseur de requêtes Sources de données Consommateurs Ventes RH COMEX Marketing Apps/API Data Science AI/ML
- 9. 9 L’architecture Denodo DATA CATALOG Découvrir- Explorer - Documenter { ACCÈS API } RESTful / OData GraphQL / GeoJSON SQL CONSOMMATE URS VIRTUALISATION DES DONNEES CONNECTIVITÉ LOGICAL DATA FABRIC SOURCES DWH/Bases de données relationnelles 150+ adaptateurs Stockage Cloud Hadoop & NoSQL OLAP Fichiers Apps Streaming SaaS Optimisation des requêtes Sécurité Intelligence artificielle Gouvernance Couche sémantique Temps réél Accélération Caching DATA OPS Déploiement Cloud PaaS Container/K8 On-Prem/sur site Surveillance Ordonnancement Gestion des versions DÉVELOPPEMENT MODÉLISATION LIVRAISON
- 10. 10 L’architecture Logical DataWarehouse “Adopt the Logical Data Warehouse Architecture to Meet Your Modern Analytical Needs”. Henry Cook, Gartner April 2018 DATA VIRTUALIZATION
- 11. L’évolution historique Les donnéesau cœur de l’entreprise 11
- 12. Cas d’usage etétudes de cas clients
- 13. 13 Les cas d’usagede la Data Virtualization DU STOCKAGE & MANAGEMENT, À LA CONSOMMATION, EN PASSANT PAR LA GOUVERNANCE ET LA SÉCURITÉ DÉCISION (REAL TIME) K.Y.C. (CLIENTS 360) BI AGILE (SELF-SERVICE) DATA SCIENCE (ML & AI) APPS (MOBILE & WEB) FUSIONS & ACQUISITIONS DATA MARKETPLACE RÉGLEMENTATIONS (IFRS17, GRC) GOUVERNANCE & SÉCURITÉ APIFICATION (& SQLIFICATION) COUCHE DONNÉE UNIFIÉE AGILITÉ & SIMPLICITÉ LIVRAISON TEMPS-RÉELLE ABSTRACTION DONNÉES ZÉRO RÉPLICATION DATA CATALOG PERFORMANCES OPTIMISÉES LOGICAL DATA WAREHOUSE/LAKE BIG DATA FABRIC HYBRID DATA FABRIC DATA INTEGRATION DATA MIGRATION REFACTORING & REPLATFORMING DATA CONSUMPTION DATA STORAGE & MANAGEMENT DATA GOVERNANCE, MANIPULATION & ACCESS Sales HR Executive Marketing Apps/API Data Science AI/ML API
- 14. 14 Les cas d’usagede la Data Virtualization DU STOCKAGE & MANAGEMENT, À LA CONSOMMATION, EN PASSANT PAR LA GOUVERNANCE ET LA SÉCURITÉ Sales HR Executive Marketing Apps/API Data Science AI/ML LOGICAL DATA WAREH OUSE API MIGRATI ON MOVE TO THE CLOUD BIG DATA FABRI C DATA GOVERN ANCE DATA CATALOG
- 15. 15 Cas d’usage client:UCB UCB est une entreprise biopharmaceutique mondiale qui cherche à transformer la vie des personnes atteintes de maladies graves en neurologie et en immunologie. Son chiffre d'affaires total était de 4,9 milliards d'euros en 2019 et elle compte 7 600 employés dans le monde. UCB voulait implémenter des cas d’usage centrés sur la donnée, tels qu'une vue à 360 degrés du patient, l'analyse des tendances en matière de recrutement, l'allocation efficace des ressources, etc. Elle souhaitait également s'éloigner de l'approche classique ETL pour résoudre ses problèmes d'intégration de données, qui consistaient à extraire des données de plusieurs sources. Témoignage vidéo: https://www.denodo.com/en/video/case-study/customer-case-study-ucb
- 16. 16 Cas d’usage client:UCB › Solution Denodo • Architecture « Logical Data Warehouse » • Couche d’accès unique pour plusieurs cas d’usage: vue 360°, l'analyse des ventes par la data science, et le suivi réglementaire des documents de contrôle › Résultats • Facilité d’accès à diverses sources de données • Réduction de l'empreinte ETL • Développement rapide dans le cadre de l'initiative DevOps • 6 cas d’usage implémentés en une seule année et d'autres à venir Besoins métier • Vue 360° en temps réel des données des patients • Une approche plus rapide que celle basée sur les ETL. • Réduire le temps de développement des cas d'usage analytique • Intégrer des sources de données cloud
- 17. 17 Cas d’usage client:UCB Sources de données Netezza MyAccess SQL Server DATA VIRTUALIZATION Consommateurs de la donnée Couche d’accès
- 18. 18 Cas d’usage client: Logitech Ce fournisseur mondial d'accessoires pour ordinateurs personnels et tablettes a son siège en Suisse et en Californie. L'entreprise développe et commercialise des périphériques pour PC, notamment des claviers, des souris, des trackballs et des microphones. En 2015, l'entreprise a déclaré un chiffre d'affaires de 2 milliards de dollars et comptait 9 000 employés. Le cloud offre de nombreux avantages, mais réussir sa stratégie de migration implique souvent de longues interruptions de service. Logitech, cependant, a tiré parti de la plate-forme Denodo non seulement pour une migration vers le cloud en direct, avec un impact minimal sur l'activité, mais aussi pour des avantages étendus du cloud, tels que des analyses avancées. Description détaillée et témoignage vidéo : https://www.denodo.com/en/customer/logitech
- 19. 19 Cas d’usage client: Logitech › Solution Denodo • Une couche d’accès à la donnée gouvernée et sécurisée • Combiner les données de Snowflake avec des données de Salesforce, Zendesk, et Google Analytics • Fournir de la donnée à la fois aux projets de BI et aux projets Data Science › Résultats • Migration vers le cloud réussie avec une impacte maîtrisée pour les utilisateurs métiers • Vitesse augmentee: le calcul de la prévision hebdomadaire est passée de 3 jours à quelques heures • Réduction des coûts Besoins métier • Intégration des sources de données internes et externes • Casser les silos de données • Réduire les coûts grâce à une infrastructure de données cloud
- 20. 20 Cas d’usage client: Logitech
- 21. 21 Cas d’usage client: Prologis Fondée en 1983, Prologis fournit des solutions logistiques immobilières partout dans le monde. Avec 1 600 employés dans 19 pays, Prologis gère plus de 111 milliards de dollars d'actifs, représentant plus de 74 millions de mettre carrés dans 19 pays. Prologis souhaitait moderniser son infrastructure de données afin d'y inclure des fonctionnalités de cloud computing, ainsi que des gains d'efficacité qui accéléreraient les analyses. Cependant, Prologis ne voulait pas s'engager dans des efforts de modernisation qui entraîneraient des temps d'arrêt prolongés des systèmes existants. Description détaillée : https://www.denodo.com/en/customer/prologis
- 22. 22 Cas d’usage client: Prologis › Solution Denodo • Couche d’accès unique avec abstraction de la complexité technologique des sources • Centraliser la documentation métier et les règles de sécurité • Fournir de la donnée à la fois aux projets de BI et aux projets Data Science › Résultats • Migration progressive et simplifiée vers Snowflake • Mise en place des « briques analytiques » réutilisables • Accélération estimée à 30% des projets analytiques Besoins métier • Remplacer 27 serveurs on-prem par une solution cloud flexible et moins couteuse • Simplifier la gestion des l’intégration de données en remplaçant les ETLs complexes et les ensembles de données monolitiques
- 23. 23 Cas d’usage client: Prologis
- 24. -Stacie Hall, EnterpriseArchitect, Intel Data Virtualization is a game changer for our data.”
- 25. 25 Leurs défis • Donnéesmondialement distribuées à travers des outils et technologies hétérogènes • Nouvelles sources de données (ex: big data) & nouveaux consommateurs (ex: émergence du SaaS) • Nouveaux canaux de communication (ex: mobile) • Web Services et API Management • Fusions et acquisitions • Analystes en demande de données fraîches et faciles d’accès
- 26. 26 Résultats • Données mondialementdistribuées à travers des outils et technologies hétérogènes • Nouvelles sources de données (ex: big data) & nouveaux consommateurs (ex: émergence du SaaS) • Nouveaux canaux de communication (ex: mobile) • Web Services et API Management • Fusions et acquisitions • Analystes en demande de données fraîches et faciles d’accès
- 27.
- 28. 28 Gouvernance et virtualisationdes données • La virtualisation contribue à la gouvernance générale des données en apportant les capabilités suivantes : ✔ Gestion opérationnelle des metadonnées ✔ Audit de l’ensemble des données quelles que soient la typologie et la méthode d’accès ✔ Sécurité : contrôle d’accès en un point unique ✔ Réduction des réplications
- 29. 29 Principes de sécurité ✔Contrôle centralisé ▪ Autoriser l'accès en fonction des besoins de l'entreprise, indépendamment de la localisation des données ou de la méthode d'accès ▪ Définir un contrôle d'accès fin sur toutes les sources de données (fichiers, services web, ...) ▪ Configuration centralisée ✔ Intégré à votre environnement ▪ SSO, Kerberos ▪ Authentification locale ou LDAP ▪ Comptes de pass-though ou de service nom pays téléphone SSN John Smith USA 555-1212 Alain Durand France Mary White USA 555-2212 Contrôler l'accès aux colonnes, aux lignes ou même aux valeurs individuelles
- 30. 30 Principes de sécurité ✔Denodo gère la sécurité comme une DB : ▪ Dynamic Masking, restrictions sur colonne et sur lignes selon les rôles & les privilèges des utilisateurs ▪ Sécurité basée sur l’utilisation et non sur le système de stockage IT Semantic Layer JOIN GROUP BY GROUP BY 1. Requête métier 2. Authentification avec une corporate identity 3. Application des règles d’autorisation : Par exemple, masquer SSN et certains numéros de tél 4. Requête envoyée à la source avec les filtres de conditions correspondants 5. Résultat sécurisé est généré et envoyé à l’utilisateur DATA SOURCES Less Structured More Structured DATA CONSUMERS DATA CONSUMERS Analytical Operational
- 31.
- 32. 32 Performances et optimisationsdans Denodo Pourquoi est-ce si important ? ✔ Les données sont externes ▪ Lorsqu’une requête est traitée par Denodo, les données sont remontées depuis les sources ✔ Il y a deux niveaux de traitement ▪ Dans les sources de données ▪ Par le moteur Denodo ✔ Stratégie de Denodo : Maximiser le traitement à la source ▪ Minimiser le trafic réseau ▪ Tirer parti des capacités de traitement des sources
- 33. 33 Performances et optimisationsdans Denodo Axé sur 4 concepts de base ✔ Optimiseur de requête ✔ Optimisations MPP ✔ Cache ✔ Accélération intelligente pour l’analytique
- 34. 34 Et… la performancedans tout ça ? Combiner Transformer Livrer Application Source RDBMS Source Big Data Source Web Service Un volume de données important est potentiellement transféré 2) Toutes les données concernées sont remontées des systèmes sources Sans Data Virtualization… 1) L’utilisateur demande la donnée à travers une application 3) Les données sont ensuite combinées et transformées directement dans l’application et livrées à l’utilisateur Tout le travail est exclusivement fait dans l’application
- 35. 35 Et… la performancedans tout ça ? Combiner Transformer Livrer Application Source RDBMS Source Big Data Source Web Service Avec Data Virtualization 1) L’utilisateur demande la donnée à travers une application. Denodo analyse la requête et envoie des requêtes ciblées aux sources 2) Le traitement des données à la source est maximisé via la délégation, selon leurs capacités techniques 3) Les données sont ensuite combinées et transformées par Denodo, livrées à l’application et l’utilisateur Le travail est partagé par les sources et par Denodo Le volume de données transféré est nettement réduit
- 36. 36 La performance SELECT c.state,AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Ventes Client JOIN GROUP BY Ventes Client Table temporaire JOIN GROUP BY Option 1 Option 2 Option 3 Temp-Client Les données « clients » et « ventes » sont stockées dans différentes sources. Quel est le meilleur plan d'exécution ? Stratégie fédération simple (outils BI) Mouvement temporaire des données (Si les sources le permettent) 300 M 2 M 2 M 50 Ventes Client JOIN GROUP BY ID GROUP BY state Délégation partielle d'agrégation 2 M 2 M ... juste un exemple parmi les stratégies appliquées par Denodo dans l'optimisation des requêtes
- 37. 37 La performance SELECT c.state,AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state Fonctionnement de Denodo par rapport aux autres moteurs de la fédération Système Temps d'exécution Données transférées Technique d'optimisation Denodo 9 sec. 4 M La délégation de l'agrégation Autres 125 sec. 302 M Aucun : scan complet 300 M 2 M Ventes Client JOIN GROUP BY 2 M 2 M Ventes Client JOIN GROUP BY ID GROUP BY state Pour maximiser la délégation au dataware, l'agrégation est divisée en 2 étapes : • 1ère par ID client • 2ème par État Cela a considérablement réduit le trafic réseau et la complexité de traitement dans Denodo
- 38.
- 39.
- 40. Clients • 800+ actifs •F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Profitable. Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix Denodo Technologies Leader & Pionnier de la Data Virtualization Technologie Industrie Service financier Assurance Santé Secteur public Télécommunication Distribution Pharma / Bio-Tech Energie
- 41. Denodo Technologies Leader &Pionnier de la Data Virtualization Technology Partners System Integrators & Solution Consultants Clients • 800+ actifs • F500, G2000 & Start-ups Santé financière • $4B+ Fond privé (HGGC). • 60+% croissance annuelle; Zéro dette; Profitable. Présence Denodo • Palo Alto (USA) & A Coruña (Espagne) • Présence mondiale Leadership • A l’origine et « Pure Player » de la data virtualization depuis 1999 • Reconnaissance des analystes et du marché en tant que leader (Forrester, Gartner, Clients depuis 6+ ans) • Nombreux prix
- 42. 42 “Denodo provides itscustomers with the necessary product capabilities for automating the data fabric design with its core platform components – a unified semantic catalog, a dynamic query optimization engine and runtime metadata-based ML algorithms. Its data fabric design relies on data virtualization to provide integrated data quickly to business users to effect faster outcomes.” 2020 Gartner Magic Quadrant for Data Integration Tools Gartner: Denodo nommé Leader et “Customers’ choice” Denodo est l'un des deux fournisseurs à recevoir le “Customers’ choice” pour 2021, parmi les 17 fournisseurs inclus dans ce rapport, avec une note globale moyenne de 4,6 sur 5,0 au 31 décembre 2020, sur la base de 56 avis reçus.
- 43. 43 Prochaines étapes Commencez àconnecter vos propres sources de données avec la plateforme Denodo ! Denodo Express • Version gratuite et allégée pour une installation partout • Téléchargeable ici Evaluation collaborative Contactez-nous ! Denodo Standard Free Trial • 30 jours d’évaluation offerts • Accessible ici sur le fournisseur cloud de votre choix
- 44. Merci! www.denodo.com info@denodo.com © CopyrightDenodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies. 44