https://bit.ly/2TGvsG9
L'une des idées fondamentales derrière la virtualisation des données est le découplage des sources de données avec les méthodes de consommation. Pourquoi le besoin en requêtes de données dans JSON sur HTTP devrait-il nécessiter du développement supplémentaire? Denodo fournit un accès immédiat à ses ensembles de données via REST, OData 4, GeoJSON et d'autres protocoles, sans codage requis. Facile à faire évoluer, cloud-compatible et directement intégrable aux plateformes de gestion d'API, Denodo est l'outil idéal pour réussir votre stratégie API !
Dans cette session, nous aborderons les points suivants :
- Le rôle de Denodo dans une stratégie API
- L’intégration entre Denodo et les autres éléments du stack API, comme les plateformes de gestion d'API
- La facilité d'accès à Denodo en tant que fournisseur d’API REST
- Les options avancées des services Web Denodo: authentification via OAuth ou SAML, documentation OpenAPI, capacités géographiques, etc.
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Denodo, pilier central de votre stratégie API
1. Denodo, pilier central de
votre stratégie API
Emily Sergent
Ingénieure avant-vente,
Denodo
2. 1. Le rôle des APIs dans la transformation digitale
2. Les standards, les approches, les challenges
3. La Data Virtualization, plateforme facilitant la mise en
place d’API
4. Intégration dans votre écosystème API
5. Cas d’usage client
6. Démonstration
7. Performance et sécurité
8. Prochaines étapes
A G E N DA
3. 3
Les APIs et la transformation digitale
API, de l’anglais « Application Programming
Interface », est un langage de communication
technique :
• Entre systèmes « back end » et applications
« front end », destiné aux utilisateurs
• Entre systèmes avec différents rôles et capacités
• Entre « microservices » qui se déploient et
évoluent à des vitesses différentes
Les APIs forment la clé de voûte de toute stratégie
de transformation digitale : les nouveaux processus
de travail, les nouvelles formes de consommation de
la donnée passent forcément par les APIs
4. 4
Des standards d’API… une évolution constante
Qui se souvient de l’arrivée de…
▪ CORBA dans les années 90
▪ Architectures SOA et services Web SOAP au début des années 2000
Puis l’arrivée de REST, le standard de facto des années 2010
▪ HTTP comme protocole d'application
▪ Verbes HTTP (GET, POST, PUT, DELETE) pour indiquer les actions
(CRUD)
▪ ’’Light-weight payload’’ en JSON ou XML
Cependant REST n'est pas un standard complet, mais une approche
architecturale, complété par…
▪ Protocole de consommation : OData, GeoJSON, GraphQL
▪ Sécurité : OAuth, SAML
▪ Caractéristiques: WADL, OpenAPI (a.k.a. Swagger)
5. Une intégration maîtrisée
Sources de données Consommateurs
REST API
✓ Flexibilité
✓ Rapidité
✓ Agilité
✓ Abstraction technologique
Sans oublier…
• Sécurité
• Gouvernance
• Stabilité
{
{ $ }
Applications d’entreprise
Applications mobile
Data Science et l’analytique
Microservices
Transformation digitale
Data monétisation
Open Data
6. Une complexité à gérer
Sources de données Consommateurs
{ $ }
Applications d’entreprise
Applications mobile
Data Science et l’analytique
Microservices
Transformation digitale
Data monétisation
Open Data
• Hétérogénéité des systèmes,
plateformes
• Complexité des systèmes legacy
• Choix du protocole ?
• Coût du développement ?
• Sécurité d’accès
7. Ce besoin représente la Data Virtualization
Sources de données ConsommateursAccès unifié, Fédération ou
Virtualisation
{ $ }
Applications d’entreprise
Applications mobile
Data Science et l’analytique
Microservices
Transformation digitale
Data monétisation
Open Data
8. Fonctionnement simplifié (utilisation)
Sources de données Consommateurs
Une demande arrive
Optimisation &
Performance
Requêtes
dynamiques
Consolidation
sans réplication
Retour des
résultats
{ $ }
Applications d’entreprise
Applications mobile
Data Science et l’analytique
Microservices
Transformation digitale
Data monétisation
Open Data
9. Denodo couvre tous les protocoles du marché
Sources de données Consommateurs
GeoJSON
{ $ }
Applications d’entreprise
Applications mobile
Data Science et l’analytique
Microservices
Transformation digitale
Data monétisation
Open Data
Ainsi que :
ODBC/JDBC, SOAP, fichiers…
...et Data Catalog
10. Le fonctionnement est aussi simple que :
DATA CONSUMERS
Enterprise Applications, Reporting, BI, Portals, ESB, Mobile, Web, Users, IoT/Streaming Data
Multiple Protocoles,
Formats
Query, Search,
Browse
Request/Reply,
Event Driven
Secure
Delivery
ConsommateursAnalyses Transactions
Web
Services
Sources de données
Databases & Warehouses, Cloud/SaaS Applications, Big Data, NoSQL, Web, XML, Excel, PDF, Word...
Moins structuréePlutôt structurée
SQL,
MDX
Big Data
APIs
Web Automation
and Indexing
DATA VIRTUALIZATION
CONNECT COMBINE CONSUME
Share, Deliver, Publish,
Govern, Collaborate
Discover, Transform,
Prepare, Improve
Quality, Integrate
Normalized Views
of Disparate Data
Agile Development
Performance
Data ServicesResource Management
Data Catalog
Governance
& Metadata
Security and
Data Privacy
Lifecycle
Management
Connecter
Combiner
Consommer
GeoJSON
11. 11
Intégration dans votre écosystème API
La plateforme Denodo s’intègre avec
votre plateforme d’API management.
C’est le fournisseur de choix des data
services :
• Low-code/no-code : agilité, rapidité
• Denodo Query Optimizer : meilleure
performance sur données distribuées
• Moins cher à construire et encore
moins cher à maintenir
12. 12
Intégration dans votre écosystème API (sans API Management)
Lorsqu’une plateforme « full API
Management » n’est pas nécessaire…
Denodo peut fournir les fonctionnalités :
• Portail et documentation
OpenAPI/Swagger des APIs dans
Denodo Data Catalog
• Intégration avec IAM (OAuth, SAML)
• Throttling, priorisation de workload, et
gestion des quotas via Resource
Manager
Data Catalog
+
Denodo Server
13. 13
Cas d’usage client
✓ Fournisseur d’intelligence métier aux
acteurs de l’industrie pétrolière :
données minières, rendements,
prospection géologique
✓ Applications internes et externes
✓ Données mises à disposition à travers
plusieurs interfaces : REST API, JDBC
✓ Le temps de développement d’un web
service est passé de 1-2 semaines à 1
journée
✓ Equipe DV de 1.5 personnes
(développeur + admin mi-temps)
14. 14
Cas d’usage client
✓ Besoin : un portail centralisé pour les
techniciens du centre d’appel
✓ Accès aux données internes (CRM,
gestion d’incidents, état du réseau…) et
externes (fournisseurs logistiques…)
depuis un outil unique
✓ Réduire de 50% la charge de travail de
l’équipe back office
✓ Augmenter le taux de satisfaction client
à 94%
15. 15
Cas d’usage client
✓ Besoin : livrer une vision 360° à leurs
utilisateurs métiers : souscripteurs,
gestionnaires des sinistres, et Data
Scientists
✓ Complémenter et décloisonner leur
data warehouse existant
✓ Fournir un accès en temps réel à des
données d’API REST, OData, et SOAP
16. 16
Cas d’usage client
✓ Permettre la fédération des sources
disparates au sein d’une même vue
logique consistante et unique pour les
consommateurs
✓ Simplifier la consommation des
données via une couche de data service
« prête à l’emploi »
✓ Limiter la réplication de données inutile
et simplifier l’intégration
Témoignage novembre 2019
Referential data
Legacy
DWH / BI
Logical view
Data
Services
(API / SQL)
DB cache
Applications
d’Entreprise
Tableau de bord
Applications Web
Mobile App
17. 17
Démonstration
Fournir un API de suivi de commandes
et de livraison
▪ Données clients dans Oracle
▪ Statut des livraisons via un API REST
externe du fournisseur
▪ Projet de migration du catalogue de
produits vers Presto
▪ Deux applications consommatrices :
web et mobile
▪ GraphQL pour l’application mobile
JOIN
GROUP BY
JOIN
Orders Shipping Customer
Applications mobile + web
Items
JOIN
18. 18
Et… la performance dans tout ça ?
✓ Les données restent à la source
▪ Lorsqu’une requête est traitée par Denodo, les données sont
remontées depuis les sources
▪ Potentiellement un volume de données important dans des sources
disparates
✓ Stratégie de Denodo : maximiser le traitement à la source
▪ Minimiser le trafic réseau
▪ Tirer parti des capacités de traitement des sources
▪ Compléter avec un cache intelligent
▪ Optimisations spécifiques pour les sources MPP (Massively Parallel
Processing)
19. 19
Et… la performance dans tout ça ?
Combiner
Transformer
Livrer
Application
Source
RDBMS
Source
Big Data
Source
Web Service
Un volume de données important
est potentiellement transféré
2) Toutes les données
concernées sont remontées
des systèmes sources
Sans Data Virtualization… 1) L’utilisateur demande la donnée
à travers une application
3) Les données sont ensuite
combinées et transformées
directement dans l’application
et livrées à l’utilisateur
Tout le travail est
exclusivement
fait dans
l’application
20. 20
Et… la performance dans tout ça ?
Combiner
Transformer
Livrer
Application
Source
RDBMS
Source
Big Data
Source
Web Service
Avec Data Virtualization
1) L’utilisateur demande la donnée
à travers une application. Denodo
analyse la requête et envoie des
requêtes ciblées aux sources
2) Le traitement des données à
la source est maximisé via
la délégation, selon leurs
capacités techniques
3) Les données sont ensuite
combinées et transformées
par Denodo, livrées à l’application
et à l’utilisateur
Le travail
est partagé par les
sources et par
Denodo
Le volume de données transféré
est nettement réduit
21. 21
Et… la performance dans tout ça ?
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
Ventes Client
JOIN
GROUP BY
Ventes Client
Table
temporaire
JOIN
GROUP BY
Option 1 Option 2 Option 3
Temp-Client
Les données « clients » et « ventes » sont
stockées dans différentes sources.
Quel est le meilleur plan d'exécution ?
Stratégie fédération simple
(outils BI)
Mouvement temporaire des données
(Si les sources le permettent)
300 M 2 M 2 M
50
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Délégation partielle d'agrégation
2 M
2 M
... juste un exemple parmi les
stratégies appliquées par Denodo
dans l'optimisation des requêtes
22. 22
Et… la performance dans tout ça ?
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
Fonctionnement de Denodo par rapport aux autres moteurs de la fédération
Système Temps d'exécution
Données
transférées
Technique d'optimisation
Denodo 9 sec. 4 M
La delegation de
l'agrégation
Autres 125 sec. 302 M Aucun : scan complet
300 M 2 M
Ventes Client
JOIN
GROUP BY
2 M
2 M
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Pour maximiser la délégation
au dataware, l'agrégation est
divisée en 2 étapes :
• 1ère par ID client
• 2ème par État
Cela a considérablement
réduit le trafic réseau et la
complexité de traitement
dans Denodo
23. 23
Sécurité dans Denodo
✓ Contrôle centralisé
▪ Autoriser l'accès en fonction des besoins de
l'entreprise, indépendamment de la
localisation des données ou de la méthode
d'accès
▪ Définir un contrôle d'accès fin sur toutes les
sources de données (fichiers, services web, ...)
▪ Configuration centralisée
✓ Intégré à votre environnement
▪ OAuth, SAML, Kerberos
▪ Authentification locale ou LDAP
▪ Comptes de pass-though ou de service
nom pays téléphone SSN
John Smith USA 555-1212
Alain Durand France
Mary White USA 555-2212
Contrôler l'accès aux colonnes,
aux lignes ou même aux
valeurs individuelles
24. Clients
800+ clients actifs
F500, G2000 & Start-ups
Bureaux
Sièges : Palo Alto (USA) & La Corogne (Espagne)
Paris, Munich, London, Madrid, Singapore, NYC
Leadership
20 ans d´expertise en Data Virtualization
Reconnu sur le marché et par les analystes en tant
que leader (Forrester, Gartner, retours clients
depuis plus de 6 ans)
Nombreux prix remportés
Denodo Technologies
Pure Player & Pionnier de la virtualisation des données
AUTO ÉVALUATION
Téléchargez
Denodo Express
Test Drive (1h) Inscrivez-vous aux
formations Denodo
ÉVALUATION COLLABORATIVE
https://www.denodo.com/en/denodo-platform/test-drives
Contactez-nous : https://www.denodo.com/fr/contact-us
ENSEMBLE CONTRE LE COVID-19
Accédez à notre portail COVID-19 : https://datacatalog.open.denodo.com/