SlideShare une entreprise Scribd logo
1  sur  30
Télécharger pour lire hors ligne
Consultant & MVP - Data Platform chez SCOP IT
Azure Data Platform
Quelle solution pour quel usage ?
Sauget Charles-Henri
@SaugetCh
SAUGET Charles-Henri
Consultant décisionnel
depuis 2009
BLOG
www.sauget-ch.fr
TWITTER
@SaugetCh
MAIL
chsauget@scop-it.com
Sommaire
1. Introduction Azure Data Platform
2. Démonstration par l’exemple avec 4 architectures
Une trentaine de services azure orientés données…
http://azureplatform.azurewebsites.net/en-us/
Une trentaine de services azure orientés données…
Nous présenterons celles-ci :
http://azureplatform.azurewebsites.net/en-us/
https://blogs.technet.microsoft.com/cansql/2015/06/03/microsoft-data-platform-overview/
L’arbre de décision
de Ivan Kosyakov
Data Platform Technical Architect at Microsoft
Les architectures
A travers l’évolution d’une application de e-commerce dans le
cloud.
Répondre aux besoins :
• Données non structurées
• Analyses en temps réels
• Optimisation des coûts
L’architecture initiale
Site
E-Commerce
Serveur IIS Serveur SQL Répliquât
Read-Intent
Requêtes Ad-Hoc
Analyse de données
SSRS
Premiers pas dans le cloud
Site
E-Commerce
Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
Active Geo-Replication for
Azure SQL Database
Pourquoi SQLDB ?
• Azure SQLDB
– Performance évolutive à la demande sans interruption de service de votre application
– Restauration à une date précise
– Réplication géographique avec accès en lecture seule
– Requêtes analytiques
– Facilité de migration depuis l’existant
• DocumentDB (Session suivante dans cette salle)
– NoSQL
– Faible latence
– Support SQL
• Azure Table
– Peu cher
– Pas de support SQL
http://www.jamesserra.com/archive/2015/08/relational-databases-vs-non-relational-databases/
Pourquoi SQLDB - Prix ?
0 50 100 150 200 250 300 350 400 450
Table Storage
DocumentDB
SQL DB
Table Storage DocumentDB SQL DB
Standard 0.11 7.13 12.67
Premium 21.08 392
Prix par mois sur la base de 10 GO de données
https://azure.microsoft.com/fr-fr/pricing/calculator/
Pourquoi et quel PowerBI ?
• PowerBI Service (Salle 2 – Après 14h)
– Aucune infrastructure à gérer
– Possibilité de se connecter au model avec Excel
– Abonnement ou Gratuit
• PowerBi Embeded
– Nécessité d’intégrer l’application dans les outils maisons
– Paiement à l’affichage
Site
E-Commerce
Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
active geo-replication for A
zure SQL Database
Fichiers clients qualifiés …
Base compta
< 100 TB = SQLDB
> 100 TB = SQLDW
Consolidation des données
Pourquoi SQL DataWarehouse?
Feature SQL Database SQL Data Warehouse
Taille Maximum 1TB Pas de limite
Requêtes concurrentes <6400 <32
Requêtes cross-database Oui Non
Possibilité de Pause Non Oui
Polybase Non Oui
SQL Data Warehouse : Session demain à 14h Salle 3
http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
Le prix ?
0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 €
SQLDB
SQLDW
SQLDB SQLDW
6000 DWU 57,000 €
4000 DTU 13,495 €
100 DWU 1,062 €
10 DTU 13 €
Prix par mois sur la base de 100 Go
https://azure.microsoft.com/fr-fr/pricing/calculator/
Pourquoi Azure Data Factory ?
• Azure Data Factory
– Permet de gérer des flux de données
– Depuis le cloud ou onprem grâce à une Gateway
• SSIS
– N’existe pas en PaaS
– Permet de gérer des flux de données ainsi que des flux de contrôle
Session Azure Data Factory vs SSIS 15h30 Salle 1
Données déstructurées
Site
E-Commerce Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
active geo-replication for Azure SQ
L Database
Fichiers clients …
Base compta
ADF / SSIS
< 100 TB = SQLDB
> 100 TB = SQLDW
AzCopy
Azure Logic App
Base des tickets - Purge
ADF
ADF
SSAS PaaS
Pourquoi Data Lake Store?
• Data Lake Store
– Un système de fichiers Apache Hadoop dans le cloud
– Pas de limite de taille de fichier
– Gestion de données structurées et non structurées
– Accès contrôlé grâce à Azure Active Directory
– Optimisé pour la charge OLAP
• Azure Blob Storage
– Accès contrôlé grâce à des clés partagées
– Non optimisé pour la charge OLAP
• HDInsight
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
Pourquoi Data Lake Store - Prix?
0 10 20 30 40 50 60 70
Azure Blob Storage
Data Lake Storage
Azure Blob Storage Data Lake Storage
Base 1 TO Prix / Mois 21 60
Base 1 TO Prix / Mois
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
Données déstructurées
• Azure Logic App (Session 15h30 Salle 2)
– Création des processus métier et circuit de validation (workflow)
• AzCopy
– Outil en ligne de commande pour copier rapidement des données dans
un BLOB Storage
• Polybase
– Permet un requêtage SQL de données relationnelles et non relationnelles.
• Azure Data Catalog (Demo)
– Catalogue de données
– Permet une meilleure visibilité des données de l’entreprise.
https://docs.microsoft.com/fr-fr/azure/azure-functions/functions-compare-logic-apps-ms-flow-webjobs
Premiers pas vers le streaming
Site
E-Commerce
Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
Fichiers clients …
Base compta
Base des tickets - Purge
Premiers pas vers le streaming
• Event Hub
– Log des millions d’évènements par seconde en temps réel
– Utilise un buffer d’événements
– Source possible de stream analytics
• Service Bus
– System de message
– FIFO (Queue)
– Destination possible de Azure Logic Apps
• Stream Analytics (Session 17h Salle 1)
– Utilise un langage proche du SQL pour un développement rapide
– Effectue des analyses en temps réel pour des solutions IoT
Demo Streaming
PowerBi Service
Azure Logic App
Sessions complémentaires
Aujourd’hui
• 12h – Azure DocumentDB, une base de données extrêmement rapide à l’échelle de la
planète - Salle 1
• 14h - Azure Data Lake Store / Analytics - Salle 1
• 14h - PowerBI - Salle 2
• 15h30 - Azure Data Factory vs SSIS, the Ins and Outs - Salle 1
• 17h00 - Stream analytics ou une nouvelle loi de l’action-réaction - Salle 1
Sessions complémentaires
Demain
• 12h - Deep dive into modeling with PowerBi and SSAS - Salle 3
• 14h - Utilisation et optimisation de SQL Datawarehouse – Salle 3
• 14h – Introduction au nouveau moteur de workflow de Microsoft : Flow – Salle 2
http://www.jamesserra.com/wp-content/uploads/2016/09/Microsoft-BI-and-IM-Design-Guidance.docx
Merci beaucoup à nos sponsors!
Thank you to all our sponsors!
Join the conversation
#MSCloudSummit
@MSCloudSummit
Merci Beaucoup! Thank you!
Join the conversation
#MSCloudSummit
@MSCloudSummit

Contenu connexe

Tendances

Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)Jean-Pierre Riehl
 
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Jean-Pierre Riehl
 
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS
 
Architectures réparties en environnement web
Architectures réparties en environnement webArchitectures réparties en environnement web
Architectures réparties en environnement webAmaury Bouchard
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataMicrosoft
 
Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Guillaume Nocent
 
Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...
Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...
Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...MongoDB
 
Gibtalk aws
Gibtalk awsGibtalk aws
Gibtalk awsmeliphen
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0Jean-Pierre Riehl
 
DataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudDataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudVictor Coustenoble
 
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Amazon Web Services
 
Meetup Google Cloud
Meetup Google CloudMeetup Google Cloud
Meetup Google CloudPierre Coste
 
Power Saturday 2019 B3 - SQL Server dans Azure
Power Saturday 2019 B3 - SQL Server dans AzurePower Saturday 2019 B3 - SQL Server dans Azure
Power Saturday 2019 B3 - SQL Server dans AzurePowerSaturdayParis
 
Track 2 - Atelier 2 - Introduction à redshift
Track 2 - Atelier 2 - Introduction à redshiftTrack 2 - Atelier 2 - Introduction à redshift
Track 2 - Atelier 2 - Introduction à redshiftAmazon Web Services
 
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Amazon Web Services
 
Présentation BigQuery et comparatif avec RedShift
Présentation BigQuery et comparatif avec RedShiftPrésentation BigQuery et comparatif avec RedShift
Présentation BigQuery et comparatif avec RedShiftPierre Coste
 
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...DataStax
 
Panorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzurePanorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzureMicrosoft Décideurs IT
 
Guss sql IaaS PaaS 20131202
Guss sql IaaS PaaS 20131202Guss sql IaaS PaaS 20131202
Guss sql IaaS PaaS 20131202Julien Plée
 

Tendances (20)

Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
 
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
 
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the Web
 
Architectures réparties en environnement web
Architectures réparties en environnement webArchitectures réparties en environnement web
Architectures réparties en environnement web
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
 
Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016
 
Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...
Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...
Morning with MongoDB Paris 2012 - Cas d'usages courant en entreprise. Présent...
 
Gibtalk aws
Gibtalk awsGibtalk aws
Gibtalk aws
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
 
Azure Data Factory-Rebuild 2017
Azure Data Factory-Rebuild 2017 Azure Data Factory-Rebuild 2017
Azure Data Factory-Rebuild 2017
 
DataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudDataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le Cloud
 
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
 
Meetup Google Cloud
Meetup Google CloudMeetup Google Cloud
Meetup Google Cloud
 
Power Saturday 2019 B3 - SQL Server dans Azure
Power Saturday 2019 B3 - SQL Server dans AzurePower Saturday 2019 B3 - SQL Server dans Azure
Power Saturday 2019 B3 - SQL Server dans Azure
 
Track 2 - Atelier 2 - Introduction à redshift
Track 2 - Atelier 2 - Introduction à redshiftTrack 2 - Atelier 2 - Introduction à redshift
Track 2 - Atelier 2 - Introduction à redshift
 
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...
 
Présentation BigQuery et comparatif avec RedShift
Présentation BigQuery et comparatif avec RedShiftPrésentation BigQuery et comparatif avec RedShift
Présentation BigQuery et comparatif avec RedShift
 
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
 
Panorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzurePanorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans Azure
 
Guss sql IaaS PaaS 20131202
Guss sql IaaS PaaS 20131202Guss sql IaaS PaaS 20131202
Guss sql IaaS PaaS 20131202
 

Similaire à J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Henri Sauget

Power BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des DonnéesPower BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des DonnéesJean-Pierre Riehl
 
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013serge luca
 
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...GUSS
 
Monter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMonter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMicrosoft Technet France
 
J1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric CharlierJ1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric CharlierMS Cloud Summit
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobreGeoffrey Felix
 
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...AZUG FR
 
Stream processing et SQL
Stream processing et SQLStream processing et SQL
Stream processing et SQLBruno Bonnin
 
SharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days CasablancaSharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days CasablancaPatrick Guimonet
 
Sql saturday 323 paris 2014 azure migration iaas et paas
Sql saturday 323 paris 2014   azure migration iaas et paasSql saturday 323 paris 2014   azure migration iaas et paas
Sql saturday 323 paris 2014 azure migration iaas et paasChristophe Laporte
 
Windows Azure Camp du mardi 10 décembre 2013
Windows Azure Camp du mardi 10 décembre 2013Windows Azure Camp du mardi 10 décembre 2013
Windows Azure Camp du mardi 10 décembre 2013Microsoft Technet France
 
SharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnantSharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnantMicrosoft
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1GUSS
 
Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]
Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]
Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]IBM France PME-ETI
 
Retour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybrideRetour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybrideMicrosoft Décideurs IT
 
Retour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybrideRetour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybrideMicrosoft Technet France
 
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...AZUG FR
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
 

Similaire à J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Henri Sauget (20)

Power BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des DonnéesPower BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des Données
 
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
 
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
 
Monter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMonter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows Azure
 
J1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric CharlierJ1 T1 5 - Stream Analytics - Cédric Charlier
J1 T1 5 - Stream Analytics - Cédric Charlier
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobre
 
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
 
Azure et e commerce
Azure et e commerceAzure et e commerce
Azure et e commerce
 
Stream processing et SQL
Stream processing et SQLStream processing et SQL
Stream processing et SQL
 
SharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days CasablancaSharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days Casablanca
 
Sql saturday 323 paris 2014 azure migration iaas et paas
Sql saturday 323 paris 2014   azure migration iaas et paasSql saturday 323 paris 2014   azure migration iaas et paas
Sql saturday 323 paris 2014 azure migration iaas et paas
 
Windows Azure Camp du mardi 10 décembre 2013
Windows Azure Camp du mardi 10 décembre 2013Windows Azure Camp du mardi 10 décembre 2013
Windows Azure Camp du mardi 10 décembre 2013
 
Hybride share point search
Hybride share point searchHybride share point search
Hybride share point search
 
SharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnantSharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnant
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1
 
Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]
Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]
Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]
 
Retour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybrideRetour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybride
 
Retour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybrideRetour d'expérience : rendre votre IT agile grâce au cloud hybride
Retour d'expérience : rendre votre IT agile grâce au cloud hybride
 
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
 

Dernier

Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudOCTO Technology
 
Intelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imaginationIntelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imaginationTony Aubé
 
GUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - MontréalGUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - MontréalNicolas Georgeault
 
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...OCTO Technology
 
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...OCTO Technology
 
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdfEtude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdfsnapierala
 
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...Faga1939
 
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IAMilo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IAUGAIA
 

Dernier (8)

Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
 
Intelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imaginationIntelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imagination
 
GUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - MontréalGUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - Montréal
 
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
 
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
 
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdfEtude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
 
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
 
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IAMilo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
 

J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Henri Sauget

  • 1. Consultant & MVP - Data Platform chez SCOP IT Azure Data Platform Quelle solution pour quel usage ? Sauget Charles-Henri @SaugetCh
  • 2. SAUGET Charles-Henri Consultant décisionnel depuis 2009 BLOG www.sauget-ch.fr TWITTER @SaugetCh MAIL chsauget@scop-it.com
  • 3. Sommaire 1. Introduction Azure Data Platform 2. Démonstration par l’exemple avec 4 architectures
  • 4. Une trentaine de services azure orientés données… http://azureplatform.azurewebsites.net/en-us/
  • 5. Une trentaine de services azure orientés données… Nous présenterons celles-ci : http://azureplatform.azurewebsites.net/en-us/
  • 7.
  • 8. L’arbre de décision de Ivan Kosyakov Data Platform Technical Architect at Microsoft
  • 9.
  • 10. Les architectures A travers l’évolution d’une application de e-commerce dans le cloud. Répondre aux besoins : • Données non structurées • Analyses en temps réels • Optimisation des coûts
  • 11. L’architecture initiale Site E-Commerce Serveur IIS Serveur SQL Répliquât Read-Intent Requêtes Ad-Hoc Analyse de données SSRS
  • 12. Premiers pas dans le cloud Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analyse de données PowerBi Active Geo-Replication for Azure SQL Database
  • 13. Pourquoi SQLDB ? • Azure SQLDB – Performance évolutive à la demande sans interruption de service de votre application – Restauration à une date précise – Réplication géographique avec accès en lecture seule – Requêtes analytiques – Facilité de migration depuis l’existant • DocumentDB (Session suivante dans cette salle) – NoSQL – Faible latence – Support SQL • Azure Table – Peu cher – Pas de support SQL http://www.jamesserra.com/archive/2015/08/relational-databases-vs-non-relational-databases/
  • 14. Pourquoi SQLDB - Prix ? 0 50 100 150 200 250 300 350 400 450 Table Storage DocumentDB SQL DB Table Storage DocumentDB SQL DB Standard 0.11 7.13 12.67 Premium 21.08 392 Prix par mois sur la base de 10 GO de données https://azure.microsoft.com/fr-fr/pricing/calculator/
  • 15. Pourquoi et quel PowerBI ? • PowerBI Service (Salle 2 – Après 14h) – Aucune infrastructure à gérer – Possibilité de se connecter au model avec Excel – Abonnement ou Gratuit • PowerBi Embeded – Nécessité d’intégrer l’application dans les outils maisons – Paiement à l’affichage
  • 16. Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analyse de données PowerBi active geo-replication for A zure SQL Database Fichiers clients qualifiés … Base compta < 100 TB = SQLDB > 100 TB = SQLDW Consolidation des données
  • 17. Pourquoi SQL DataWarehouse? Feature SQL Database SQL Data Warehouse Taille Maximum 1TB Pas de limite Requêtes concurrentes <6400 <32 Requêtes cross-database Oui Non Possibilité de Pause Non Oui Polybase Non Oui SQL Data Warehouse : Session demain à 14h Salle 3 http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
  • 18. Le prix ? 0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 € SQLDB SQLDW SQLDB SQLDW 6000 DWU 57,000 € 4000 DTU 13,495 € 100 DWU 1,062 € 10 DTU 13 € Prix par mois sur la base de 100 Go https://azure.microsoft.com/fr-fr/pricing/calculator/
  • 19. Pourquoi Azure Data Factory ? • Azure Data Factory – Permet de gérer des flux de données – Depuis le cloud ou onprem grâce à une Gateway • SSIS – N’existe pas en PaaS – Permet de gérer des flux de données ainsi que des flux de contrôle Session Azure Data Factory vs SSIS 15h30 Salle 1
  • 20. Données déstructurées Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analyse de données PowerBi active geo-replication for Azure SQ L Database Fichiers clients … Base compta ADF / SSIS < 100 TB = SQLDB > 100 TB = SQLDW AzCopy Azure Logic App Base des tickets - Purge ADF ADF SSAS PaaS
  • 21. Pourquoi Data Lake Store? • Data Lake Store – Un système de fichiers Apache Hadoop dans le cloud – Pas de limite de taille de fichier – Gestion de données structurées et non structurées – Accès contrôlé grâce à Azure Active Directory – Optimisé pour la charge OLAP • Azure Blob Storage – Accès contrôlé grâce à des clés partagées – Non optimisé pour la charge OLAP • HDInsight https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
  • 22. Pourquoi Data Lake Store - Prix? 0 10 20 30 40 50 60 70 Azure Blob Storage Data Lake Storage Azure Blob Storage Data Lake Storage Base 1 TO Prix / Mois 21 60 Base 1 TO Prix / Mois https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
  • 23. Données déstructurées • Azure Logic App (Session 15h30 Salle 2) – Création des processus métier et circuit de validation (workflow) • AzCopy – Outil en ligne de commande pour copier rapidement des données dans un BLOB Storage • Polybase – Permet un requêtage SQL de données relationnelles et non relationnelles. • Azure Data Catalog (Demo) – Catalogue de données – Permet une meilleure visibilité des données de l’entreprise. https://docs.microsoft.com/fr-fr/azure/azure-functions/functions-compare-logic-apps-ms-flow-webjobs
  • 24. Premiers pas vers le streaming Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analyse de données PowerBi Fichiers clients … Base compta Base des tickets - Purge
  • 25. Premiers pas vers le streaming • Event Hub – Log des millions d’évènements par seconde en temps réel – Utilise un buffer d’événements – Source possible de stream analytics • Service Bus – System de message – FIFO (Queue) – Destination possible de Azure Logic Apps • Stream Analytics (Session 17h Salle 1) – Utilise un langage proche du SQL pour un développement rapide – Effectue des analyses en temps réel pour des solutions IoT
  • 27. Sessions complémentaires Aujourd’hui • 12h – Azure DocumentDB, une base de données extrêmement rapide à l’échelle de la planète - Salle 1 • 14h - Azure Data Lake Store / Analytics - Salle 1 • 14h - PowerBI - Salle 2 • 15h30 - Azure Data Factory vs SSIS, the Ins and Outs - Salle 1 • 17h00 - Stream analytics ou une nouvelle loi de l’action-réaction - Salle 1
  • 28. Sessions complémentaires Demain • 12h - Deep dive into modeling with PowerBi and SSAS - Salle 3 • 14h - Utilisation et optimisation de SQL Datawarehouse – Salle 3 • 14h – Introduction au nouveau moteur de workflow de Microsoft : Flow – Salle 2 http://www.jamesserra.com/wp-content/uploads/2016/09/Microsoft-BI-and-IM-Design-Guidance.docx
  • 29. Merci beaucoup à nos sponsors! Thank you to all our sponsors! Join the conversation #MSCloudSummit @MSCloudSummit
  • 30. Merci Beaucoup! Thank you! Join the conversation #MSCloudSummit @MSCloudSummit