Consultant & MVP - Data Platform chez SCOP IT
Azure Data Platform
Quelle solution pour quel usage ?
Sauget Charles-Henri
@SaugetCh
SAUGET Charles-Henri
Consultant décisionnel
depuis 2009
BLOG
www.sauget-ch.fr
TWITTER
@SaugetCh
MAIL
chsauget@scop-it.com
Sommaire
1. Introduction Azure Data Platform
2. Démonstration par l’exemple avec 4 architectures
Une trentaine de services azure orientés données…
http://azureplatform.azurewebsites.net/en-us/
Une trentaine de services azure orientés données…
Nous présenterons celles-ci :
http://azureplatform.azurewebsites.net/en-us/
https://blogs.technet.microsoft.com/cansql/2015/06/03/microsoft-data-platform-overview/
L’arbre de décision
de Ivan Kosyakov
Data Platform Technical Architect at Microsoft
Les architectures
A travers l’évolution d’une application de e-commerce dans le
cloud.
Répondre aux besoins :
• Données non structurées
• Analyses en temps réels
• Optimisation des coûts
L’architecture initiale
Site
E-Commerce
Serveur IIS Serveur SQL Répliquât
Read-Intent
Requêtes Ad-Hoc
Analyse de données
SSRS
Premiers pas dans le cloud
Site
E-Commerce
Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
Active Geo-Replication for
Azure SQL Database
Pourquoi SQLDB ?
• Azure SQLDB
– Performance évolutive à la demande sans interruption de service de votre application
– Restauration à une date précise
– Réplication géographique avec accès en lecture seule
– Requêtes analytiques
– Facilité de migration depuis l’existant
• DocumentDB (Session suivante dans cette salle)
– NoSQL
– Faible latence
– Support SQL
• Azure Table
– Peu cher
– Pas de support SQL
http://www.jamesserra.com/archive/2015/08/relational-databases-vs-non-relational-databases/
Pourquoi SQLDB - Prix ?
0 50 100 150 200 250 300 350 400 450
Table Storage
DocumentDB
SQL DB
Table Storage DocumentDB SQL DB
Standard 0.11 7.13 12.67
Premium 21.08 392
Prix par mois sur la base de 10 GO de données
https://azure.microsoft.com/fr-fr/pricing/calculator/
Pourquoi et quel PowerBI ?
• PowerBI Service (Salle 2 – Après 14h)
– Aucune infrastructure à gérer
– Possibilité de se connecter au model avec Excel
– Abonnement ou Gratuit
• PowerBi Embeded
– Nécessité d’intégrer l’application dans les outils maisons
– Paiement à l’affichage
Site
E-Commerce
Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
active geo-replication for A
zure SQL Database
Fichiers clients qualifiés …
Base compta
< 100 TB = SQLDB
> 100 TB = SQLDW
Consolidation des données
Pourquoi SQL DataWarehouse?
Feature SQL Database SQL Data Warehouse
Taille Maximum 1TB Pas de limite
Requêtes concurrentes <6400 <32
Requêtes cross-database Oui Non
Possibilité de Pause Non Oui
Polybase Non Oui
SQL Data Warehouse : Session demain à 14h Salle 3
http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
Le prix ?
0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 €
SQLDB
SQLDW
SQLDB SQLDW
6000 DWU 57,000 €
4000 DTU 13,495 €
100 DWU 1,062 €
10 DTU 13 €
Prix par mois sur la base de 100 Go
https://azure.microsoft.com/fr-fr/pricing/calculator/
Pourquoi Azure Data Factory ?
• Azure Data Factory
– Permet de gérer des flux de données
– Depuis le cloud ou onprem grâce à une Gateway
• SSIS
– N’existe pas en PaaS
– Permet de gérer des flux de données ainsi que des flux de contrôle
Session Azure Data Factory vs SSIS 15h30 Salle 1
Données déstructurées
Site
E-Commerce Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
active geo-replication for Azure SQ
L Database
Fichiers clients …
Base compta
ADF / SSIS
< 100 TB = SQLDB
> 100 TB = SQLDW
AzCopy
Azure Logic App
Base des tickets - Purge
ADF
ADF
SSAS PaaS
Pourquoi Data Lake Store?
• Data Lake Store
– Un système de fichiers Apache Hadoop dans le cloud
– Pas de limite de taille de fichier
– Gestion de données structurées et non structurées
– Accès contrôlé grâce à Azure Active Directory
– Optimisé pour la charge OLAP
• Azure Blob Storage
– Accès contrôlé grâce à des clés partagées
– Non optimisé pour la charge OLAP
• HDInsight
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
Pourquoi Data Lake Store - Prix?
0 10 20 30 40 50 60 70
Azure Blob Storage
Data Lake Storage
Azure Blob Storage Data Lake Storage
Base 1 TO Prix / Mois 21 60
Base 1 TO Prix / Mois
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
Données déstructurées
• Azure Logic App (Session 15h30 Salle 2)
– Création des processus métier et circuit de validation (workflow)
• AzCopy
– Outil en ligne de commande pour copier rapidement des données dans
un BLOB Storage
• Polybase
– Permet un requêtage SQL de données relationnelles et non relationnelles.
• Azure Data Catalog (Demo)
– Catalogue de données
– Permet une meilleure visibilité des données de l’entreprise.
https://docs.microsoft.com/fr-fr/azure/azure-functions/functions-compare-logic-apps-ms-flow-webjobs
Premiers pas vers le streaming
Site
E-Commerce
Serveur IIS
Requêtes Ad-Hoc
Analyse de données
PowerBi
Fichiers clients …
Base compta
Base des tickets - Purge
Premiers pas vers le streaming
• Event Hub
– Log des millions d’évènements par seconde en temps réel
– Utilise un buffer d’événements
– Source possible de stream analytics
• Service Bus
– System de message
– FIFO (Queue)
– Destination possible de Azure Logic Apps
• Stream Analytics (Session 17h Salle 1)
– Utilise un langage proche du SQL pour un développement rapide
– Effectue des analyses en temps réel pour des solutions IoT
Demo Streaming
PowerBi Service
Azure Logic App
Sessions complémentaires
Aujourd’hui
• 12h – Azure DocumentDB, une base de données extrêmement rapide à l’échelle de la
planète - Salle 1
• 14h - Azure Data Lake Store / Analytics - Salle 1
• 14h - PowerBI - Salle 2
• 15h30 - Azure Data Factory vs SSIS, the Ins and Outs - Salle 1
• 17h00 - Stream analytics ou une nouvelle loi de l’action-réaction - Salle 1
Sessions complémentaires
Demain
• 12h - Deep dive into modeling with PowerBi and SSAS - Salle 3
• 14h - Utilisation et optimisation de SQL Datawarehouse – Salle 3
• 14h – Introduction au nouveau moteur de workflow de Microsoft : Flow – Salle 2
http://www.jamesserra.com/wp-content/uploads/2016/09/Microsoft-BI-and-IM-Design-Guidance.docx
Merci beaucoup à nos sponsors!
Thank you to all our sponsors!
Join the conversation
#MSCloudSummit
@MSCloudSummit
Merci Beaucoup! Thank you!
Join the conversation
#MSCloudSummit
@MSCloudSummit

J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Henri Sauget

  • 1.
    Consultant & MVP- Data Platform chez SCOP IT Azure Data Platform Quelle solution pour quel usage ? Sauget Charles-Henri @SaugetCh
  • 2.
    SAUGET Charles-Henri Consultant décisionnel depuis2009 BLOG www.sauget-ch.fr TWITTER @SaugetCh MAIL chsauget@scop-it.com
  • 3.
    Sommaire 1. Introduction AzureData Platform 2. Démonstration par l’exemple avec 4 architectures
  • 4.
    Une trentaine deservices azure orientés données… http://azureplatform.azurewebsites.net/en-us/
  • 5.
    Une trentaine deservices azure orientés données… Nous présenterons celles-ci : http://azureplatform.azurewebsites.net/en-us/
  • 6.
  • 8.
    L’arbre de décision deIvan Kosyakov Data Platform Technical Architect at Microsoft
  • 10.
    Les architectures A traversl’évolution d’une application de e-commerce dans le cloud. Répondre aux besoins : • Données non structurées • Analyses en temps réels • Optimisation des coûts
  • 11.
    L’architecture initiale Site E-Commerce Serveur IISServeur SQL Répliquât Read-Intent Requêtes Ad-Hoc Analyse de données SSRS
  • 12.
    Premiers pas dansle cloud Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analyse de données PowerBi Active Geo-Replication for Azure SQL Database
  • 13.
    Pourquoi SQLDB ? •Azure SQLDB – Performance évolutive à la demande sans interruption de service de votre application – Restauration à une date précise – Réplication géographique avec accès en lecture seule – Requêtes analytiques – Facilité de migration depuis l’existant • DocumentDB (Session suivante dans cette salle) – NoSQL – Faible latence – Support SQL • Azure Table – Peu cher – Pas de support SQL http://www.jamesserra.com/archive/2015/08/relational-databases-vs-non-relational-databases/
  • 14.
    Pourquoi SQLDB -Prix ? 0 50 100 150 200 250 300 350 400 450 Table Storage DocumentDB SQL DB Table Storage DocumentDB SQL DB Standard 0.11 7.13 12.67 Premium 21.08 392 Prix par mois sur la base de 10 GO de données https://azure.microsoft.com/fr-fr/pricing/calculator/
  • 15.
    Pourquoi et quelPowerBI ? • PowerBI Service (Salle 2 – Après 14h) – Aucune infrastructure à gérer – Possibilité de se connecter au model avec Excel – Abonnement ou Gratuit • PowerBi Embeded – Nécessité d’intégrer l’application dans les outils maisons – Paiement à l’affichage
  • 16.
    Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analysede données PowerBi active geo-replication for A zure SQL Database Fichiers clients qualifiés … Base compta < 100 TB = SQLDB > 100 TB = SQLDW Consolidation des données
  • 17.
    Pourquoi SQL DataWarehouse? FeatureSQL Database SQL Data Warehouse Taille Maximum 1TB Pas de limite Requêtes concurrentes <6400 <32 Requêtes cross-database Oui Non Possibilité de Pause Non Oui Polybase Non Oui SQL Data Warehouse : Session demain à 14h Salle 3 http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
  • 18.
    Le prix ? 0€ 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 € SQLDB SQLDW SQLDB SQLDW 6000 DWU 57,000 € 4000 DTU 13,495 € 100 DWU 1,062 € 10 DTU 13 € Prix par mois sur la base de 100 Go https://azure.microsoft.com/fr-fr/pricing/calculator/
  • 19.
    Pourquoi Azure DataFactory ? • Azure Data Factory – Permet de gérer des flux de données – Depuis le cloud ou onprem grâce à une Gateway • SSIS – N’existe pas en PaaS – Permet de gérer des flux de données ainsi que des flux de contrôle Session Azure Data Factory vs SSIS 15h30 Salle 1
  • 20.
    Données déstructurées Site E-Commerce ServeurIIS Requêtes Ad-Hoc Analyse de données PowerBi active geo-replication for Azure SQ L Database Fichiers clients … Base compta ADF / SSIS < 100 TB = SQLDB > 100 TB = SQLDW AzCopy Azure Logic App Base des tickets - Purge ADF ADF SSAS PaaS
  • 21.
    Pourquoi Data LakeStore? • Data Lake Store – Un système de fichiers Apache Hadoop dans le cloud – Pas de limite de taille de fichier – Gestion de données structurées et non structurées – Accès contrôlé grâce à Azure Active Directory – Optimisé pour la charge OLAP • Azure Blob Storage – Accès contrôlé grâce à des clés partagées – Non optimisé pour la charge OLAP • HDInsight https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
  • 22.
    Pourquoi Data LakeStore - Prix? 0 10 20 30 40 50 60 70 Azure Blob Storage Data Lake Storage Azure Blob Storage Data Lake Storage Base 1 TO Prix / Mois 21 60 Base 1 TO Prix / Mois https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage
  • 23.
    Données déstructurées • AzureLogic App (Session 15h30 Salle 2) – Création des processus métier et circuit de validation (workflow) • AzCopy – Outil en ligne de commande pour copier rapidement des données dans un BLOB Storage • Polybase – Permet un requêtage SQL de données relationnelles et non relationnelles. • Azure Data Catalog (Demo) – Catalogue de données – Permet une meilleure visibilité des données de l’entreprise. https://docs.microsoft.com/fr-fr/azure/azure-functions/functions-compare-logic-apps-ms-flow-webjobs
  • 24.
    Premiers pas versle streaming Site E-Commerce Serveur IIS Requêtes Ad-Hoc Analyse de données PowerBi Fichiers clients … Base compta Base des tickets - Purge
  • 25.
    Premiers pas versle streaming • Event Hub – Log des millions d’évènements par seconde en temps réel – Utilise un buffer d’événements – Source possible de stream analytics • Service Bus – System de message – FIFO (Queue) – Destination possible de Azure Logic Apps • Stream Analytics (Session 17h Salle 1) – Utilise un langage proche du SQL pour un développement rapide – Effectue des analyses en temps réel pour des solutions IoT
  • 26.
  • 27.
    Sessions complémentaires Aujourd’hui • 12h– Azure DocumentDB, une base de données extrêmement rapide à l’échelle de la planète - Salle 1 • 14h - Azure Data Lake Store / Analytics - Salle 1 • 14h - PowerBI - Salle 2 • 15h30 - Azure Data Factory vs SSIS, the Ins and Outs - Salle 1 • 17h00 - Stream analytics ou une nouvelle loi de l’action-réaction - Salle 1
  • 28.
    Sessions complémentaires Demain • 12h- Deep dive into modeling with PowerBi and SSAS - Salle 3 • 14h - Utilisation et optimisation de SQL Datawarehouse – Salle 3 • 14h – Introduction au nouveau moteur de workflow de Microsoft : Flow – Salle 2 http://www.jamesserra.com/wp-content/uploads/2016/09/Microsoft-BI-and-IM-Design-Guidance.docx
  • 29.
    Merci beaucoup ànos sponsors! Thank you to all our sponsors! Join the conversation #MSCloudSummit @MSCloudSummit
  • 30.
    Merci Beaucoup! Thankyou! Join the conversation #MSCloudSummit @MSCloudSummit