Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
22 avril
2017
Loris Andaloro
La BI traditionnelle est une
histoire du passée ?
Impacts de la révolution Cloud Azure
sur la...
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
2
Meet the Team
@LeontievIhor
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
3
Sommaire
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
4
Par ou commencer ? Car les choix sont
importants
http://azureplatform.a...
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
5
Approche pragmatique
Exploration des nouvelles possibilités d’azure
6
Approche pragmatique
Architectures onpremise connues
•Scénario Datawarehouse
•Scenario DataLake
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
7
“Think big, act small, fail fast. Learn
rapidly”ARCHITECTURE EMERGENTE
...
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
8
“Think big, act small, fail fast. Learn
rapidly”Classification des serv...
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
9
“Think big, act small, fail fast. Learn
rapidly”Classification des serv...
10
Répartitions MS des services dans les
architectures connues
https://blogs.technet.microsoft.com/cansql/2015/06/03/micro...
11Arbre de décisions
L’arbre de décision
de Ivan Kosyakov
Data Platform Technical Architect at Microsoft
12
Est-ce que la théorie fonctionne en pratique ?
https://pixabay.com/fr/l-homme-personne-visage-glasse-159771/
FocusDatawarehouse
14
Scenario ETL
Passons en revue quelques uns des services qui semblent utiles ou
nécessaires dans ce scenario
Azure SQL D...
15
Azure SQL Database
• Base de données
relationnelle cloud, propulsé
par Microsoft SQL Server
• Ne nécessite pas
d’infras...
16
Azure SQL Database
Azure SQL Database
Dynamic Data Masking
Transparent Data Encryption (TDE)
17
Azure SQL Database et ses alternatives
Par rapports aux autres services de stockage
Traitement transactionnel
Requêtes ...
18
Azure SQL Database
0 50 100 150 200 250 300 350 400 450
Table Storage
DocumentDB
SQL DB
Table Storage DocumentDB SQL DB...
19
Azure SQL Datawarehouse
App Service Azure SQL Database
Azure Machine Learning
Intelligent App
Hadoop
Azure SQL Data
War...
20
Azure SQL Datawarehouse
http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
21
Azure SQL Datawarehouse
0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 €
SQLDB
SQLDW
SQLDB SQLDW
6000 DWU 57,0...
22
Power BI
Power BI
23
Power BI
Modules et échanges
Power BI
24
Power BI
Gartner magic quadrant
Power BI
25
Azure Data Factory
Service cloud d’integration de données (ETL)
https://docs.microsoft.com/fr-fr/azure/data-factory/dat...
26
Limites ADF conduisant à SSIS
https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data ...
27
Azure Data Catalog
Moteur de
recherche axée
données
Enregistrement
des sources de
données centrales
Décisionnel libre-
...
28
Azure Data Catalog
FocusDatalake
30
Scenario Datalake
Azure Data Lake service
 Store and manage infinite data
 Keep data in its original form
 High thro...
Data Lake service
Transformative way to store and process infinite data
Other analytic
solutions SQL Data
Warehouse
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
32
34
Blob Storage Concepts
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
35
Azure Files
Shared Network File Storage for Azure
Availability, durabi...
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
36Azure Files vs Blobs
Description Azure Blobs Azure Files
Durability
Opt...
FocusBigdata
Data size
Access
Updates
Structure
Integrity
Scaling
Relational DB vs. Hadoop
Distributed Storage
(HDFS)
Query
(Hive)
Distributed Processing
(MapReduce)
ODBC
Legend
■ Core Hadoop
■ Data processing
■ D...
HDInsight and Hadoop
Hadoop Core +
Hive, Pig, HBase
C#, F#, .NET
Azure Storage (WASB)
Office 365 Power BI (Excel,
PowerQue...
Exemples d’architectures
43
Exemple 1
Azure Virtual Machine
Azure Blob Storage Azure SQL Database Power BI
Azure Data Catalog
Script Power Shell
Az...
44
Exemple 2
Azure Virtual Machine
Azure SQL Database Power BI
Azure Data Catalog
Azure SQL Database
Azure Data Factory
Ba...
45
Exemple 3
Azure Web App (FTP)
Azure Data Factory
Azure Virtual Machine
Azure Table Storage Azure SQL Database Power BI
...
46
Exemple 4
47
Exemple 5
48
Exemple 6
49
Axes d’améliorations
• Remplacement SSIS par une solution PaaS
• Ajout de Master Services peut-être dans Data Catalog
•...
Conclusion
51
Vue d’ensemble
52
Vue d’ensemble
Avec les services Azure
SQL Database
SQL Datawarehouse
Datalake
Storage
SQL Server in an
IaaS VM
55
Conclusion
Subtitle
Q & A
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
56
Merci à nos sponsors
PLATINUM
LOCAUX
PARTENAIRES MEDIA
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
57
Sponsors internationaux
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
58
Nous suivre
Facebook
facebook.com/groups/azugfr
Twitter
twitter.com/AZ...
Merci
d’être venus
A bientôt !
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en génér...
Prochain SlideShare
Chargement dans…5
×

Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

184 vues

Publié le

Global Azure Bootcam Lyon, France 2017 - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

Publié dans : Technologie
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

  1. 1. 22 avril 2017 Loris Andaloro La BI traditionnelle est une histoire du passée ? Impacts de la révolution Cloud Azure sur la BI data en général Ihor Leontiev @LeontievIhor blog.andaloro.fr
  2. 2. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 2 Meet the Team @LeontievIhor
  3. 3. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 3 Sommaire
  4. 4. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 4 Par ou commencer ? Car les choix sont importants http://azureplatform.azurewebsites.net/en-us/
  5. 5. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 5 Approche pragmatique Exploration des nouvelles possibilités d’azure
  6. 6. 6 Approche pragmatique Architectures onpremise connues •Scénario Datawarehouse •Scenario DataLake
  7. 7. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 7 “Think big, act small, fail fast. Learn rapidly”ARCHITECTURE EMERGENTE Elaboration de la vision d’avenir agnostique Différents tests pour l’acquisition et le stockage des données Stabilisation de l’architecture Mise au propre PoC
  8. 8. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 8 “Think big, act small, fail fast. Learn rapidly”Classification des services Integration Traitement Stockage Presentation Nettoyage et aggregation
  9. 9. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 9 “Think big, act small, fail fast. Learn rapidly”Classification des services Enrichment and Curation Integration Traitement Stockage Presentation Event Hubs IoT Hubs Service Bus Kafka HDInsight ADLA Storm Spark Stream Analytics ADLS Azure Storage Azure SQL DB Azure SQL DW ADLS Azure DW Azure SQL DB Hbase Cassandra Azure Storage Power BI Azure Data Factory Azure ML
  10. 10. 10 Répartitions MS des services dans les architectures connues https://blogs.technet.microsoft.com/cansql/2015/06/03/microsoft-data-platform-overview/
  11. 11. 11Arbre de décisions L’arbre de décision de Ivan Kosyakov Data Platform Technical Architect at Microsoft
  12. 12. 12 Est-ce que la théorie fonctionne en pratique ? https://pixabay.com/fr/l-homme-personne-visage-glasse-159771/
  13. 13. FocusDatawarehouse
  14. 14. 14 Scenario ETL Passons en revue quelques uns des services qui semblent utiles ou nécessaires dans ce scenario Azure SQL Database Power BIAzure Data Catalog Azure Data FactoryAzure SQL Datawarehouse
  15. 15. 15 Azure SQL Database • Base de données relationnelle cloud, propulsé par Microsoft SQL Server • Ne nécessite pas d’infrastructure à manager • Mise à l’échelle instantanée, tailles jusqu’a 1TB • Correspond parfaitement à un usage entrepôt de données simple Azure SQL Database
  16. 16. 16 Azure SQL Database Azure SQL Database Dynamic Data Masking Transparent Data Encryption (TDE)
  17. 17. 17 Azure SQL Database et ses alternatives Par rapports aux autres services de stockage Traitement transactionnel Requêtes riches Service managé Mise à l’echelle Accessible à travers internet http/rest Modèle de données non relationnel Souple concernant les formats de donnes
  18. 18. 18 Azure SQL Database 0 50 100 150 200 250 300 350 400 450 Table Storage DocumentDB SQL DB Table Storage DocumentDB SQL DB Standard 0.11 7.13 12.67 Premium 21.08 392 Prix par mois sur la base de 10 GO de données https://azure.microsoft.com/fr-fr/pricing/calculator/
  19. 19. 19 Azure SQL Datawarehouse App Service Azure SQL Database Azure Machine Learning Intelligent App Hadoop Azure SQL Data Warehouse Power BI Datawarehouse(relationnel)-as-a-service Scales to petabytes of data Massively Parallel Processing Instant-on compute scales in seconds Query Relational / Non- Relational
  20. 20. 20 Azure SQL Datawarehouse http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
  21. 21. 21 Azure SQL Datawarehouse 0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 € SQLDB SQLDW SQLDB SQLDW 6000 DWU 57,000 € 4000 DTU 13,495 € 100 DWU 1,062 € 10 DTU 13 € Prix par mois sur la base de 100 Go https://azure.microsoft.com/fr-fr/pricing/calculator/
  22. 22. 22 Power BI Power BI
  23. 23. 23 Power BI Modules et échanges Power BI
  24. 24. 24 Power BI Gartner magic quadrant Power BI
  25. 25. 25 Azure Data Factory Service cloud d’integration de données (ETL) https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory
  26. 26. 26 Limites ADF conduisant à SSIS https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory RETOUR D’EXPERIENCE ET DIFFICULTES
  27. 27. 27 Azure Data Catalog Moteur de recherche axée données Enregistrement des sources de données centrales Décisionnel libre- service Capturer les connaissances tribales
  28. 28. 28 Azure Data Catalog
  29. 29. FocusDatalake
  30. 30. 30 Scenario Datalake Azure Data Lake service  Store and manage infinite data  Keep data in its original form  High through put, low latency analytic jobs  Enterprise-grade security + access control Data Lake
  31. 31. Data Lake service Transformative way to store and process infinite data Other analytic solutions SQL Data Warehouse
  32. 32. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 32
  33. 33. 34 Blob Storage Concepts
  34. 34. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 35 Azure Files Shared Network File Storage for Azure Availability, durability, scalability are managed automatically Supports two interfaces: SMB and REST
  35. 35. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 36Azure Files vs Blobs Description Azure Blobs Azure Files Durability Options LRS, ZRS, GRS (and RA-GRS for higher availability) LRS, GRS Accessibility REST APIs SMB 2.1 (standard file system APIs) REST APIs Connectivity REST – Worldwide SMB 2.1 - Within region REST – Worldwide Endpoints http://myaccount.blob.core.windows.net/my container/myblob myaccount.file.core.windows.netmysharemyfile.txt http://myaccount.file.core.windows.net/myshare/myfile.txt Directories Flat namespace however prefix listing can simulate virtual directories True directory objects Case Sensitivity of Names Case sensitive Case insensitive, but case preserving Capacity Up to 500TB containers 5TB file shares Throughput Up to 60 MB/s per blob Up to 60 MB/s per share Object size Up to 1 TB/blob Up to 1 TB/file Billed capacity Based on bytes written Based on file size
  36. 36. FocusBigdata
  37. 37. Data size Access Updates Structure Integrity Scaling Relational DB vs. Hadoop
  38. 38. Distributed Storage (HDFS) Query (Hive) Distributed Processing (MapReduce) ODBC Legend ■ Core Hadoop ■ Data processing ■ Data Movement ■ Packages Hadoop ecosystem
  39. 39. HDInsight and Hadoop Hadoop Core + Hive, Pig, HBase C#, F#, .NET Azure Storage (WASB) Office 365 Power BI (Excel, PowerQuery, PowerView, BI Sites) World's Data (Azure Data Marketplace) ODBC Sqoop for SQL Server PowerShell
  40. 40. Exemples d’architectures
  41. 41. 43 Exemple 1 Azure Virtual Machine Azure Blob Storage Azure SQL Database Power BI Azure Data Catalog Script Power Shell Azure Storage Explorer Dépôt manuel FTP API Azure Blob Storage
  42. 42. 44 Exemple 2 Azure Virtual Machine Azure SQL Database Power BI Azure Data Catalog Azure SQL Database Azure Data Factory Base de données source
  43. 43. 45 Exemple 3 Azure Web App (FTP) Azure Data Factory Azure Virtual Machine Azure Table Storage Azure SQL Database Power BI Azure Data Catalog
  44. 44. 46 Exemple 4
  45. 45. 47 Exemple 5
  46. 46. 48 Exemple 6
  47. 47. 49 Axes d’améliorations • Remplacement SSIS par une solution PaaS • Ajout de Master Services peut-être dans Data Catalog • Véritable solution FTP • Connecteur SSIS standard pour Table Storage
  48. 48. Conclusion
  49. 49. 51 Vue d’ensemble
  50. 50. 52 Vue d’ensemble Avec les services Azure SQL Database SQL Datawarehouse Datalake Storage SQL Server in an IaaS VM
  51. 51. 55 Conclusion Subtitle Q & A
  52. 52. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 56 Merci à nos sponsors PLATINUM LOCAUX PARTENAIRES MEDIA
  53. 53. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 57 Sponsors internationaux
  54. 54. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 58 Nous suivre Facebook facebook.com/groups/azugfr Twitter twitter.com/AZUGFR Meetup meetup.com/AZUG-FR/ Web www.azug.fr Twitter twitter.com/MugLyon Web https://muglyon.github.io Meetup meetup.com/MugLyon
  55. 55. Merci d’être venus A bientôt !

×