Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

1. 22 avril 2017 Loris Andaloro La BI traditionnelle est une histoire du passée ? Impacts de la révolution Cloud Azure sur la BI data en général Ihor Leontiev @LeontievIhor blog.andaloro.fr

6. 6 Approche pragmatique Architectures onpremise connues •Scénario Datawarehouse •Scenario DataLake

7. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 7 “Think big, act small, fail fast. Learn rapidly”ARCHITECTURE EMERGENTE Elaboration de la vision d’avenir agnostique Différents tests pour l’acquisition et le stockage des données Stabilisation de l’architecture Mise au propre PoC

9. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 9 “Think big, act small, fail fast. Learn rapidly”Classification des services Enrichment and Curation Integration Traitement Stockage Presentation Event Hubs IoT Hubs Service Bus Kafka HDInsight ADLA Storm Spark Stream Analytics ADLS Azure Storage Azure SQL DB Azure SQL DW ADLS Azure DW Azure SQL DB Hbase Cassandra Azure Storage Power BI Azure Data Factory Azure ML

10. 10 Répartitions MS des services dans les architectures connues https://blogs.technet.microsoft.com/cansql/2015/06/03/microsoft-data-platform-overview/

11. 11Arbre de décisions L’arbre de décision de Ivan Kosyakov Data Platform Technical Architect at Microsoft

12. 12 Est-ce que la théorie fonctionne en pratique ? https://pixabay.com/fr/l-homme-personne-visage-glasse-159771/

13. FocusDatawarehouse

14. 14 Scenario ETL Passons en revue quelques uns des services qui semblent utiles ou nécessaires dans ce scenario Azure SQL Database Power BIAzure Data Catalog Azure Data FactoryAzure SQL Datawarehouse

15. 15 Azure SQL Database • Base de données relationnelle cloud, propulsé par Microsoft SQL Server • Ne nécessite pas d’infrastructure à manager • Mise à l’échelle instantanée, tailles jusqu’a 1TB • Correspond parfaitement à un usage entrepôt de données simple Azure SQL Database

16. 16 Azure SQL Database Azure SQL Database Dynamic Data Masking Transparent Data Encryption (TDE)

17. 17 Azure SQL Database et ses alternatives Par rapports aux autres services de stockage Traitement transactionnel Requêtes riches Service managé Mise à l’echelle Accessible à travers internet http/rest Modèle de données non relationnel Souple concernant les formats de donnes

18. 18 Azure SQL Database 0 50 100 150 200 250 300 350 400 450 Table Storage DocumentDB SQL DB Table Storage DocumentDB SQL DB Standard 0.11 7.13 12.67 Premium 21.08 392 Prix par mois sur la base de 10 GO de données https://azure.microsoft.com/fr-fr/pricing/calculator/

19. 19 Azure SQL Datawarehouse App Service Azure SQL Database Azure Machine Learning Intelligent App Hadoop Azure SQL Data Warehouse Power BI Datawarehouse(relationnel)-as-a-service Scales to petabytes of data Massively Parallel Processing Instant-on compute scales in seconds Query Relational / Non- Relational

20. 20 Azure SQL Datawarehouse http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/

21. 21 Azure SQL Datawarehouse 0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 € SQLDB SQLDW SQLDB SQLDW 6000 DWU 57,000 € 4000 DTU 13,495 € 100 DWU 1,062 € 10 DTU 13 € Prix par mois sur la base de 100 Go https://azure.microsoft.com/fr-fr/pricing/calculator/

22. 22 Power BI Power BI

23. 23 Power BI Modules et échanges Power BI

24. 24 Power BI Gartner magic quadrant Power BI

25. 25 Azure Data Factory Service cloud d’integration de données (ETL) https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory

26. 26 Limites ADF conduisant à SSIS https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory RETOUR D’EXPERIENCE ET DIFFICULTES

27. 27 Azure Data Catalog Moteur de recherche axée données Enregistrement des sources de données centrales Décisionnel libre- service Capturer les connaissances tribales

28. 28 Azure Data Catalog

29. FocusDatalake

30. 30 Scenario Datalake Azure Data Lake service  Store and manage infinite data  Keep data in its original form  High through put, low latency analytic jobs  Enterprise-grade security + access control Data Lake

31. Data Lake service Transformative way to store and process infinite data Other analytic solutions SQL Data Warehouse

33. 34 Blob Storage Concepts

34. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 35 Azure Files Shared Network File Storage for Azure Availability, durability, scalability are managed automatically Supports two interfaces: SMB and REST

35. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 36Azure Files vs Blobs Description Azure Blobs Azure Files Durability Options LRS, ZRS, GRS (and RA-GRS for higher availability) LRS, GRS Accessibility REST APIs SMB 2.1 (standard file system APIs) REST APIs Connectivity REST – Worldwide SMB 2.1 - Within region REST – Worldwide Endpoints http://myaccount.blob.core.windows.net/my container/myblob myaccount.file.core.windows.netmysharemyfile.txt http://myaccount.file.core.windows.net/myshare/myfile.txt Directories Flat namespace however prefix listing can simulate virtual directories True directory objects Case Sensitivity of Names Case sensitive Case insensitive, but case preserving Capacity Up to 500TB containers 5TB file shares Throughput Up to 60 MB/s per blob Up to 60 MB/s per share Object size Up to 1 TB/blob Up to 1 TB/file Billed capacity Based on bytes written Based on file size

36. FocusBigdata

37. Data size Access Updates Structure Integrity Scaling Relational DB vs. Hadoop

38. Distributed Storage (HDFS) Query (Hive) Distributed Processing (MapReduce) ODBC Legend ■ Core Hadoop ■ Data processing ■ Data Movement ■ Packages Hadoop ecosystem

39. HDInsight and Hadoop Hadoop Core + Hive, Pig, HBase C#, F#, .NET Azure Storage (WASB) Office 365 Power BI (Excel, PowerQuery, PowerView, BI Sites) World's Data (Azure Data Marketplace) ODBC Sqoop for SQL Server PowerShell

40. Exemples d’architectures

41. 43 Exemple 1 Azure Virtual Machine Azure Blob Storage Azure SQL Database Power BI Azure Data Catalog Script Power Shell Azure Storage Explorer Dépôt manuel FTP API Azure Blob Storage

42. 44 Exemple 2 Azure Virtual Machine Azure SQL Database Power BI Azure Data Catalog Azure SQL Database Azure Data Factory Base de données source

43. 45 Exemple 3 Azure Web App (FTP) Azure Data Factory Azure Virtual Machine Azure Table Storage Azure SQL Database Power BI Azure Data Catalog

44. 46 Exemple 4

45. 47 Exemple 5

46. 48 Exemple 6

47. 49 Axes d’améliorations • Remplacement SSIS par une solution PaaS • Ajout de Master Services peut-être dans Data Catalog • Véritable solution FTP • Connecteur SSIS standard pour Table Storage

48. Conclusion

49. 51 Vue d’ensemble

50. 52 Vue d’ensemble Avec les services Azure SQL Database SQL Datawarehouse Datalake Storage SQL Server in an IaaS VM

51. 55 Conclusion Subtitle Q & A

54. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 58 Nous suivre Facebook facebook.com/groups/azugfr Twitter twitter.com/AZUGFR Meetup meetup.com/AZUG-FR/ Web www.azug.fr Twitter twitter.com/MugLyon Web https://muglyon.github.io Meetup meetup.com/MugLyon

55. Merci d’être venus A bientôt !

Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

Vous êtes en train de lire un aperçu.

Consultez-les par la suite

Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

Plus De Contenu Connexe

Diaporamas pour vous (20)

Similaire à Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro (20)

Plus par AZUG FR (20)

Plus récents (20)