--session donnée dans le cadre du SQLSaturday Toulouse 2017-- Discover Azure Date Lake through a complete demo : how to get insights from tons of text, photos and videos ? From different media files and raw data, we will analyze sentiment of characters and get valuable information in a Power BI dashboard, using Cognitive Services, CNTK, .NET and U-SQL. This session will mainly showcase Azure Data Lake and U-SQL language. But demos will involve different tools like Azure Data Factory for data supply chain and orchestration, Azure SQL Datawarehouse for corporate data and also Azure Machine Learning and Power BI. Even if this session is demo-driven, we won't omit to present you concepts and features of Azure Data Lake.

1. Azure Data Lake
SELECT People
FROM DataLake
WHERE Happy = TRUE
Jean-Pierre Riehl
MVP Data Platform

2. Thank you Sponsors
You are Community

3. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Jean-Pierre Riehl
Practice Manager Data & BI
@djeepy1
http://blog.djeepy1.net
MVP Data Platform
French Data
Community Leader

4. Azure Data Lake
C’est quoi ?

5. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Azure Data Lake
Solution « Big Data » managée proposée sur Azure
ADL Store : un système de stockage distribué de type HDFS
ADL Analytics : un moteur de requêtage « analytique »
U-SQL : La simplicité du SQL, la puissance de .NET

6. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Azure Data Lake
Analytics
Storage
Azure Data Lake Analytics
Azure Data Lake Store
HDInsight
(“managed clusters”)
U-SQL
Azure Blob

7. Azure
Data Lake Store

8. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Azure Data Lake Store
Pushing the Limits !!!
Pas de limite sur les tailles de fichier / stockage
« massive throughput, low latency »
Sécurité avancée (type NTFS/POSIX)
Compatible HDFS, WebHDFS
« Optimisé pour l’analytique »
70% plus cher
que du Blob
classique

9. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Azure Data Lake Store
Focus Sécurité
Chiffré avec Azure Key Vault
Authentification moderne (OAuth, MFA, etc.)
Intégration Azure Active Directory
Autorisation avec RBAC + ACL (type POSIX)
Audit natif

11. Azure
Data Lake Analytics

12. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Azure Data Lake Analytics
Les arguments Marketing
“Elastic analytics service”
“all data, at any size”
“No Limits to Scale”

13. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Azure Data Lake Analytics
Service PaaS
Mode batch (on parle de « job »)
Modèle de tarification à l’exécution
Sécurité et Audit
Optimisé pour ADL Store
Langage dédié : U-SQL
Les + :

14. U-SQL

15. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Le language U-SQL
Les basiques de SQL
Clauses de base
SELECT, FROM, WHERE
GROUP BY, JOIN, OVER
Fonctionne sur des données
structurées et non-structurées
Modèle relationnel pour les
méta-données
La puissance de .NET
C# Expressions
Code Behind
Types
Fonctions
Agrégats
Extractors / Outputters
Processors
Réutilisation d’Assemblies .NET

16. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Usages U-SQL
Source @DoktorKermit

18. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Ma 1ere requête U-SQL
@checkins =
EXTRACT [Date] DateTime,
[Checkins] int,
[DenRatio] string, [MayorRatio] string,
[Category] string, [Subcategory] string,
Venue string, Country string, City string,
Latitude string, Longitude string
FROM "/Samples/Data/Djeepy1Foursquare/Export-ADL-20170305.csv"
USING Extractors.Csv(skipFirstNRows : 1);
@resByCat =
SELECT [Category],
COUNT( * ) AS NbCheckins
FROM @checkins
GROUP BY [Category];
OUTPUT @resByCat
TO "/Samples/Data/Djeepy1Foursquare/Out-ByCat-FirstQuery.csv"
USING Outputters.Csv();
Extraction des données
Schema-on-Read
Manipulation des données
Sortie

19. Execution d’un job

20. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
L’exécution d’un job U-SQL
Job
Scheduler &
Queue
Front-EndService
Vertex Execution
Consume
Local
Storage
Data Lake
Store
Author
Plan
Compiler Optimizer
Vertexes
running in
YARN
Containers
U-SQL
Runtime
Optimized
Plan
Vertex Scheduling
On containers
Job Manager
USQL
Compiler
Service &
USQL Catalog

21. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Plan d’exécution (aka “Job Graph”)
Le job est découpé en
Vertex
Les vertex sont organisés par
“type de travail”
(SuperVertex)
“Job Graph”

22. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Data Lake Analytical Unit
ADLAU : unité d’exécution d’un Job
ADLAU = 1 VM avec 2 cœurs et 6Go de RAM
Déclaratif : on indique combien d’ADLAU on souhaite
Les Vertex sont « affectés » sur des ADLAU pour exécution
La facturation se fait sur les ADLAU allouées 1,69€ / ADLAU /
Heure

23. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Analyse de l’exécution
5 DLAU
allouées
2 DLAU
consommées

25. U-SQL
Extensions

26. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Etendre U-SQL avec .NET
C# Expressions
UDFs : Fonctions
UDAGGs : Agrégats
UDOs : Opérations (Extractors, Outputters)
PROCESS : traitements

28. Analyse des images

30. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Avec du R : https://msdn.microsoft.com/en-
us/magazine/mt784661.aspx

31. #SQLSatToulouse - SQLSaturday Toulouse 2017Un événement
Ressources
• http://azure.github.io/AzureDataLake/
• http://usql.io/
• https://github.com/Azure-Samples?q=usql
• https://github.com/Azure/USQL
• Présentations :
https://onedrive.live.com/?authkey=%21ALgjIa0PMWYU6C
M&id=3BDE3286AB2E59F7%21454&cid=3BDE3286AB2E5
9F7
• Suivre Michael Rys (@MikeDoesBigData) @azuredatalake

32. Questions
& Réponses
Merci !