SlideShare une entreprise Scribd logo
1  sur  44
Télécharger pour lire hors ligne
Azure Data Lake
La Big Data 2.0
Jean-Pierre Riehl – Fabien Adato
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
2
Meet the Team
Jean-Pierre Riehl
Practice Manager Data & BI
Fabien Adato
Expert Data & BI
@fabienAD
http://fadata-blog.com
MVP Data Platform
French Data
Community Leader
@djeepy1
http://blog.djeepy1.net
MVP Data Platform
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
3
 Azure Data Lake, c’est quoi ?
 Azure Data Lake Store
 Azure Data Lake Analytics
 Outillage
 Coder en U-SQL
 Etendre ADLA
 ADL avec PowerShell
 Q&R
Agenda
Azure Data Lake, c’est quoi ?
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
5
Un peu d’histoire
Microsoft a besoin
d’une technologie
pour analyser des
Péta-octets de
données
2007-2008
MS Research crée
« Cosmos »
2011-2012
Le phénomène
Big Data démarre
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
6
Solution « Big Data » managée proposée sur Azure
 ADL Store : un système de stockage distribué de type HDFS
 ADL Analytics : un moteur de requêtage « analytique »
 U-SQL : La simplicité du SQL, la puissance de .NET
Azure Data Lake
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
7
Cortana Analytics Suite
Transform data into intelligent action
Business
apps
Custom
apps
Sensors
and devices
People
Automated
Systems
Data Collection ToolsData Collection Tools
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
8
Azure Data Lake
Analytics
Storage
Azure Data Lake
Analytics
Azure Data Lake Store
HDInsight
(“managed clusters”)
U-SQL
Azure Blob
Azure Data Lake Store
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
10
Azure Data Lake Store
 Pushing the Limits !!!
 Pas de limite sur les tailles de fichier / stockage
 « massive throughput, low latency »
 Sécurité avancée (type NTFS/POSIX)
 Compatible HDFS, WebHDFS
 « Optimisé pour l’analytique »
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
11
Azure Blob vs. ADL Store
 Le prix :
 ADL : 34€ / To / mois
 Azure Blob : 20€ / To / mois*
* Hot LRS, First 100TB
?
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
12
Azure Data Lake Store
Focus Sécurité
 Chiffré avec Azure Key Vault
 Authentification moderne (OAuth, MFA, etc.)
 Intégration Azure Active Directory
 Autorisation avec ACL (type POSIX)
 Audit
DEMO
Azure Data Lake Store
Azure Data Lake Analytics
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
15
Azure Data Lake Analytics
Les arguments Marketing
 “Elastic analytics service”
 “all data, at any size”
 “No Limits to Scale”
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
16
Azure Data Lake Analytics
 Service PaaS, serverless
 Mode batch (on parle de « job »)
 Modèle de tarification à l’exécution
 Sécurité et Audit
 Optimisé pour ADL Store
 Langage dédié : U-SQL
Les + :
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
DEMO
Azure Data Lake Analytics
U-SQL
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
19
Le language U-SQL
Les basiques de SQL
 Clauses de base
 SELECT, FROM, WHERE
 GROUP BY, JOIN, OVER
 Fonctionne sur des données
structurées et non-structurées
 Modèle relationnel pour les
méta-données
La puissance de .NET
 C# Expressions
 Code Behind
 Types
 Fonctions
 Agrégats
 Extractors / Outputters
 Processors
 Réutilisation d’Assemblies .NET
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
20
Usages U-SQL
Source @DoktorKermit
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
21
Ma 1ere requête U-SQL
@checkins =
EXTRACT [Date] DateTime,
[Checkins] int,
[DenRatio] string, [MayorRatio] string,
[Category] string, [Subcategory] string,
Venue string, Country string, City string,
Latitude string, Longitude string
FROM "/Samples/Data/Djeepy1Foursquare/Export-ADL-20170305.csv"
USING Extractors.Csv(skipFirstNRows : 1);
@resByCat =
SELECT [Category],
COUNT( * ) AS NbCheckins
FROM @checkins
GROUP BY [Category];
OUTPUT @resByCat
TO "/Samples/Data/Djeepy1Foursquare/Out-ByCat-FirstQuery.csv"
USING Outputters.Csv();
Extraction des données
Schema-on-Read
Manipulation des données
Sortie
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
DEMO
Ma 1ere requête U-SQL
Exécution d’un job
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
25
L’exécution d’un job U-SQL
Job
Scheduler &
Queue
Front-EndService
Vertex Execution
Consume
Local
Storage
Data Lake
Store
Author
Plan
Compiler Optimizer
Vertexes
running in
YARN
Containers
U-SQL
Runtime
Optimized
Plan
Vertex Scheduling
On containers
Job Manager
USQL
Compiler
Service &
USQL Catalog
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
26
Plan d’exécution (aka “Job Graph”)
Le job est découpé en
Vertex
Les vertex sont organisés par
“type de travail” (SuperVertex)
“Job Graph”
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
DEMO
Ma 1ere exécution
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
28
Ma première exécution
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
29
Analyse de l’exécution
5 DLAU
allouées
1 DLAU
consommée
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
30
Data Lake Analytical Unit
 ADLAU : unité d’exécution d’un Job
 ADLAU = 1 VM avec 2 cœurs et 6Go de RAM
 Déclaratif : on indique combien d’ADLAU on souhaite
 Les Vertex sont « affectés » sur des ADLAU pour exécution
 La facturation se fait sur les ADLAU allouées
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
31
Tarification
Outillage
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
33
Visual Studio
 Intellisense
 Exécution locale
 Visualisation des jobs
 Optimisation
 Replay
 Debug
Téléchargez
Azure Data Lake Tools
Etendre ADLA
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
35
Etendre U-SQL avec .NET
 C# Expressions
 UDFs : Fonctions
 UDAGGs : Agrégats
 UDOs : Opérations (Extractors, Outputters)
 PROCESS : traitements
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
DEMO
Etendre U-SQL
ADL avec PowerShell
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
38
ADL Store - commandes
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
39
ADL Analytics - commandes
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
DEMO
Azure Data Lake & PowerShell
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
41
Merci !
Questions…
…et réponses
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
42
Merci à nos sponsors
PLATINUM
LOCAUX
PARTENAIRES MEDIA
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
43
Sponsors internationaux
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
44
Nous suivre
Facebook
facebook.com/groups/azugfr/
Twitter
twitter.com/AZUGFR
Meetup
meetup.com/AZUG-FR/
LinkedIn
Linkedin.com/inspirasign
Web
www.azug.fr
Merci
d’être venus
A bientôt !

Contenu connexe

Tendances

HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlusModern Data Stack France
 
DataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudDataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudVictor Coustenoble
 
Delta Lake, un vernis pour parquet
Delta Lake, un vernis pour parquetDelta Lake, un vernis pour parquet
Delta Lake, un vernis pour parquetAlban Phélip
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaMicrosoft
 
Cartographie du big data
Cartographie du big dataCartographie du big data
Cartographie du big dataacogoluegnes
 
Spark SQL principes et fonctions
Spark SQL principes et fonctionsSpark SQL principes et fonctions
Spark SQL principes et fonctionsMICHRAFY MUSTAFA
 
Architecture Big Data open source S.M.A.C.K
Architecture Big Data open source S.M.A.C.KArchitecture Big Data open source S.M.A.C.K
Architecture Big Data open source S.M.A.C.KJulien Anguenot
 
Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Victor Coustenoble
 
Distributed computing with Spark 2.x
Distributed computing with Spark 2.xDistributed computing with Spark 2.x
Distributed computing with Spark 2.xDr Hajji Hicham
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteMicrosoft
 
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014Ippon
 
Zenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_mlZenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_mlZenika
 
BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData, Inc.
 
DataStax et Cassandra dans Azure au Microsoft Techdays
DataStax et Cassandra dans Azure au Microsoft TechdaysDataStax et Cassandra dans Azure au Microsoft Techdays
DataStax et Cassandra dans Azure au Microsoft TechdaysVictor Coustenoble
 
Apache Zeppelin @DevoxxFR 2016
Apache Zeppelin @DevoxxFR 2016Apache Zeppelin @DevoxxFR 2016
Apache Zeppelin @DevoxxFR 2016Duyhai Doan
 
Stats web avec Hive chez Scoop.it
Stats web avec Hive chez Scoop.itStats web avec Hive chez Scoop.it
Stats web avec Hive chez Scoop.ithibnico
 
Sahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStackSahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStackALTIC Altic
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielModern Data Stack France
 

Tendances (20)

HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlus
 
DataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudDataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le Cloud
 
Delta Lake, un vernis pour parquet
Delta Lake, un vernis pour parquetDelta Lake, un vernis pour parquet
Delta Lake, un vernis pour parquet
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmedia
 
Cartographie du big data
Cartographie du big dataCartographie du big data
Cartographie du big data
 
Spark SQL principes et fonctions
Spark SQL principes et fonctionsSpark SQL principes et fonctions
Spark SQL principes et fonctions
 
Architecture Big Data open source S.M.A.C.K
Architecture Big Data open source S.M.A.C.KArchitecture Big Data open source S.M.A.C.K
Architecture Big Data open source S.M.A.C.K
 
Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?
 
Hug janvier 2016 -EDF
Hug   janvier 2016 -EDFHug   janvier 2016 -EDF
Hug janvier 2016 -EDF
 
Distributed computing with Spark 2.x
Distributed computing with Spark 2.xDistributed computing with Spark 2.x
Distributed computing with Spark 2.x
 
DataStax Enterprise - Cas d'usage
DataStax Enterprise - Cas d'usageDataStax Enterprise - Cas d'usage
DataStax Enterprise - Cas d'usage
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
 
Zenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_mlZenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_ml
 
BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)
 
DataStax et Cassandra dans Azure au Microsoft Techdays
DataStax et Cassandra dans Azure au Microsoft TechdaysDataStax et Cassandra dans Azure au Microsoft Techdays
DataStax et Cassandra dans Azure au Microsoft Techdays
 
Apache Zeppelin @DevoxxFR 2016
Apache Zeppelin @DevoxxFR 2016Apache Zeppelin @DevoxxFR 2016
Apache Zeppelin @DevoxxFR 2016
 
Stats web avec Hive chez Scoop.it
Stats web avec Hive chez Scoop.itStats web avec Hive chez Scoop.it
Stats web avec Hive chez Scoop.it
 
Sahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStackSahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStack
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
 

Similaire à GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato

24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0Jean-Pierre Riehl
 
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...AZUG FR
 
SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...
SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...
SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...Jean-Pierre Riehl
 
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...MS Cloud Summit
 
Monter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMonter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMicrosoft Technet France
 
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnels
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsUSI 2013 : 7 changements nécessaires pour sauver vos SI décisionnels
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
 
GAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent Yin
GAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent YinGAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent Yin
GAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent YinAZUG FR
 
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...GUSS
 
CV - Database Administrator ( French )
CV - Database Administrator ( French )CV - Database Administrator ( French )
CV - Database Administrator ( French )Franck VICTORIA
 
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013serge luca
 
Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018Converteo
 
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...AZUG FR
 
BBL - Monitoring - kyriba
BBL - Monitoring - kyribaBBL - Monitoring - kyriba
BBL - Monitoring - kyribaOlivier BAZOUD
 
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir ArezkiGab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir ArezkiSamir Arezki ☁
 
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir ArezkiGab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir ArezkiAZUG FR
 
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudBonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudMicrosoft Technet France
 
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudBonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudMicrosoft Décideurs IT
 
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure Pack
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackLe cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure Pack
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
 

Similaire à GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato (20)

24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
 
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
 
SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...
SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...
SQLSaturday Toulouse 2017 - Azure Data Lake : SELECT people FROM data-lake WH...
 
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
 
Monter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMonter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows Azure
 
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnels
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsUSI 2013 : 7 changements nécessaires pour sauver vos SI décisionnels
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnels
 
Fusion io
Fusion ioFusion io
Fusion io
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
 
GAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent Yin
GAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent YinGAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent Yin
GAB 2017 PARIS - Azure Functions et les architectures serverless par Laurent Yin
 
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
 
CV - Database Administrator ( French )
CV - Database Administrator ( French )CV - Database Administrator ( French )
CV - Database Administrator ( French )
 
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
 
Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018
 
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
 
BBL - Monitoring - kyriba
BBL - Monitoring - kyribaBBL - Monitoring - kyriba
BBL - Monitoring - kyriba
 
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir ArezkiGab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
 
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir ArezkiGab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
Gab 2017 Lyon - les strategies d'intégration avec Azure iPaaS - Samir Arezki
 
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudBonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
 
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudBonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
 
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure Pack
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackLe cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure Pack
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure Pack
 

Plus de AZUG FR

I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)AZUG FR
 
Packer, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec AzurePacker, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec AzureAZUG FR
 
Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.AZUG FR
 
Dev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans AzureDev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans AzureAZUG FR
 
Azure DNS Privé
Azure DNS PrivéAzure DNS Privé
Azure DNS PrivéAZUG FR
 
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019AZUG FR
 
Cedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure DevopsCedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure DevopsAZUG FR
 
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)AZUG FR
 
Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)AZUG FR
 
Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)AZUG FR
 
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)AZUG FR
 
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...AZUG FR
 
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...AZUG FR
 
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...AZUG FR
 
Meetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ ArollaMeetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ ArollaAZUG FR
 
Meetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ CellenzaMeetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ CellenzaAZUG FR
 
Analysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive ServicesAnalysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive ServicesAZUG FR
 
Gab17 lyon - Blockchain as a service dans Azure by Igor Leontiev
Gab17 lyon - Blockchain as a service dans Azure by Igor LeontievGab17 lyon - Blockchain as a service dans Azure by Igor Leontiev
Gab17 lyon - Blockchain as a service dans Azure by Igor LeontievAZUG FR
 
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric WeinbachGAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric WeinbachAZUG FR
 
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...AZUG FR
 

Plus de AZUG FR (20)

I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)
 
Packer, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec AzurePacker, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec Azure
 
Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.
 
Dev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans AzureDev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans Azure
 
Azure DNS Privé
Azure DNS PrivéAzure DNS Privé
Azure DNS Privé
 
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
 
Cedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure DevopsCedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure Devops
 
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
 
Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)
 
Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)
 
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
 
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
 
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
 
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
 
Meetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ ArollaMeetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ Arolla
 
Meetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ CellenzaMeetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ Cellenza
 
Analysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive ServicesAnalysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive Services
 
Gab17 lyon - Blockchain as a service dans Azure by Igor Leontiev
Gab17 lyon - Blockchain as a service dans Azure by Igor LeontievGab17 lyon - Blockchain as a service dans Azure by Igor Leontiev
Gab17 lyon - Blockchain as a service dans Azure by Igor Leontiev
 
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric WeinbachGAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
 
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
 

Dernier

La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...OCTO Technology
 
Intelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imaginationIntelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imaginationTony Aubé
 
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...Faga1939
 
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudOCTO Technology
 
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdfEtude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdfsnapierala
 
GUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - MontréalGUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - MontréalNicolas Georgeault
 
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IAMilo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IAUGAIA
 

Dernier (7)

La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
 
Intelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imaginationIntelligence Artificielle: Vers l'ère de l'imagination
Intelligence Artificielle: Vers l'ère de l'imagination
 
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
LA SUPERINTELLIGENCE ARTIFICIELLE, SES BÉNÉFICES ET NUIRES ET QUE FAIRE POUR ...
 
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
 
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdfEtude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
Etude_Bpifrance_-_Les_Greentech_francaises_-_3eme_edition_annuelle_2024.pdf
 
GUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - MontréalGUM365 - Rencontre mensuelle Avril 2024 - Montréal
GUM365 - Rencontre mensuelle Avril 2024 - Montréal
 
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IAMilo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
Milo-AI Milo AI Congress est conçu pour transformer votre compréhension de l'IA
 

GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fabien Adato

  • 1. Azure Data Lake La Big Data 2.0 Jean-Pierre Riehl – Fabien Adato
  • 2. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 2 Meet the Team Jean-Pierre Riehl Practice Manager Data & BI Fabien Adato Expert Data & BI @fabienAD http://fadata-blog.com MVP Data Platform French Data Community Leader @djeepy1 http://blog.djeepy1.net MVP Data Platform
  • 3. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 3  Azure Data Lake, c’est quoi ?  Azure Data Lake Store  Azure Data Lake Analytics  Outillage  Coder en U-SQL  Etendre ADLA  ADL avec PowerShell  Q&R Agenda
  • 4. Azure Data Lake, c’est quoi ?
  • 5. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 5 Un peu d’histoire Microsoft a besoin d’une technologie pour analyser des Péta-octets de données 2007-2008 MS Research crée « Cosmos » 2011-2012 Le phénomène Big Data démarre
  • 6. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 6 Solution « Big Data » managée proposée sur Azure  ADL Store : un système de stockage distribué de type HDFS  ADL Analytics : un moteur de requêtage « analytique »  U-SQL : La simplicité du SQL, la puissance de .NET Azure Data Lake
  • 7. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 7 Cortana Analytics Suite Transform data into intelligent action Business apps Custom apps Sensors and devices People Automated Systems Data Collection ToolsData Collection Tools
  • 8. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 8 Azure Data Lake Analytics Storage Azure Data Lake Analytics Azure Data Lake Store HDInsight (“managed clusters”) U-SQL Azure Blob
  • 10. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 10 Azure Data Lake Store  Pushing the Limits !!!  Pas de limite sur les tailles de fichier / stockage  « massive throughput, low latency »  Sécurité avancée (type NTFS/POSIX)  Compatible HDFS, WebHDFS  « Optimisé pour l’analytique »
  • 11. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 11 Azure Blob vs. ADL Store  Le prix :  ADL : 34€ / To / mois  Azure Blob : 20€ / To / mois* * Hot LRS, First 100TB ?
  • 12. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 12 Azure Data Lake Store Focus Sécurité  Chiffré avec Azure Key Vault  Authentification moderne (OAuth, MFA, etc.)  Intégration Azure Active Directory  Autorisation avec ACL (type POSIX)  Audit
  • 14. Azure Data Lake Analytics
  • 15. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 15 Azure Data Lake Analytics Les arguments Marketing  “Elastic analytics service”  “all data, at any size”  “No Limits to Scale”
  • 16. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 16 Azure Data Lake Analytics  Service PaaS, serverless  Mode batch (on parle de « job »)  Modèle de tarification à l’exécution  Sécurité et Audit  Optimisé pour ADL Store  Langage dédié : U-SQL Les + :
  • 17. www.azug.fr © 2017 AZUG FR. All Rights Reserved. DEMO Azure Data Lake Analytics
  • 18. U-SQL
  • 19. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 19 Le language U-SQL Les basiques de SQL  Clauses de base  SELECT, FROM, WHERE  GROUP BY, JOIN, OVER  Fonctionne sur des données structurées et non-structurées  Modèle relationnel pour les méta-données La puissance de .NET  C# Expressions  Code Behind  Types  Fonctions  Agrégats  Extractors / Outputters  Processors  Réutilisation d’Assemblies .NET
  • 20. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 20 Usages U-SQL Source @DoktorKermit
  • 21. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 21 Ma 1ere requête U-SQL @checkins = EXTRACT [Date] DateTime, [Checkins] int, [DenRatio] string, [MayorRatio] string, [Category] string, [Subcategory] string, Venue string, Country string, City string, Latitude string, Longitude string FROM "/Samples/Data/Djeepy1Foursquare/Export-ADL-20170305.csv" USING Extractors.Csv(skipFirstNRows : 1); @resByCat = SELECT [Category], COUNT( * ) AS NbCheckins FROM @checkins GROUP BY [Category]; OUTPUT @resByCat TO "/Samples/Data/Djeepy1Foursquare/Out-ByCat-FirstQuery.csv" USING Outputters.Csv(); Extraction des données Schema-on-Read Manipulation des données Sortie
  • 22. www.azug.fr © 2017 AZUG FR. All Rights Reserved. DEMO Ma 1ere requête U-SQL
  • 24. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 25 L’exécution d’un job U-SQL Job Scheduler & Queue Front-EndService Vertex Execution Consume Local Storage Data Lake Store Author Plan Compiler Optimizer Vertexes running in YARN Containers U-SQL Runtime Optimized Plan Vertex Scheduling On containers Job Manager USQL Compiler Service & USQL Catalog
  • 25. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 26 Plan d’exécution (aka “Job Graph”) Le job est découpé en Vertex Les vertex sont organisés par “type de travail” (SuperVertex) “Job Graph”
  • 26. www.azug.fr © 2017 AZUG FR. All Rights Reserved. DEMO Ma 1ere exécution
  • 27. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 28 Ma première exécution
  • 28. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 29 Analyse de l’exécution 5 DLAU allouées 1 DLAU consommée
  • 29. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 30 Data Lake Analytical Unit  ADLAU : unité d’exécution d’un Job  ADLAU = 1 VM avec 2 cœurs et 6Go de RAM  Déclaratif : on indique combien d’ADLAU on souhaite  Les Vertex sont « affectés » sur des ADLAU pour exécution  La facturation se fait sur les ADLAU allouées
  • 30. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 31 Tarification
  • 32. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 33 Visual Studio  Intellisense  Exécution locale  Visualisation des jobs  Optimisation  Replay  Debug Téléchargez Azure Data Lake Tools
  • 34. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 35 Etendre U-SQL avec .NET  C# Expressions  UDFs : Fonctions  UDAGGs : Agrégats  UDOs : Opérations (Extractors, Outputters)  PROCESS : traitements
  • 35. www.azug.fr © 2017 AZUG FR. All Rights Reserved. DEMO Etendre U-SQL
  • 37. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 38 ADL Store - commandes
  • 38. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 39 ADL Analytics - commandes
  • 39. www.azug.fr © 2017 AZUG FR. All Rights Reserved. DEMO Azure Data Lake & PowerShell
  • 40. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 41 Merci ! Questions… …et réponses
  • 41. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 42 Merci à nos sponsors PLATINUM LOCAUX PARTENAIRES MEDIA
  • 42. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 43 Sponsors internationaux
  • 43. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 44 Nous suivre Facebook facebook.com/groups/azugfr/ Twitter twitter.com/AZUGFR Meetup meetup.com/AZUG-FR/ LinkedIn Linkedin.com/inspirasign Web www.azug.fr