Azure Data Factory, le plombier, l'orchestre et l'usine Isabelle VAN CAMPENHOUDT

1. Azure Data Factory
Le plombier, l’usine et l’orchestre
Isabelle Van Campenhoudt

2. Qui suis-je
SQL Server MVP, Brussels
Consultant, speaker, trainer, GUSS Board Member, PASS V-Chapter Leader
Managing partner de www.ShareQL.com
SQL Server since 1999
Blog: http://thesqlgrrrl.wordpress.com/
ivc@ShareQL.com
@thesqlgrrrl
Isabelle Van Campenhoudt

3. Agenda
• Introduction
• Les Concepts
• Les Outils
• Plannification & Monitoring
• Pour aller plus loin
• Conclusions

4. Introduction

5. ETL Traditionnel

6. Big Data Process

7. Data Factory
Quoi ? Où ?Comment?

8. Scenarios
https://customers.microsoft.com/en-us/story/tacomapublicschoolsstory
using data to predict which students were at risk of not
completing their education.
be able to change traditional perceptions about the
reasons for students’ struggles, by identifying other
indicators that contribute to students’ tendencies to
drop out. “

9. Les Concepts

10. Les concepts

11. Concepts

12. Demos
Create a pipeline to copy data inside the
Portal

13. Pipelines
Le pipeline est un ensemble
d’activités reliées logiquement.

14. Datasets
Les sources de données
prises en charge et les
types de jeux de données
sont alignés

15. Activities
Les activités définissent
les actions à effectuer sur
les données.
Chaque activité accepte
ou non des jeux de
données en tant
qu'entrées et produit au
moins un jeu de données
en tant que sortie.
Mouvement
Transformation

16. Activities: Moving

17. Activities: Transformation
Activités de transformation des
données
Environnement de calcul
Hive HDInsight [Hadoop]
Pig HDInsight [Hadoop]
MapReduce HDInsight [Hadoop]
Diffusion en continu Hadoop HDInsight [Hadoop]
Spark HDInsight [Hadoop]
Activités Machine Learning : exécution
de lot et mise à jour de ressource
Microsoft Azure
Procédure stockée
SQL Azure, Azure SQL Data
Warehouse ou SQL Server
Langage U-SQL du service Analytique
Data Lake
Service Analytique Azure Data Lake
DotNet HDInsight [Hadoop] ou Azure Batch

18. Linked Services
Cluster HDInsight à la demande
ou votre propre cluster
HDInsight
DotNet, Hive, Pig, MapReduce,
Diffusion en continu Hadoop
Azure Batch DotNet
Azure Machine Learning
Activités Machine Learning :
exécution de lot et mise à jour de
ressource
Service Analytique Azure Data
Lake
Langage U-SQL du service
Analytique Data Lake
Azure SQL, Azure SQL Data
Warehouse, SQL Server
Procédure stockée

19. Les outils

20. Les Outils
portail Azure Visual Studio
Microsoft Azure
PowerShell
kit de
développement
logiciel (SDK)
.NET
Utilisation d’un
modèle Azure
Resource
Manager
Utilisation de
l'API REST

21. Execution & Monitoring

22. Monitoring

23. Slices, execution & monitoring

24. Status & Monitoring

25. Demos
Create a pipeline to transform Data from
Visual Studio

26. Pour aller plus loin

27. Hybrid scenarios

28. Security Consideration

29. Tarification La fréquence
des activités
(élevée ou
faible).
L’emplacement
d’exécution des
activités
Si un pipeline est
actif ou non.
Si vous
réexécutez une
activité.

30. Conclusions

31. Agenda
8h30 9H00 8h30 9H00
9H00
10h00
9H00
10h00
Salles Amphitéâtre Moines Batz Bréhat Groix Houat Salles
Les usages de la réalité mixte -
Découverte d'Hololens
DevOps & Docker : adopter les
mêmes pratiques sous Windows et
Linux
Introduction au Xamarin .forms
La Télémétrie des usages Office.
Retour d'expérience.
TypeScript 2.0, le futur de JavaScript
et l'émergence des transpileurs
sponsor platinium
Fabrice BARBIN
Michel ROUSSEAU
Julien CORIOLAND
Fabien DIBOT
Julien VILLENEAU Fabrice BONNEVILLE Sebastien PERTUS sponsor platinium
Table Ronde DSI : Machine learning,
IA, robotique, transhumanisme :
Préparez votre SI - Nouvelle version !
Accompagnez la transformation
digitale de votre entreprise avec Office
365
La Power BI cela vous gagne Gestion de la mobilité avec EMS
Simplifier le debug dans Visual Studio
avec ozcode
Le Cloud Data Management ou
comment Sauvegarder, restaurer,
gérer et sécuriser vos données où
qu’elles se trouvent.
Patrice TROUSSET / Aurélien PREVOT
Sponsor ASI - Florian Zeller Gilles POMMIER
Nicolas BONNE
Matthieu VOISIN
Guillaume COLLIC
Sponsor Rubrik - Lionel Meoni &
Dominique Fleury
Comment Surface Hub et Skype For
Business changent la collaboration
IoT & Azure, le champs des possibles
Comment allons nous communiquer
avec nos clients demain ?
Découvrez toute la puissance du
centre de sécurité et de conformité
d'Office 365
Une Full stack .net en open source
(ASP.NET Core 1.0, Angular 2.0,
PostgreSql) sous Linux et avec
Docker, ça marche !
Hololens : let's dev (tout ce que le
developpeur doit savoir pour
developper avec hololens
Sponsor Vidélio - Christophe Girardet Alex DANVY Alexis CONIA Yoan TOPENOT / Benoît JESTER Benjamin DUFOUR Miguel MATHE
sponsor ultimate
Comment Skype For Business,
OneNote et Sway me permettent
d'enrichir mes cours en tant
qu'enseignant !
visio sur ipad et visio online oui c'est
possible
J'utilise quoi pour collaborer ? Teams,
SharePoint, Yammer, Outlook, Groups,
Skype ?
DevOps avec PowerShell pour Office
365 et SharePoint Online : exploitez
enfin le potentiel de votre tenant !
SharePoint 2016 et les nouveaux
scenarii Hybrides
sponsor ultimate Eudes Olivier ROBERT Michel LAPLANE Serge TREMBLAY
Joelle RUELLE
Gilles POMMIER
Gokan OZCIFCI
sponsor ultimate
Vous n'êtes pas développeur ? Nous
non plus. Votre première app
powerapps en 30mn
Azure Data Factory, le plombier,
l'orchestre et l'usine
Vos bases SQL Server au rayons X
avec les Rapports SSMS
Gouvernance Office 365 avec et sans
PowerShell
Les nouvelles architectures de Skype
Entreprise
sponsor ultimate Yoan TOPENOT Isabelle VAN CAMPENHOUDT
Benjamin VESAN
Gilles DUCASSOU
Etienne BAILLY
Franck ANNET
Eudes Olivier ROBERT
sponsor ultimate à la découverte de Microsoft ATA
Sécuriser sa messagerie avec
Office365 et Exchange Online
Protection
Les trends UX/UI 2017
Microservices REST sur Docker et
DevOps : tout en production !
Découverte du nouvel outil de
microsoft : Flow
sponsor ultimate Seyfallah TAGREROUT Hakim TAOUSSI Michel ROUSSEAU Jean-Philippe GOUIGOUX
Serge LUCA
Sabrine CHOUK
sponsor ultimate
Votre solution hyperconvergrée avec
Hyper-V
SharePoint 2016 BI ou
PowerBI v2 ?
Le Cloud de Microsoft Azure et les
applications mobiles multiplateformes :
Un couple qui va transformer vos
journées de travail !
OneNote Agile
What's new pour développer un bot !
[TBC]
sponsor ultimate Cédric GIRARD
Serge LUCA / Isabelle VAN
CAMPENHOUDT
Chourouk HJAIJ Christophe LAIGLE
Jean-Sébastien DUPUY
Jonathan Le GUELLEC
PROGRAMME ReBUILD - 27/04/2017
PLENIERE, Laurent MILTGEN / Kévin TRELOHAN, Communauté MS
SESSION d'introduction, Patrice TROUSSET, DSI Microsoft France
10h15
11h00
10h15
11h00
Pause
Pause
Pause
Repas
16h45
17h30
16h45
17h30
13h45
14h30
12h15
13h00
11h15
12h00
11h15
12h00
12h15
13h00
13h45
14h30
Pause
Pause
Pause
15h45
16h30
14h45
15h30
14h45
15h30
15h45
16h30

32. Merci à nos sponsors