SlideShare une entreprise Scribd logo
Azure Data Factory
Le plombier, l’usine et l’orchestre
Isabelle Van Campenhoudt
Qui suis-je
SQL Server MVP, Brussels
Consultant, speaker, trainer, GUSS Board Member, PASS V-Chapter Leader
Managing partner de www.ShareQL.com
SQL Server since 1999
Blog: http://thesqlgrrrl.wordpress.com/
ivc@ShareQL.com
@thesqlgrrrl
Isabelle Van Campenhoudt
Agenda
• Introduction
• Les Concepts
• Les Outils
• Plannification & Monitoring
• Pour aller plus loin
• Conclusions
Introduction
ETL Traditionnel
Big Data Process
Data Factory
Quoi ? Où ?Comment?
Scenarios
https://customers.microsoft.com/en-us/story/tacomapublicschoolsstory
using data to predict which students were at risk of not
completing their education.
be able to change traditional perceptions about the
reasons for students’ struggles, by identifying other
indicators that contribute to students’ tendencies to
drop out. “
Les Concepts
Les concepts
Concepts
Demos
Create a pipeline to copy data inside the
Portal
Pipelines
Le pipeline est un ensemble
d’activités reliées logiquement.
Datasets
Les sources de données
prises en charge et les
types de jeux de données
sont alignés
Activities
Les activités définissent
les actions à effectuer sur
les données.
Chaque activité accepte
ou non des jeux de
données en tant
qu'entrées et produit au
moins un jeu de données
en tant que sortie.
Mouvement
Transformation
Activities: Moving
Activities: Transformation
Activités de transformation des
données
Environnement de calcul
Hive HDInsight [Hadoop]
Pig HDInsight [Hadoop]
MapReduce HDInsight [Hadoop]
Diffusion en continu Hadoop HDInsight [Hadoop]
Spark HDInsight [Hadoop]
Activités Machine Learning : exécution
de lot et mise à jour de ressource
Microsoft Azure
Procédure stockée
SQL Azure, Azure SQL Data
Warehouse ou SQL Server
Langage U-SQL du service Analytique
Data Lake
Service Analytique Azure Data Lake
DotNet HDInsight [Hadoop] ou Azure Batch
Linked Services
Cluster HDInsight à la demande
ou votre propre cluster
HDInsight
DotNet, Hive, Pig, MapReduce,
Diffusion en continu Hadoop
Azure Batch DotNet
Azure Machine Learning
Activités Machine Learning :
exécution de lot et mise à jour de
ressource
Service Analytique Azure Data
Lake
Langage U-SQL du service
Analytique Data Lake
Azure SQL, Azure SQL Data
Warehouse, SQL Server
Procédure stockée
Les outils
Les Outils
portail Azure Visual Studio
Microsoft Azure
PowerShell
kit de
développement
logiciel (SDK)
.NET
Utilisation d’un
modèle Azure
Resource
Manager
Utilisation de
l'API REST
Execution & Monitoring
Monitoring
Slices, execution & monitoring
Status & Monitoring
Demos
Create a pipeline to transform Data from
Visual Studio
Pour aller plus loin
Hybrid scenarios
Security Consideration
Tarification La fréquence
des activités
(élevée ou
faible).
L’emplacement
d’exécution des
activités
Si un pipeline est
actif ou non.
Si vous
réexécutez une
activité.
Conclusions
Agenda
8h30 9H00 8h30 9H00
9H00
10h00
9H00
10h00
Salles Amphitéâtre Moines Batz Bréhat Groix Houat Salles
Les usages de la réalité mixte -
Découverte d'Hololens
DevOps & Docker : adopter les
mêmes pratiques sous Windows et
Linux
Introduction au Xamarin .forms
La Télémétrie des usages Office.
Retour d'expérience.
TypeScript 2.0, le futur de JavaScript
et l'émergence des transpileurs
sponsor platinium
Fabrice BARBIN
Michel ROUSSEAU
Julien CORIOLAND
Fabien DIBOT
Julien VILLENEAU Fabrice BONNEVILLE Sebastien PERTUS sponsor platinium
Table Ronde DSI : Machine learning,
IA, robotique, transhumanisme :
Préparez votre SI - Nouvelle version !
Accompagnez la transformation
digitale de votre entreprise avec Office
365
La Power BI cela vous gagne Gestion de la mobilité avec EMS
Simplifier le debug dans Visual Studio
avec ozcode
Le Cloud Data Management ou
comment Sauvegarder, restaurer,
gérer et sécuriser vos données où
qu’elles se trouvent.
Patrice TROUSSET / Aurélien PREVOT
Sponsor ASI - Florian Zeller Gilles POMMIER
Nicolas BONNE
Matthieu VOISIN
Guillaume COLLIC
Sponsor Rubrik - Lionel Meoni &
Dominique Fleury
Comment Surface Hub et Skype For
Business changent la collaboration
IoT & Azure, le champs des possibles
Comment allons nous communiquer
avec nos clients demain ?
Découvrez toute la puissance du
centre de sécurité et de conformité
d'Office 365
Une Full stack .net en open source
(ASP.NET Core 1.0, Angular 2.0,
PostgreSql) sous Linux et avec
Docker, ça marche !
Hololens : let's dev (tout ce que le
developpeur doit savoir pour
developper avec hololens
Sponsor Vidélio - Christophe Girardet Alex DANVY Alexis CONIA Yoan TOPENOT / Benoît JESTER Benjamin DUFOUR Miguel MATHE
sponsor ultimate
Comment Skype For Business,
OneNote et Sway me permettent
d'enrichir mes cours en tant
qu'enseignant !
visio sur ipad et visio online oui c'est
possible
J'utilise quoi pour collaborer ? Teams,
SharePoint, Yammer, Outlook, Groups,
Skype ?
DevOps avec PowerShell pour Office
365 et SharePoint Online : exploitez
enfin le potentiel de votre tenant !
SharePoint 2016 et les nouveaux
scenarii Hybrides
sponsor ultimate Eudes Olivier ROBERT Michel LAPLANE Serge TREMBLAY
Joelle RUELLE
Gilles POMMIER
Gokan OZCIFCI
sponsor ultimate
Vous n'êtes pas développeur ? Nous
non plus. Votre première app
powerapps en 30mn
Azure Data Factory, le plombier,
l'orchestre et l'usine
Vos bases SQL Server au rayons X
avec les Rapports SSMS
Gouvernance Office 365 avec et sans
PowerShell
Les nouvelles architectures de Skype
Entreprise
sponsor ultimate Yoan TOPENOT Isabelle VAN CAMPENHOUDT
Benjamin VESAN
Gilles DUCASSOU
Etienne BAILLY
Franck ANNET
Eudes Olivier ROBERT
sponsor ultimate à la découverte de Microsoft ATA
Sécuriser sa messagerie avec
Office365 et Exchange Online
Protection
Les trends UX/UI 2017
Microservices REST sur Docker et
DevOps : tout en production !
Découverte du nouvel outil de
microsoft : Flow
sponsor ultimate Seyfallah TAGREROUT Hakim TAOUSSI Michel ROUSSEAU Jean-Philippe GOUIGOUX
Serge LUCA
Sabrine CHOUK
sponsor ultimate
Votre solution hyperconvergrée avec
Hyper-V
SharePoint 2016 BI ou
PowerBI v2 ?
Le Cloud de Microsoft Azure et les
applications mobiles multiplateformes :
Un couple qui va transformer vos
journées de travail !
OneNote Agile
What's new pour développer un bot !
[TBC]
sponsor ultimate Cédric GIRARD
Serge LUCA / Isabelle VAN
CAMPENHOUDT
Chourouk HJAIJ Christophe LAIGLE
Jean-Sébastien DUPUY
Jonathan Le GUELLEC
PROGRAMME ReBUILD - 27/04/2017
PLENIERE, Laurent MILTGEN / Kévin TRELOHAN, Communauté MS
SESSION d'introduction, Patrice TROUSSET, DSI Microsoft France
10h15
11h00
10h15
11h00
Pause
Pause
Pause
Repas
16h45
17h30
16h45
17h30
13h45
14h30
12h15
13h00
11h15
12h00
11h15
12h00
12h15
13h00
13h45
14h30
Pause
Pause
Pause
15h45
16h30
14h45
15h30
14h45
15h30
15h45
16h30
Merci à nos sponsors

Contenu connexe

Tendances

Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Jean-Pierre Riehl
 
Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...
Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...
Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...
Jean-Pierre Riehl
 
DataStax Enterprise BBL
DataStax Enterprise BBLDataStax Enterprise BBL
DataStax Enterprise BBL
Victor Coustenoble
 
Simplifiez vos architectures Cloud avec la Data Virtualization
Simplifiez vos architectures Cloud avec la Data VirtualizationSimplifiez vos architectures Cloud avec la Data Virtualization
Simplifiez vos architectures Cloud avec la Data Virtualization
Denodo
 
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Jean-Michel Franco
 
Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)
Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)
Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)
Nicolas Georgeault
 
Offrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clicOffrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clic
Jean-Michel Franco
 
Découvrez comment créer une solution complète de gouvernance des données
Découvrez comment créer une solution complète de gouvernance des donnéesDécouvrez comment créer une solution complète de gouvernance des données
Découvrez comment créer une solution complète de gouvernance des données
Precisely
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigData
Ludovic Piot
 
DataStax et Apache Cassandra pour la gestion des flux IoT
DataStax et Apache Cassandra pour la gestion des flux IoTDataStax et Apache Cassandra pour la gestion des flux IoT
DataStax et Apache Cassandra pour la gestion des flux IoT
Victor Coustenoble
 
Datalake de l'idée à la plateforme
Datalake de l'idée à la plateformeDatalake de l'idée à la plateforme
Datalake de l'idée à la plateforme
Novencia Groupe
 
JSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BIJSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BI
GUSS
 
BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)
BlueData, Inc.
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Microsoft
 
Réussir sa migration vers le Cloud grâce à la virtualisation des données
Réussir sa migration vers le Cloud grâce à la virtualisation des donnéesRéussir sa migration vers le Cloud grâce à la virtualisation des données
Réussir sa migration vers le Cloud grâce à la virtualisation des données
Denodo
 
Tableau software data visualisation
Tableau software data visualisationTableau software data visualisation
Tableau software data visualisation
AS Stitou
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmedia
Microsoft
 
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
DataStax
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
Microsoft
 
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Sylia Baraka
 

Tendances (20)

Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017
 
Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...
Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...
Data Stewardship - Retour d'expérience de Sarenza sur la façon de piloter un ...
 
DataStax Enterprise BBL
DataStax Enterprise BBLDataStax Enterprise BBL
DataStax Enterprise BBL
 
Simplifiez vos architectures Cloud avec la Data Virtualization
Simplifiez vos architectures Cloud avec la Data VirtualizationSimplifiez vos architectures Cloud avec la Data Virtualization
Simplifiez vos architectures Cloud avec la Data Virtualization
 
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
 
Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)
Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)
Collab mtl 2018 - Qu'est-ce que le CDM (Common Data Model)
 
Offrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clicOffrir de l'analytique en temps réel en un clic
Offrir de l'analytique en temps réel en un clic
 
Découvrez comment créer une solution complète de gouvernance des données
Découvrez comment créer une solution complète de gouvernance des donnéesDécouvrez comment créer une solution complète de gouvernance des données
Découvrez comment créer une solution complète de gouvernance des données
 
Oxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigDataOxalide MorningTech #1 - BigData
Oxalide MorningTech #1 - BigData
 
DataStax et Apache Cassandra pour la gestion des flux IoT
DataStax et Apache Cassandra pour la gestion des flux IoTDataStax et Apache Cassandra pour la gestion des flux IoT
DataStax et Apache Cassandra pour la gestion des flux IoT
 
Datalake de l'idée à la plateforme
Datalake de l'idée à la plateformeDatalake de l'idée à la plateforme
Datalake de l'idée à la plateforme
 
JSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BIJSS2014 – Le grand tour de Power BI
JSS2014 – Le grand tour de Power BI
 
BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
 
Réussir sa migration vers le Cloud grâce à la virtualisation des données
Réussir sa migration vers le Cloud grâce à la virtualisation des donnéesRéussir sa migration vers le Cloud grâce à la virtualisation des données
Réussir sa migration vers le Cloud grâce à la virtualisation des données
 
Tableau software data visualisation
Tableau software data visualisationTableau software data visualisation
Tableau software data visualisation
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmedia
 
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
 

Similaire à Azure Data Factory-Rebuild 2017

Comment enrichir ses cours avec oneNote, Sway et Skype
Comment enrichir ses cours avec oneNote, Sway et SkypeComment enrichir ses cours avec oneNote, Sway et Skype
Comment enrichir ses cours avec oneNote, Sway et Skype
Eudes Olivier ROBERT
 
WygDay 2010
WygDay 2010WygDay 2010
WygDay 2010
Gregory Renard
 
WygDay 2010 - session plénière
WygDay 2010 - session plénièreWygDay 2010 - session plénière
WygDay 2010 - session plénière
Wygwam
 
Quoi de neuf dans Office 365?
Quoi de neuf dans Office 365?Quoi de neuf dans Office 365?
Quoi de neuf dans Office 365?
Microsoft Décideurs IT
 
L’intégration, facteur clef de succès d’une transformation digitale
L’intégration, facteur clef de succès d’une transformation digitaleL’intégration, facteur clef de succès d’une transformation digitale
L’intégration, facteur clef de succès d’une transformation digitale
Manon PERNIN
 
Global Azure Bootcamp 2016 - Lyon : DevOps Datascience
Global Azure Bootcamp 2016 - Lyon : DevOps Datascience Global Azure Bootcamp 2016 - Lyon : DevOps Datascience
Global Azure Bootcamp 2016 - Lyon : DevOps Datascience
FactoVia
 
Hybride share point search
Hybride share point searchHybride share point search
Hybride share point search
Michael Nokhamzon
 
La gouvernance, ou comment rapprocher les équipes de développement et d'infra...
La gouvernance, ou comment rapprocher les équipes de développement et d'infra...La gouvernance, ou comment rapprocher les équipes de développement et d'infra...
La gouvernance, ou comment rapprocher les équipes de développement et d'infra...PimpMySharePoint
 
Le Cloud pour l'Education
Le Cloud pour l'EducationLe Cloud pour l'Education
Le Cloud pour l'Education
Microsoft Décideurs IT
 
DevOps au coeur de la transformation digitale
DevOps au coeur de la transformation digitaleDevOps au coeur de la transformation digitale
DevOps au coeur de la transformation digitale
Samuel Metias
 
Diginova 2019 - Les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - Les usages d'office 365 en Nouvelle-CalédonieDiginova 2019 - Les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - Les usages d'office 365 en Nouvelle-Calédonie
💻 Sylver SCHORGEN ☕️
 
Diginova 2019 - les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - les usages d'office 365 en Nouvelle-CalédonieDiginova 2019 - les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - les usages d'office 365 en Nouvelle-Calédonie
Julien Chable
 
SharePoint : votre portail métier d'entreprise #mstechdays 2012
SharePoint : votre portail métier d'entreprise #mstechdays 2012SharePoint : votre portail métier d'entreprise #mstechdays 2012
SharePoint : votre portail métier d'entreprise #mstechdays 2012
Vincent Biret
 
Editeurs de logiciels, innovez avec l'Intelligence Artificielle
Editeurs de logiciels, innovez avec l'Intelligence ArtificielleEditeurs de logiciels, innovez avec l'Intelligence Artificielle
Editeurs de logiciels, innovez avec l'Intelligence Artificielle
Guillaume Renaud
 
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
serge luca
 
Introduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : FlowIntroduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : Flow
Sabrine Chouk
 
Adoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALMAdoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALM
Grégory Ott
 
Adoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALMAdoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALM
MUG-Lyon Microsoft User Group
 
Introduction à Power Apps et Microsoft Flow
Introduction à Power Apps et Microsoft FlowIntroduction à Power Apps et Microsoft Flow
Introduction à Power Apps et Microsoft Flow
Sophie Marchand, M.Sc., CPA, CGA, MVP
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1
GUSS
 

Similaire à Azure Data Factory-Rebuild 2017 (20)

Comment enrichir ses cours avec oneNote, Sway et Skype
Comment enrichir ses cours avec oneNote, Sway et SkypeComment enrichir ses cours avec oneNote, Sway et Skype
Comment enrichir ses cours avec oneNote, Sway et Skype
 
WygDay 2010
WygDay 2010WygDay 2010
WygDay 2010
 
WygDay 2010 - session plénière
WygDay 2010 - session plénièreWygDay 2010 - session plénière
WygDay 2010 - session plénière
 
Quoi de neuf dans Office 365?
Quoi de neuf dans Office 365?Quoi de neuf dans Office 365?
Quoi de neuf dans Office 365?
 
L’intégration, facteur clef de succès d’une transformation digitale
L’intégration, facteur clef de succès d’une transformation digitaleL’intégration, facteur clef de succès d’une transformation digitale
L’intégration, facteur clef de succès d’une transformation digitale
 
Global Azure Bootcamp 2016 - Lyon : DevOps Datascience
Global Azure Bootcamp 2016 - Lyon : DevOps Datascience Global Azure Bootcamp 2016 - Lyon : DevOps Datascience
Global Azure Bootcamp 2016 - Lyon : DevOps Datascience
 
Hybride share point search
Hybride share point searchHybride share point search
Hybride share point search
 
La gouvernance, ou comment rapprocher les équipes de développement et d'infra...
La gouvernance, ou comment rapprocher les équipes de développement et d'infra...La gouvernance, ou comment rapprocher les équipes de développement et d'infra...
La gouvernance, ou comment rapprocher les équipes de développement et d'infra...
 
Le Cloud pour l'Education
Le Cloud pour l'EducationLe Cloud pour l'Education
Le Cloud pour l'Education
 
DevOps au coeur de la transformation digitale
DevOps au coeur de la transformation digitaleDevOps au coeur de la transformation digitale
DevOps au coeur de la transformation digitale
 
Diginova 2019 - Les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - Les usages d'office 365 en Nouvelle-CalédonieDiginova 2019 - Les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - Les usages d'office 365 en Nouvelle-Calédonie
 
Diginova 2019 - les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - les usages d'office 365 en Nouvelle-CalédonieDiginova 2019 - les usages d'office 365 en Nouvelle-Calédonie
Diginova 2019 - les usages d'office 365 en Nouvelle-Calédonie
 
SharePoint : votre portail métier d'entreprise #mstechdays 2012
SharePoint : votre portail métier d'entreprise #mstechdays 2012SharePoint : votre portail métier d'entreprise #mstechdays 2012
SharePoint : votre portail métier d'entreprise #mstechdays 2012
 
Editeurs de logiciels, innovez avec l'Intelligence Artificielle
Editeurs de logiciels, innovez avec l'Intelligence ArtificielleEditeurs de logiciels, innovez avec l'Intelligence Artificielle
Editeurs de logiciels, innovez avec l'Intelligence Artificielle
 
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
Introduction au nouveau moteur de workflow de Microsoft : Flow (Serge Luca)
 
Introduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : FlowIntroduction au nouveau moteur de workflow de Microsoft : Flow
Introduction au nouveau moteur de workflow de Microsoft : Flow
 
Adoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALMAdoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALM
 
Adoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALMAdoption incrémentale des tests dans VS ALM
Adoption incrémentale des tests dans VS ALM
 
Introduction à Power Apps et Microsoft Flow
Introduction à Power Apps et Microsoft FlowIntroduction à Power Apps et Microsoft Flow
Introduction à Power Apps et Microsoft Flow
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1
 

Plus de Isabelle Van Campenhoudt

From Excel hero to Power BI champion
From Excel hero to Power BI championFrom Excel hero to Power BI champion
From Excel hero to Power BI champion
Isabelle Van Campenhoudt
 
Excel patterns in Power BI: From Excel hero to Power BI Champion
Excel patterns in Power BI: From Excel hero to Power BI ChampionExcel patterns in Power BI: From Excel hero to Power BI Champion
Excel patterns in Power BI: From Excel hero to Power BI Champion
Isabelle Van Campenhoudt
 
Power BI Report Server & Office Online Server
Power BI Report Server & Office Online ServerPower BI Report Server & Office Online Server
Power BI Report Server & Office Online Server
Isabelle Van Campenhoudt
 
Retour d'expérience Power BI
Retour d'expérience Power BIRetour d'expérience Power BI
Retour d'expérience Power BI
Isabelle Van Campenhoudt
 
Espc17 make your share point fly by tuning and optimising sql server
Espc17 make your share point  fly by tuning and optimising sql serverEspc17 make your share point  fly by tuning and optimising sql server
Espc17 make your share point fly by tuning and optimising sql server
Isabelle Van Campenhoudt
 
Power Bi, le tour complet 2017
Power Bi, le tour complet 2017 Power Bi, le tour complet 2017
Power Bi, le tour complet 2017
Isabelle Van Campenhoudt
 
SQL azure database for DBA
SQL azure database for DBASQL azure database for DBA
SQL azure database for DBA
Isabelle Van Campenhoudt
 
Unbreakable Sharepoint 2016 With SQL Server 2016 availability groups
Unbreakable Sharepoint 2016 With SQL Server 2016 availability groupsUnbreakable Sharepoint 2016 With SQL Server 2016 availability groups
Unbreakable Sharepoint 2016 With SQL Server 2016 availability groups
Isabelle Van Campenhoudt
 
Ms Cloud Summit 2017 - Power Bi, le tour complet 2017
Ms Cloud Summit 2017 - Power Bi, le tour complet 2017Ms Cloud Summit 2017 - Power Bi, le tour complet 2017
Ms Cloud Summit 2017 - Power Bi, le tour complet 2017
Isabelle Van Campenhoudt
 
SQL 2016 Query Store: Et si mes queries m'étaient contées...
SQL 2016 Query Store: Et si mes queries m'étaient contées...SQL 2016 Query Store: Et si mes queries m'étaient contées...
SQL 2016 Query Store: Et si mes queries m'étaient contées...
Isabelle Van Campenhoudt
 
haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...
haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...
haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...
Isabelle Van Campenhoudt
 
Dat202 Techdays Paris 2015: PowerBI un an après
Dat202 Techdays Paris 2015: PowerBI un an aprèsDat202 Techdays Paris 2015: PowerBI un an après
Dat202 Techdays Paris 2015: PowerBI un an après
Isabelle Van Campenhoudt
 
Powerbi 365
Powerbi 365Powerbi 365
Cycle Power BI Part1
Cycle Power BI Part1Cycle Power BI Part1
Cycle Power BI Part1
Isabelle Van Campenhoudt
 
Tuning Sql Server for SharePoint--- Community Day Belgium 2013
Tuning Sql Server for SharePoint--- Community Day Belgium 2013Tuning Sql Server for SharePoint--- Community Day Belgium 2013
Tuning Sql Server for SharePoint--- Community Day Belgium 2013
Isabelle Van Campenhoudt
 

Plus de Isabelle Van Campenhoudt (15)

From Excel hero to Power BI champion
From Excel hero to Power BI championFrom Excel hero to Power BI champion
From Excel hero to Power BI champion
 
Excel patterns in Power BI: From Excel hero to Power BI Champion
Excel patterns in Power BI: From Excel hero to Power BI ChampionExcel patterns in Power BI: From Excel hero to Power BI Champion
Excel patterns in Power BI: From Excel hero to Power BI Champion
 
Power BI Report Server & Office Online Server
Power BI Report Server & Office Online ServerPower BI Report Server & Office Online Server
Power BI Report Server & Office Online Server
 
Retour d'expérience Power BI
Retour d'expérience Power BIRetour d'expérience Power BI
Retour d'expérience Power BI
 
Espc17 make your share point fly by tuning and optimising sql server
Espc17 make your share point  fly by tuning and optimising sql serverEspc17 make your share point  fly by tuning and optimising sql server
Espc17 make your share point fly by tuning and optimising sql server
 
Power Bi, le tour complet 2017
Power Bi, le tour complet 2017 Power Bi, le tour complet 2017
Power Bi, le tour complet 2017
 
SQL azure database for DBA
SQL azure database for DBASQL azure database for DBA
SQL azure database for DBA
 
Unbreakable Sharepoint 2016 With SQL Server 2016 availability groups
Unbreakable Sharepoint 2016 With SQL Server 2016 availability groupsUnbreakable Sharepoint 2016 With SQL Server 2016 availability groups
Unbreakable Sharepoint 2016 With SQL Server 2016 availability groups
 
Ms Cloud Summit 2017 - Power Bi, le tour complet 2017
Ms Cloud Summit 2017 - Power Bi, le tour complet 2017Ms Cloud Summit 2017 - Power Bi, le tour complet 2017
Ms Cloud Summit 2017 - Power Bi, le tour complet 2017
 
SQL 2016 Query Store: Et si mes queries m'étaient contées...
SQL 2016 Query Store: Et si mes queries m'étaient contées...SQL 2016 Query Store: Et si mes queries m'étaient contées...
SQL 2016 Query Store: Et si mes queries m'étaient contées...
 
haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...
haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...
haute Disponibilité et reprise sur incident dans SharePoint avec groupes de d...
 
Dat202 Techdays Paris 2015: PowerBI un an après
Dat202 Techdays Paris 2015: PowerBI un an aprèsDat202 Techdays Paris 2015: PowerBI un an après
Dat202 Techdays Paris 2015: PowerBI un an après
 
Powerbi 365
Powerbi 365Powerbi 365
Powerbi 365
 
Cycle Power BI Part1
Cycle Power BI Part1Cycle Power BI Part1
Cycle Power BI Part1
 
Tuning Sql Server for SharePoint--- Community Day Belgium 2013
Tuning Sql Server for SharePoint--- Community Day Belgium 2013Tuning Sql Server for SharePoint--- Community Day Belgium 2013
Tuning Sql Server for SharePoint--- Community Day Belgium 2013
 

Azure Data Factory-Rebuild 2017

  • 1. Azure Data Factory Le plombier, l’usine et l’orchestre Isabelle Van Campenhoudt
  • 2. Qui suis-je SQL Server MVP, Brussels Consultant, speaker, trainer, GUSS Board Member, PASS V-Chapter Leader Managing partner de www.ShareQL.com SQL Server since 1999 Blog: http://thesqlgrrrl.wordpress.com/ ivc@ShareQL.com @thesqlgrrrl Isabelle Van Campenhoudt
  • 3. Agenda • Introduction • Les Concepts • Les Outils • Plannification & Monitoring • Pour aller plus loin • Conclusions
  • 7. Data Factory Quoi ? Où ?Comment?
  • 8. Scenarios https://customers.microsoft.com/en-us/story/tacomapublicschoolsstory using data to predict which students were at risk of not completing their education. be able to change traditional perceptions about the reasons for students’ struggles, by identifying other indicators that contribute to students’ tendencies to drop out. “
  • 12. Demos Create a pipeline to copy data inside the Portal
  • 13. Pipelines Le pipeline est un ensemble d’activités reliées logiquement.
  • 14. Datasets Les sources de données prises en charge et les types de jeux de données sont alignés
  • 15. Activities Les activités définissent les actions à effectuer sur les données. Chaque activité accepte ou non des jeux de données en tant qu'entrées et produit au moins un jeu de données en tant que sortie. Mouvement Transformation
  • 17. Activities: Transformation Activités de transformation des données Environnement de calcul Hive HDInsight [Hadoop] Pig HDInsight [Hadoop] MapReduce HDInsight [Hadoop] Diffusion en continu Hadoop HDInsight [Hadoop] Spark HDInsight [Hadoop] Activités Machine Learning : exécution de lot et mise à jour de ressource Microsoft Azure Procédure stockée SQL Azure, Azure SQL Data Warehouse ou SQL Server Langage U-SQL du service Analytique Data Lake Service Analytique Azure Data Lake DotNet HDInsight [Hadoop] ou Azure Batch
  • 18. Linked Services Cluster HDInsight à la demande ou votre propre cluster HDInsight DotNet, Hive, Pig, MapReduce, Diffusion en continu Hadoop Azure Batch DotNet Azure Machine Learning Activités Machine Learning : exécution de lot et mise à jour de ressource Service Analytique Azure Data Lake Langage U-SQL du service Analytique Data Lake Azure SQL, Azure SQL Data Warehouse, SQL Server Procédure stockée
  • 20. Les Outils portail Azure Visual Studio Microsoft Azure PowerShell kit de développement logiciel (SDK) .NET Utilisation d’un modèle Azure Resource Manager Utilisation de l'API REST
  • 23. Slices, execution & monitoring
  • 25. Demos Create a pipeline to transform Data from Visual Studio
  • 29. Tarification La fréquence des activités (élevée ou faible). L’emplacement d’exécution des activités Si un pipeline est actif ou non. Si vous réexécutez une activité.
  • 31. Agenda 8h30 9H00 8h30 9H00 9H00 10h00 9H00 10h00 Salles Amphitéâtre Moines Batz Bréhat Groix Houat Salles Les usages de la réalité mixte - Découverte d'Hololens DevOps & Docker : adopter les mêmes pratiques sous Windows et Linux Introduction au Xamarin .forms La Télémétrie des usages Office. Retour d'expérience. TypeScript 2.0, le futur de JavaScript et l'émergence des transpileurs sponsor platinium Fabrice BARBIN Michel ROUSSEAU Julien CORIOLAND Fabien DIBOT Julien VILLENEAU Fabrice BONNEVILLE Sebastien PERTUS sponsor platinium Table Ronde DSI : Machine learning, IA, robotique, transhumanisme : Préparez votre SI - Nouvelle version ! Accompagnez la transformation digitale de votre entreprise avec Office 365 La Power BI cela vous gagne Gestion de la mobilité avec EMS Simplifier le debug dans Visual Studio avec ozcode Le Cloud Data Management ou comment Sauvegarder, restaurer, gérer et sécuriser vos données où qu’elles se trouvent. Patrice TROUSSET / Aurélien PREVOT Sponsor ASI - Florian Zeller Gilles POMMIER Nicolas BONNE Matthieu VOISIN Guillaume COLLIC Sponsor Rubrik - Lionel Meoni & Dominique Fleury Comment Surface Hub et Skype For Business changent la collaboration IoT & Azure, le champs des possibles Comment allons nous communiquer avec nos clients demain ? Découvrez toute la puissance du centre de sécurité et de conformité d'Office 365 Une Full stack .net en open source (ASP.NET Core 1.0, Angular 2.0, PostgreSql) sous Linux et avec Docker, ça marche ! Hololens : let's dev (tout ce que le developpeur doit savoir pour developper avec hololens Sponsor Vidélio - Christophe Girardet Alex DANVY Alexis CONIA Yoan TOPENOT / Benoît JESTER Benjamin DUFOUR Miguel MATHE sponsor ultimate Comment Skype For Business, OneNote et Sway me permettent d'enrichir mes cours en tant qu'enseignant ! visio sur ipad et visio online oui c'est possible J'utilise quoi pour collaborer ? Teams, SharePoint, Yammer, Outlook, Groups, Skype ? DevOps avec PowerShell pour Office 365 et SharePoint Online : exploitez enfin le potentiel de votre tenant ! SharePoint 2016 et les nouveaux scenarii Hybrides sponsor ultimate Eudes Olivier ROBERT Michel LAPLANE Serge TREMBLAY Joelle RUELLE Gilles POMMIER Gokan OZCIFCI sponsor ultimate Vous n'êtes pas développeur ? Nous non plus. Votre première app powerapps en 30mn Azure Data Factory, le plombier, l'orchestre et l'usine Vos bases SQL Server au rayons X avec les Rapports SSMS Gouvernance Office 365 avec et sans PowerShell Les nouvelles architectures de Skype Entreprise sponsor ultimate Yoan TOPENOT Isabelle VAN CAMPENHOUDT Benjamin VESAN Gilles DUCASSOU Etienne BAILLY Franck ANNET Eudes Olivier ROBERT sponsor ultimate à la découverte de Microsoft ATA Sécuriser sa messagerie avec Office365 et Exchange Online Protection Les trends UX/UI 2017 Microservices REST sur Docker et DevOps : tout en production ! Découverte du nouvel outil de microsoft : Flow sponsor ultimate Seyfallah TAGREROUT Hakim TAOUSSI Michel ROUSSEAU Jean-Philippe GOUIGOUX Serge LUCA Sabrine CHOUK sponsor ultimate Votre solution hyperconvergrée avec Hyper-V SharePoint 2016 BI ou PowerBI v2 ? Le Cloud de Microsoft Azure et les applications mobiles multiplateformes : Un couple qui va transformer vos journées de travail ! OneNote Agile What's new pour développer un bot ! [TBC] sponsor ultimate Cédric GIRARD Serge LUCA / Isabelle VAN CAMPENHOUDT Chourouk HJAIJ Christophe LAIGLE Jean-Sébastien DUPUY Jonathan Le GUELLEC PROGRAMME ReBUILD - 27/04/2017 PLENIERE, Laurent MILTGEN / Kévin TRELOHAN, Communauté MS SESSION d'introduction, Patrice TROUSSET, DSI Microsoft France 10h15 11h00 10h15 11h00 Pause Pause Pause Repas 16h45 17h30 16h45 17h30 13h45 14h30 12h15 13h00 11h15 12h00 11h15 12h00 12h15 13h00 13h45 14h30 Pause Pause Pause 15h45 16h30 14h45 15h30 14h45 15h30 15h45 16h30
  • 32. Merci à nos sponsors