SlideShare une entreprise Scribd logo
1  sur  27
Télécharger pour lire hors ligne
SQLSaturday Paris 2015
All in one with Polybase
SQL Server 2016,
Azure SQL DataWarehouse,
…
SQLSaturday Paris 2015
Merci à nos sponsors…
SQLSaturday Paris 2015
Speakers
Romain Casteres
Microsoft PFE Data Platform
@PulsWeb
www.PulsWeb.fr
Arnaud Voisin
Consultant BI Data Platform
@ArnaudVoisinSQL
www.arnaudvoisin.blogspot.fr
SQLSaturday Paris 2015
Agenda
 Polybase
 Big Picture
 Apache SQOOP
 Cas d’usages
 Les outils & services autour de Polybase
 HDInsight
 Azure Blob Storage // HDFS
 APS : Appliance MPP
 Azure SQL DataWarehouse
 Polybase dans SQL Server 2016 CTP 2.x
 Démos : “ Analyse des comportements des automobilistes ” 
 Architecture, Installation, Configuration, Analyse
SQLSaturday Paris 2015
Les limites du DWH traditionnel
Data sources
ETL
Data warehouse
BI and analytics
Augmentation
du volume
de données
1
Real-time
Analysis
3
Non-relational data
De nouvelles sources
et types de données
2
Cloud data
4
SQLSaturday Paris 2015

Data sources Non-relational data
Le DataWarehouse moderne
SQLSaturday Paris 2015
Big Picture
SQLSaturday Paris 2015
Hybrid SQL & Hadoop solutions
(Microsoft PolyBase, Teradata
QueryGrid, IBM Big SQL etc.)
RDBMS HDFS
Les données proviennent des
deux mondes
Cheap and
scalable data
store
Cold Data
Load first,
schema later
Familiar SQL
interface
Decades of
research and
optimization
Hot Data
SQL Server
Polybase
SQL
Résultat
Pourquoi ?
Les réponses aux nouvelles questions
≠ Big Data
≠ Données relationnelles
SQLSaturday Paris 2015
Polybase vs SQOOP
 SQOOP :
 Transfert de données entre Hadoop et des SGBDR (SQL To Hadoop)
 Génération de Jobs Map Reduce
Export
Import
SQLSaturday Paris 2015
Cas d’usages
SQLSaturday Paris 2015
HDInsight
SQLSaturday Paris 2015
HDInsight : Le stockage
 Déconnexion des données et des
Compute Nodes
 Les données sont persistées même
après désallocation du cluster
 Plusieurs cluster Hadoop peuvent
utiliser le même set de données
HDFS WASB
 Système de fichier distribué et
extensible (scalable)
 Le stockage est attaché à son
Datanode
SQLSaturday Paris 2015
APS : Appliance MPP
APS
0TB 6PB
APS /
HDInsight
APS /
HDInsight
APS /
HDInsight
APS /
HDInsight
APS /
HDInsight
APS /
HDInsight
SQLSaturday Paris 2015
Polybase dans APS
 Permet d’accéder à un
cluster Hadoop interne ou
externe, ou à un conteneur
WASB
 Importer des données d’un
système EXTERNE grâce
au CTAS
Analytics
Platform
System
Hortonworks
(Windows, Linux),
Cloudera
Windows Azure
HDInsight
PolyBase
Microsoft
HDInsight
Select…
Result
set
SQLSaturday Paris 2015
SQL DataWarehouse
 Base de données distribuée dans Azure
 Scalable à la demande : Accroître, réduire ou interrompre les
ressources de calcul (DWU)
 Traitement MPP en mode PaaS basé sur APS
 Possibilité de connecter SQL DataWarehouse avec les système On-
Premise
HDINSIGHT
Stockage données
SQL Server
Exploitation &
Analyse
Azure DW
Traitement &
agrégation
SQLSaturday Paris 2015
Polybase dans SQL Server 2016ExternalTable
External Datasource
External File Format
Headnode
Azure Blob Storage (WASB)
Supportes différents format et compression :
• CSV
• ORC
• RC FILE
Azure Blob
Storage (WASB)
Ressource
Manager
Compute/D
ata Node
1
Compute/D
ata Node
Compute/D
ata Node
Cluster Hadoop
2
3
Moteur SQL 16
Jobs
map/reduce
Gestion de
rejets
SQLSaturday Paris 2015
Notre scénario : « Pay-How-You-Drive »
Une assurance ajustée
selon votre utilisation !
SQLSaturday Paris 2015
Architecture 1 – Polybase & WASB
SQLSaturday Paris 2015
Installation & Configuration
Prérequis :
• 64-bit SQL Server Evaluation edition
• Microsoft .NET Framework 4.0.
• Oracle Java SE RunTime Environment (JRE)
• Minimum memory: 4GB
• Minimum hard disk space: 2GB
Dans l’onglet de configuration du serveur, le
service Polybase Engine et Polybase Data
Movement doivent s’exécuter avec le même
compte.
A noter 3 bases sont installées :
DWConfiguration, DWDiagnostics, DWQueue
Fichier de configuration : C:Program FilesMicrosoft SQL ServerMSSQL13.MSSQLSERVERMSSQLBinnPolybase
SQLSaturday Paris 2015
Démo Architecture WASB
SQLSaturday Paris 2015
Architecture 2 – Polybase & SQL DHW
Envoie toutes les
minutes des
évènements
Hadoop
Azure SQL Data
Warehouse
Power BI
WASB
PolyBase
Queries
SQLSaturday Paris 2015
Démo Architecture SQL DWH
SQLSaturday Paris 2015
Exemple de Rapport
SQLSaturday Paris 2015
Limites & Evolutions : CTP3, …
CTP2
CTP3
Export de données relationnelles vers Hadoop ou Wasbs à
des fins d’archivage
Architecture Scale-out : Configuration de cluster d’instance
pour attaquer une source Hadoop ou Azure Blob Storage.
De nouveaux formats pris en charge : Parquet, Avro ?
SQLSaturday Paris 2015
Merci !
SQLSaturday Paris 2015
Merci à nos volontaires…
SQLSaturday Paris 2015
…Et en plus on peut gagner des cadeaux
http://GUSS.pro/sqlsat

Contenu connexe

Tendances

Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...DataStax
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataMicrosoft
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0Jean-Pierre Riehl
 
Datalake de l'idée à la plateforme
Datalake de l'idée à la plateformeDatalake de l'idée à la plateforme
Datalake de l'idée à la plateformeNovencia Groupe
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Jean-Pierre Riehl
 
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...MS Cloud Summit
 
04 big data fournisseurs
04 big data fournisseurs04 big data fournisseurs
04 big data fournisseursPatrick Bury
 
Jss 2015 - Microsoft Stream analytics
Jss 2015 -  Microsoft Stream analyticsJss 2015 -  Microsoft Stream analytics
Jss 2015 - Microsoft Stream analyticsGeorges Damien
 
Zenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_mlZenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_mlZenika
 
Delta lake - des data lake fiables a grande échelle
Delta lake - des data lake fiables a grande échelleDelta lake - des data lake fiables a grande échelle
Delta lake - des data lake fiables a grande échellefrançois de Buttet
 
HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlusModern Data Stack France
 
BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData, Inc.
 
Event: Petit-déjeuner MongoDB France
Event: Petit-déjeuner MongoDB FranceEvent: Petit-déjeuner MongoDB France
Event: Petit-déjeuner MongoDB FranceMongoDB
 
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...Jean-Michel Franco
 
SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …
SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …
SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …GUSS
 
SQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsightSQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsightRomain Casteres
 

Tendances (20)

Azure Data Factory-Rebuild 2017
Azure Data Factory-Rebuild 2017 Azure Data Factory-Rebuild 2017
Azure Data Factory-Rebuild 2017
 
DataStax Enterprise - Cas d'usage
DataStax Enterprise - Cas d'usageDataStax Enterprise - Cas d'usage
DataStax Enterprise - Cas d'usage
 
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
Comment M6 personnalise l’expérience utilisateur du service 6Play avec DataSt...
 
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big DataAzure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
Azure Camp 9 Décembre 2014 - slides session développeurs IOT Big Data
 
Aws vs azure
Aws vs azureAws vs azure
Aws vs azure
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
 
Datalake de l'idée à la plateforme
Datalake de l'idée à la plateformeDatalake de l'idée à la plateforme
Datalake de l'idée à la plateforme
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?
 
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
 
04 big data fournisseurs
04 big data fournisseurs04 big data fournisseurs
04 big data fournisseurs
 
Jss 2015 - Microsoft Stream analytics
Jss 2015 -  Microsoft Stream analyticsJss 2015 -  Microsoft Stream analytics
Jss 2015 - Microsoft Stream analytics
 
Zenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_mlZenika matinale spark-zeppelin_ml
Zenika matinale spark-zeppelin_ml
 
Delta lake - des data lake fiables a grande échelle
Delta lake - des data lake fiables a grande échelleDelta lake - des data lake fiables a grande échelle
Delta lake - des data lake fiables a grande échelle
 
HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlus
 
BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)BlueData EPIC datasheet (en Français)
BlueData EPIC datasheet (en Français)
 
Event: Petit-déjeuner MongoDB France
Event: Petit-déjeuner MongoDB FranceEvent: Petit-déjeuner MongoDB France
Event: Petit-déjeuner MongoDB France
 
Soutenance ysance
Soutenance ysanceSoutenance ysance
Soutenance ysance
 
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et...
 
SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …
SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …
SQLSaturday Paris 2014 - HDInsight : Cas d’usages, Hive, Sqoop, Pig, …
 
SQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsightSQL Saturday 323 Paris 2014 - HDInsight
SQL Saturday 323 Paris 2014 - HDInsight
 

En vedette

SQL Server 2016 SSRS and BI
SQL Server 2016 SSRS and BISQL Server 2016 SSRS and BI
SQL Server 2016 SSRS and BIMSDEVMTL
 
Get started with Microsoft SQL Polybase
Get started with Microsoft SQL PolybaseGet started with Microsoft SQL Polybase
Get started with Microsoft SQL PolybaseHenk van der Valk
 
Big Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stack
Big Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stackBig Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stack
Big Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stackAndrew Brust
 
What's New in SQL Server 2016 for BI
What's New in SQL Server 2016 for BIWhat's New in SQL Server 2016 for BI
What's New in SQL Server 2016 for BITeo Lachev
 
AnalyticsConf : Azure SQL Data Warehouse
AnalyticsConf : Azure SQL Data WarehouseAnalyticsConf : Azure SQL Data Warehouse
AnalyticsConf : Azure SQL Data WarehouseWlodek Bielski
 
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...ITCamp
 
What Comes After The Star Schema? Dimensional Modeling For Enterprise Data Hubs
What Comes After The Star Schema? Dimensional Modeling For Enterprise Data HubsWhat Comes After The Star Schema? Dimensional Modeling For Enterprise Data Hubs
What Comes After The Star Schema? Dimensional Modeling For Enterprise Data HubsCloudera, Inc.
 
Big Data Analytics with Hadoop, MongoDB and SQL Server
Big Data Analytics with Hadoop, MongoDB and SQL ServerBig Data Analytics with Hadoop, MongoDB and SQL Server
Big Data Analytics with Hadoop, MongoDB and SQL ServerMark Kromer
 
A Reference Architecture for ETL 2.0
A Reference Architecture for ETL 2.0 A Reference Architecture for ETL 2.0
A Reference Architecture for ETL 2.0 DataWorks Summit
 
SQL Azure Data Warehouse - Silviu Niculita
SQL Azure Data Warehouse - Silviu NiculitaSQL Azure Data Warehouse - Silviu Niculita
SQL Azure Data Warehouse - Silviu NiculitaITCamp
 
Hadoop and Enterprise Data Warehouse
Hadoop and Enterprise Data WarehouseHadoop and Enterprise Data Warehouse
Hadoop and Enterprise Data WarehouseDataWorks Summit
 
Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!
Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!
Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!Caserta
 
Microsoft Azure - SQL Data Warehouse
Microsoft Azure - SQL Data WarehouseMicrosoft Azure - SQL Data Warehouse
Microsoft Azure - SQL Data WarehouseMicrosoft
 
Introducing Azure SQL Data Warehouse
Introducing Azure SQL Data WarehouseIntroducing Azure SQL Data Warehouse
Introducing Azure SQL Data WarehouseJames Serra
 
The Top 8 Trends for Big Data in 2016
The Top 8 Trends for Big Data in 2016The Top 8 Trends for Big Data in 2016
The Top 8 Trends for Big Data in 2016Tableau Software
 
Introducing Azure SQL Database
Introducing Azure SQL DatabaseIntroducing Azure SQL Database
Introducing Azure SQL DatabaseJames Serra
 
Introduction to PolyBase
Introduction to PolyBaseIntroduction to PolyBase
Introduction to PolyBaseJames Serra
 
Big Data Landscape 2016
Big Data Landscape 2016 Big Data Landscape 2016
Big Data Landscape 2016 Matt Turck
 
Big data landscape v 3.0 - Matt Turck (FirstMark)
Big data landscape v 3.0 - Matt Turck (FirstMark) Big data landscape v 3.0 - Matt Turck (FirstMark)
Big data landscape v 3.0 - Matt Turck (FirstMark) Matt Turck
 
The Rise of the CDO in Today's Enterprise
The Rise of the CDO in Today's EnterpriseThe Rise of the CDO in Today's Enterprise
The Rise of the CDO in Today's EnterpriseCaserta
 

En vedette (20)

SQL Server 2016 SSRS and BI
SQL Server 2016 SSRS and BISQL Server 2016 SSRS and BI
SQL Server 2016 SSRS and BI
 
Get started with Microsoft SQL Polybase
Get started with Microsoft SQL PolybaseGet started with Microsoft SQL Polybase
Get started with Microsoft SQL Polybase
 
Big Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stack
Big Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stackBig Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stack
Big Data on the Microsoft Platform - With Hadoop, MS BI and the SQL Server stack
 
What's New in SQL Server 2016 for BI
What's New in SQL Server 2016 for BIWhat's New in SQL Server 2016 for BI
What's New in SQL Server 2016 for BI
 
AnalyticsConf : Azure SQL Data Warehouse
AnalyticsConf : Azure SQL Data WarehouseAnalyticsConf : Azure SQL Data Warehouse
AnalyticsConf : Azure SQL Data Warehouse
 
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...
 
What Comes After The Star Schema? Dimensional Modeling For Enterprise Data Hubs
What Comes After The Star Schema? Dimensional Modeling For Enterprise Data HubsWhat Comes After The Star Schema? Dimensional Modeling For Enterprise Data Hubs
What Comes After The Star Schema? Dimensional Modeling For Enterprise Data Hubs
 
Big Data Analytics with Hadoop, MongoDB and SQL Server
Big Data Analytics with Hadoop, MongoDB and SQL ServerBig Data Analytics with Hadoop, MongoDB and SQL Server
Big Data Analytics with Hadoop, MongoDB and SQL Server
 
A Reference Architecture for ETL 2.0
A Reference Architecture for ETL 2.0 A Reference Architecture for ETL 2.0
A Reference Architecture for ETL 2.0
 
SQL Azure Data Warehouse - Silviu Niculita
SQL Azure Data Warehouse - Silviu NiculitaSQL Azure Data Warehouse - Silviu Niculita
SQL Azure Data Warehouse - Silviu Niculita
 
Hadoop and Enterprise Data Warehouse
Hadoop and Enterprise Data WarehouseHadoop and Enterprise Data Warehouse
Hadoop and Enterprise Data Warehouse
 
Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!
Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!
Big Data Warehousing Meetup: Dimensional Modeling Still Matters!!!
 
Microsoft Azure - SQL Data Warehouse
Microsoft Azure - SQL Data WarehouseMicrosoft Azure - SQL Data Warehouse
Microsoft Azure - SQL Data Warehouse
 
Introducing Azure SQL Data Warehouse
Introducing Azure SQL Data WarehouseIntroducing Azure SQL Data Warehouse
Introducing Azure SQL Data Warehouse
 
The Top 8 Trends for Big Data in 2016
The Top 8 Trends for Big Data in 2016The Top 8 Trends for Big Data in 2016
The Top 8 Trends for Big Data in 2016
 
Introducing Azure SQL Database
Introducing Azure SQL DatabaseIntroducing Azure SQL Database
Introducing Azure SQL Database
 
Introduction to PolyBase
Introduction to PolyBaseIntroduction to PolyBase
Introduction to PolyBase
 
Big Data Landscape 2016
Big Data Landscape 2016 Big Data Landscape 2016
Big Data Landscape 2016
 
Big data landscape v 3.0 - Matt Turck (FirstMark)
Big data landscape v 3.0 - Matt Turck (FirstMark) Big data landscape v 3.0 - Matt Turck (FirstMark)
Big data landscape v 3.0 - Matt Turck (FirstMark)
 
The Rise of the CDO in Today's Enterprise
The Rise of the CDO in Today's EnterpriseThe Rise of the CDO in Today's Enterprise
The Rise of the CDO in Today's Enterprise
 

Similaire à SQL Saturday Paris 2015 - Polybase

Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics Marius Zaharia
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1GUSS
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobreGeoffrey Felix
 
SQLSaturday Paris 2014 - Bien choisir sa plate-forme de données
SQLSaturday Paris 2014 - Bien choisir sa plate-forme de donnéesSQLSaturday Paris 2014 - Bien choisir sa plate-forme de données
SQLSaturday Paris 2014 - Bien choisir sa plate-forme de donnéesGUSS
 
Eclipse day paris
Eclipse day parisEclipse day paris
Eclipse day parisLeTesteur
 
Big Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceBig Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceRomain Casteres
 
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?GUSS
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Jean-Pierre Riehl
 
SPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données localesSPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données localesNicolas Georgeault
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
 
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...GUSS
 
Panorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data PlatformPanorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data PlatformPhilippe Geiger
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM France Lab
 
TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...
TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...
TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...Patrick Guimonet
 
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013serge luca
 
Groupe Excel + Power BI: Microsoft Flow
Groupe Excel + Power BI: Microsoft FlowGroupe Excel + Power BI: Microsoft Flow
Groupe Excel + Power BI: Microsoft FlowMSDEVMTL
 
Powerbi days 20fev 2020 session Mohamed Amar Athie PowerBi Gateway
Powerbi days 20fev 2020 session Mohamed Amar Athie PowerBi GatewayPowerbi days 20fev 2020 session Mohamed Amar Athie PowerBi Gateway
Powerbi days 20fev 2020 session Mohamed Amar Athie PowerBi GatewayMohamed Amar ATHIE
 
SharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days CasablancaSharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days CasablancaPatrick Guimonet
 

Similaire à SQL Saturday Paris 2015 - Polybase (20)

Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
Sql Saturday Paris 2016 - De StreamInsight à Azure Stream Analytics
 
Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1Journées SQL Server 2014 - Keynote Jour 1
Journées SQL Server 2014 - Keynote Jour 1
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobre
 
SQLSaturday Paris 2014 - Bien choisir sa plate-forme de données
SQLSaturday Paris 2014 - Bien choisir sa plate-forme de donnéesSQLSaturday Paris 2014 - Bien choisir sa plate-forme de données
SQLSaturday Paris 2014 - Bien choisir sa plate-forme de données
 
Eclipse day paris
Eclipse day parisEclipse day paris
Eclipse day paris
 
Big Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceBig Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérience
 
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
JSS2014 – Cloud et BI, quelle architecture pour 2014 ?
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?
 
SPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données localesSPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données locales
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
 
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...
 
Panorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data PlatformPanorama de l'écosystème Microsoft Data Platform
Panorama de l'écosystème Microsoft Data Platform
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
 
TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...
TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...
TechDays 2011 - VIR302 virtualiser vos applications métiers critiques sous hy...
 
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
Ce que tout DBA doit savoir sur SQL Server et SharePoint 2013
 
Azure et e commerce
Azure et e commerceAzure et e commerce
Azure et e commerce
 
Présentation de SQL Azure
Présentation de SQL AzurePrésentation de SQL Azure
Présentation de SQL Azure
 
Groupe Excel + Power BI: Microsoft Flow
Groupe Excel + Power BI: Microsoft FlowGroupe Excel + Power BI: Microsoft Flow
Groupe Excel + Power BI: Microsoft Flow
 
Powerbi days 20fev 2020 session Mohamed Amar Athie PowerBi Gateway
Powerbi days 20fev 2020 session Mohamed Amar Athie PowerBi GatewayPowerbi days 20fev 2020 session Mohamed Amar Athie PowerBi Gateway
Powerbi days 20fev 2020 session Mohamed Amar Athie PowerBi Gateway
 
SharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days CasablancaSharePoint et Azure premiers pas - SharePoint Days Casablanca
SharePoint et Azure premiers pas - SharePoint Days Casablanca
 

Plus de Romain Casteres

DEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptxDEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptxRomain Casteres
 
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteSQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteRomain Casteres
 
Techdays2015 big data-realtime
Techdays2015 big data-realtimeTechdays2015 big data-realtime
Techdays2015 big data-realtimeRomain Casteres
 
Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014Romain Casteres
 
Big data démystifié td2014
Big data démystifié td2014Big data démystifié td2014
Big data démystifié td2014Romain Casteres
 

Plus de Romain Casteres (6)

DEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptxDEMO 1 – Power BI Deployment Pipelines.pptx
DEMO 1 – Power BI Deployment Pipelines.pptx
 
Data Companies
Data CompaniesData Companies
Data Companies
 
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteSQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
 
Techdays2015 big data-realtime
Techdays2015 big data-realtimeTechdays2015 big data-realtime
Techdays2015 big data-realtime
 
Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014
 
Big data démystifié td2014
Big data démystifié td2014Big data démystifié td2014
Big data démystifié td2014
 

SQL Saturday Paris 2015 - Polybase

  • 1. SQLSaturday Paris 2015 All in one with Polybase SQL Server 2016, Azure SQL DataWarehouse, …
  • 2. SQLSaturday Paris 2015 Merci à nos sponsors…
  • 3. SQLSaturday Paris 2015 Speakers Romain Casteres Microsoft PFE Data Platform @PulsWeb www.PulsWeb.fr Arnaud Voisin Consultant BI Data Platform @ArnaudVoisinSQL www.arnaudvoisin.blogspot.fr
  • 4. SQLSaturday Paris 2015 Agenda  Polybase  Big Picture  Apache SQOOP  Cas d’usages  Les outils & services autour de Polybase  HDInsight  Azure Blob Storage // HDFS  APS : Appliance MPP  Azure SQL DataWarehouse  Polybase dans SQL Server 2016 CTP 2.x  Démos : “ Analyse des comportements des automobilistes ”   Architecture, Installation, Configuration, Analyse
  • 5. SQLSaturday Paris 2015 Les limites du DWH traditionnel Data sources ETL Data warehouse BI and analytics Augmentation du volume de données 1 Real-time Analysis 3 Non-relational data De nouvelles sources et types de données 2 Cloud data 4
  • 6. SQLSaturday Paris 2015  Data sources Non-relational data Le DataWarehouse moderne
  • 8. SQLSaturday Paris 2015 Hybrid SQL & Hadoop solutions (Microsoft PolyBase, Teradata QueryGrid, IBM Big SQL etc.) RDBMS HDFS Les données proviennent des deux mondes Cheap and scalable data store Cold Data Load first, schema later Familiar SQL interface Decades of research and optimization Hot Data SQL Server Polybase SQL Résultat Pourquoi ? Les réponses aux nouvelles questions ≠ Big Data ≠ Données relationnelles
  • 9. SQLSaturday Paris 2015 Polybase vs SQOOP  SQOOP :  Transfert de données entre Hadoop et des SGBDR (SQL To Hadoop)  Génération de Jobs Map Reduce Export Import
  • 12. SQLSaturday Paris 2015 HDInsight : Le stockage  Déconnexion des données et des Compute Nodes  Les données sont persistées même après désallocation du cluster  Plusieurs cluster Hadoop peuvent utiliser le même set de données HDFS WASB  Système de fichier distribué et extensible (scalable)  Le stockage est attaché à son Datanode
  • 13. SQLSaturday Paris 2015 APS : Appliance MPP APS 0TB 6PB APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight APS / HDInsight
  • 14. SQLSaturday Paris 2015 Polybase dans APS  Permet d’accéder à un cluster Hadoop interne ou externe, ou à un conteneur WASB  Importer des données d’un système EXTERNE grâce au CTAS Analytics Platform System Hortonworks (Windows, Linux), Cloudera Windows Azure HDInsight PolyBase Microsoft HDInsight Select… Result set
  • 15. SQLSaturday Paris 2015 SQL DataWarehouse  Base de données distribuée dans Azure  Scalable à la demande : Accroître, réduire ou interrompre les ressources de calcul (DWU)  Traitement MPP en mode PaaS basé sur APS  Possibilité de connecter SQL DataWarehouse avec les système On- Premise HDINSIGHT Stockage données SQL Server Exploitation & Analyse Azure DW Traitement & agrégation
  • 16. SQLSaturday Paris 2015 Polybase dans SQL Server 2016ExternalTable External Datasource External File Format Headnode Azure Blob Storage (WASB) Supportes différents format et compression : • CSV • ORC • RC FILE Azure Blob Storage (WASB) Ressource Manager Compute/D ata Node 1 Compute/D ata Node Compute/D ata Node Cluster Hadoop 2 3 Moteur SQL 16 Jobs map/reduce Gestion de rejets
  • 17. SQLSaturday Paris 2015 Notre scénario : « Pay-How-You-Drive » Une assurance ajustée selon votre utilisation !
  • 18. SQLSaturday Paris 2015 Architecture 1 – Polybase & WASB
  • 19. SQLSaturday Paris 2015 Installation & Configuration Prérequis : • 64-bit SQL Server Evaluation edition • Microsoft .NET Framework 4.0. • Oracle Java SE RunTime Environment (JRE) • Minimum memory: 4GB • Minimum hard disk space: 2GB Dans l’onglet de configuration du serveur, le service Polybase Engine et Polybase Data Movement doivent s’exécuter avec le même compte. A noter 3 bases sont installées : DWConfiguration, DWDiagnostics, DWQueue Fichier de configuration : C:Program FilesMicrosoft SQL ServerMSSQL13.MSSQLSERVERMSSQLBinnPolybase
  • 20. SQLSaturday Paris 2015 Démo Architecture WASB
  • 21. SQLSaturday Paris 2015 Architecture 2 – Polybase & SQL DHW Envoie toutes les minutes des évènements Hadoop Azure SQL Data Warehouse Power BI WASB PolyBase Queries
  • 22. SQLSaturday Paris 2015 Démo Architecture SQL DWH
  • 24. SQLSaturday Paris 2015 Limites & Evolutions : CTP3, … CTP2 CTP3 Export de données relationnelles vers Hadoop ou Wasbs à des fins d’archivage Architecture Scale-out : Configuration de cluster d’instance pour attaquer une source Hadoop ou Azure Blob Storage. De nouveaux formats pris en charge : Parquet, Avro ?
  • 26. SQLSaturday Paris 2015 Merci à nos volontaires…
  • 27. SQLSaturday Paris 2015 …Et en plus on peut gagner des cadeaux http://GUSS.pro/sqlsat