SlideShare une entreprise Scribd logo
22 avril
2017
Loris Andaloro
La BI traditionnelle est une
histoire du passée ?
Impacts de la révolution Cloud Azure
sur la BI data en général
Ihor Leontiev
@LeontievIhor
blog.andaloro.fr
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
2
Meet the Team
@LeontievIhor
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
3
Sommaire
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
4
Par ou commencer ? Car les choix sont
importants
http://azureplatform.azurewebsites.net/en-us/
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
5
Approche pragmatique
Exploration des nouvelles possibilités d’azure
6
Approche pragmatique
Architectures onpremise connues
•Scénario Datawarehouse
•Scenario DataLake
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
7
“Think big, act small, fail fast. Learn
rapidly”ARCHITECTURE EMERGENTE
Elaboration
de la vision
d’avenir
agnostique
Différents
tests pour
l’acquisition
et le stockage
des données
Stabilisation
de
l’architecture
Mise au
propre
PoC
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
8
“Think big, act small, fail fast. Learn
rapidly”Classification des services
Integration Traitement Stockage Presentation
Nettoyage et aggregation
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
9
“Think big, act small, fail fast. Learn
rapidly”Classification des services
Enrichment and Curation
Integration Traitement Stockage Presentation
Event Hubs
IoT Hubs
Service Bus
Kafka
HDInsight
ADLA
Storm
Spark
Stream Analytics
ADLS
Azure Storage
Azure SQL DB
Azure SQL DW
ADLS
Azure DW
Azure SQL DB
Hbase
Cassandra
Azure Storage
Power BI
Azure Data Factory Azure ML
10
Répartitions MS des services dans les
architectures connues
https://blogs.technet.microsoft.com/cansql/2015/06/03/microsoft-data-platform-overview/
11Arbre de décisions
L’arbre de décision
de Ivan Kosyakov
Data Platform Technical Architect at Microsoft
12
Est-ce que la théorie fonctionne en pratique ?
https://pixabay.com/fr/l-homme-personne-visage-glasse-159771/
FocusDatawarehouse
14
Scenario ETL
Passons en revue quelques uns des services qui semblent utiles ou
nécessaires dans ce scenario
Azure SQL Database Power BIAzure Data Catalog
Azure Data FactoryAzure SQL Datawarehouse
15
Azure SQL Database
• Base de données
relationnelle cloud, propulsé
par Microsoft SQL Server
• Ne nécessite pas
d’infrastructure à manager
• Mise à l’échelle instantanée,
tailles jusqu’a 1TB
• Correspond parfaitement à
un usage entrepôt de
données simple
Azure SQL Database
16
Azure SQL Database
Azure SQL Database
Dynamic Data Masking
Transparent Data Encryption (TDE)
17
Azure SQL Database et ses alternatives
Par rapports aux autres services de stockage
Traitement transactionnel
Requêtes riches
Service managé
Mise à l’echelle
Accessible à travers internet http/rest
Modèle de données non relationnel
Souple concernant les formats de donnes
18
Azure SQL Database
0 50 100 150 200 250 300 350 400 450
Table Storage
DocumentDB
SQL DB
Table Storage DocumentDB SQL DB
Standard 0.11 7.13 12.67
Premium 21.08 392
Prix par mois sur la base de 10 GO de données
https://azure.microsoft.com/fr-fr/pricing/calculator/
19
Azure SQL Datawarehouse
App Service Azure SQL Database
Azure Machine Learning
Intelligent App
Hadoop
Azure SQL Data
Warehouse
Power BI
Datawarehouse(relationnel)-as-a-service
Scales to petabytes of data
Massively Parallel Processing
Instant-on compute scales in
seconds
Query Relational / Non-
Relational
20
Azure SQL Datawarehouse
http://www.jamesserra.com/archive/2016/08/azure-sql-database-vs-sql-data-warehouse/
21
Azure SQL Datawarehouse
0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 €
SQLDB
SQLDW
SQLDB SQLDW
6000 DWU 57,000 €
4000 DTU 13,495 €
100 DWU 1,062 €
10 DTU 13 €
Prix par mois sur la base de 100 Go
https://azure.microsoft.com/fr-fr/pricing/calculator/
22
Power BI
Power BI
23
Power BI
Modules et échanges
Power BI
24
Power BI
Gartner magic quadrant
Power BI
25
Azure Data Factory
Service cloud d’integration de données (ETL)
https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory
26
Limites ADF conduisant à SSIS
https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory
RETOUR D’EXPERIENCE ET DIFFICULTES
27
Azure Data Catalog
Moteur de
recherche axée
données
Enregistrement
des sources de
données centrales
Décisionnel libre-
service
Capturer les
connaissances
tribales
28
Azure Data Catalog
FocusDatalake
30
Scenario Datalake
Azure Data Lake service
 Store and manage infinite data
 Keep data in its original form
 High through put, low latency analytic
jobs
 Enterprise-grade security + access
control
Data Lake
Data Lake service
Transformative way to store and process infinite data
Other analytic
solutions SQL Data
Warehouse
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
32
34
Blob Storage Concepts
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
35
Azure Files
Shared Network File Storage for Azure
Availability, durability, scalability are managed
automatically
Supports two interfaces: SMB and REST
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
36Azure Files vs Blobs
Description Azure Blobs Azure Files
Durability
Options
LRS, ZRS, GRS (and RA-GRS for higher
availability)
LRS, GRS
Accessibility REST APIs
SMB 2.1 (standard file system APIs)
REST APIs
Connectivity REST – Worldwide
SMB 2.1 - Within region
REST – Worldwide
Endpoints
http://myaccount.blob.core.windows.net/my
container/myblob
myaccount.file.core.windows.netmysharemyfile.txt
http://myaccount.file.core.windows.net/myshare/myfile.txt
Directories
Flat namespace however prefix listing can
simulate virtual directories
True directory objects
Case Sensitivity of Names Case sensitive Case insensitive, but case preserving
Capacity Up to 500TB containers 5TB file shares
Throughput Up to 60 MB/s per blob Up to 60 MB/s per share
Object size Up to 1 TB/blob Up to 1 TB/file
Billed capacity Based on bytes written Based on file size
FocusBigdata
Data size
Access
Updates
Structure
Integrity
Scaling
Relational DB vs. Hadoop
Distributed Storage
(HDFS)
Query
(Hive)
Distributed Processing
(MapReduce)
ODBC
Legend
■ Core Hadoop
■ Data processing
■ Data Movement
■ Packages
Hadoop ecosystem
HDInsight and Hadoop
Hadoop Core +
Hive, Pig, HBase
C#, F#, .NET
Azure Storage (WASB)
Office 365 Power BI (Excel,
PowerQuery, PowerView,
BI Sites)
World's Data (Azure Data Marketplace)
ODBC
Sqoop for SQL
Server
PowerShell
Exemples d’architectures
43
Exemple 1
Azure Virtual Machine
Azure Blob Storage Azure SQL Database Power BI
Azure Data Catalog
Script Power Shell
Azure Storage Explorer
Dépôt manuel
FTP
API Azure Blob Storage
44
Exemple 2
Azure Virtual Machine
Azure SQL Database Power BI
Azure Data Catalog
Azure SQL Database
Azure Data Factory
Base de données
source
45
Exemple 3
Azure Web App (FTP)
Azure Data Factory
Azure Virtual Machine
Azure Table Storage Azure SQL Database Power BI
Azure Data Catalog
46
Exemple 4
47
Exemple 5
48
Exemple 6
49
Axes d’améliorations
• Remplacement SSIS par une solution PaaS
• Ajout de Master Services peut-être dans Data Catalog
• Véritable solution FTP
• Connecteur SSIS standard pour Table Storage
Conclusion
51
Vue d’ensemble
52
Vue d’ensemble
Avec les services Azure
SQL Database
SQL Datawarehouse
Datalake
Storage
SQL Server in an
IaaS VM
55
Conclusion
Subtitle
Q & A
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
56
Merci à nos sponsors
PLATINUM
LOCAUX
PARTENAIRES MEDIA
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
57
Sponsors internationaux
www.azug.fr
© 2017 AZUG FR. All Rights Reserved.
58
Nous suivre
Facebook
facebook.com/groups/azugfr
Twitter
twitter.com/AZUGFR
Meetup
meetup.com/AZUG-FR/
Web
www.azug.fr
Twitter
twitter.com/MugLyon
Web
https://muglyon.github.io
Meetup
meetup.com/MugLyon
Merci
d’être venus
A bientôt !

Contenu connexe

Tendances

CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
Capgemini
 
La blockchain au CES 2017 - Retours sur le Digital Money Forum
La blockchain au CES 2017 - Retours sur le Digital Money ForumLa blockchain au CES 2017 - Retours sur le Digital Money Forum
La blockchain au CES 2017 - Retours sur le Digital Money Forum
Vidal Chriqui
 
La Blockchain pas à PaaS
La Blockchain pas à PaaSLa Blockchain pas à PaaS
La Blockchain pas à PaaS
Microsoft
 
Chaînes d’approvisionnement et registres distribués
Chaînes d’approvisionnement et registres distribuésChaînes d’approvisionnement et registres distribués
Chaînes d’approvisionnement et registres distribués
Morgan Phuc
 
Tout savoir sur le #Bitcoin et la #BlockChain
Tout savoir sur le #Bitcoin et la #BlockChainTout savoir sur le #Bitcoin et la #BlockChain
Tout savoir sur le #Bitcoin et la #BlockChain
Vidal Chriqui
 
What's next for blockchain ? Matinée MEDEF du 27 juin 2016
What's next for blockchain ? Matinée MEDEF du 27 juin 2016What's next for blockchain ? Matinée MEDEF du 27 juin 2016
What's next for blockchain ? Matinée MEDEF du 27 juin 2016
Vidal Chriqui
 
Qu'est-ce que la blockchain ?
Qu'est-ce que la blockchain ?Qu'est-ce que la blockchain ?
Qu'est-ce que la blockchain ?
Jedha Bootcamp
 
Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016
Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016
Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016
Vidal Chriqui
 
Présentation de BlockChain Strategists
Présentation de BlockChain StrategistsPrésentation de BlockChain Strategists
Présentation de BlockChain Strategists
Eric Lévy-Bencheton
 
Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...
Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...
Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...
BlockChain Strategists
 
Blockchain Agora - The State of blockchain in December 2017
Blockchain Agora - The State of blockchain in December 2017Blockchain Agora - The State of blockchain in December 2017
Blockchain Agora - The State of blockchain in December 2017
Vidal Chriqui
 
Présentation blockchain v2
Présentation blockchain v2Présentation blockchain v2
Présentation blockchain v2
Amine HAMOUDA
 
Conférence AYHAM MADI ACSS 2018
Conférence AYHAM MADI ACSS 2018Conférence AYHAM MADI ACSS 2018
Conférence AYHAM MADI ACSS 2018
African Cyber Security Summit
 
CES 2017 wrap up - Touching the future
 CES 2017 wrap up - Touching the future  CES 2017 wrap up - Touching the future
CES 2017 wrap up - Touching the future
Vidal Chriqui
 
#AssurTech : BlockChain et assurance : des POC aux applications pratiques
#AssurTech : BlockChain et assurance : des POC aux applications pratiques#AssurTech : BlockChain et assurance : des POC aux applications pratiques
#AssurTech : BlockChain et assurance : des POC aux applications pratiques
Serrerom
 
La blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann Rouillard
La blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann RouillardLa blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann Rouillard
La blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann Rouillard
Benoît Lafontaine
 
Les grands principes de la Blockchain
Les grands principes de la BlockchainLes grands principes de la Blockchain
Les grands principes de la Blockchain
Alain EJZYN
 
Pourquoi la blockchain?
Pourquoi la blockchain?Pourquoi la blockchain?
Pourquoi la blockchain?
Sebastien Arbogast
 
Blockchain et droit
Blockchain et droitBlockchain et droit
Blockchain et droit
Simon Polrot
 
La Blockchain: la fin des tiers de confiance?
La Blockchain: la fin des tiers de confiance?La Blockchain: la fin des tiers de confiance?
La Blockchain: la fin des tiers de confiance?
Antoine Vigneron
 

Tendances (20)

CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
CWIN17 Morocco / -blockchain - the greatest invention after the internet-abde...
 
La blockchain au CES 2017 - Retours sur le Digital Money Forum
La blockchain au CES 2017 - Retours sur le Digital Money ForumLa blockchain au CES 2017 - Retours sur le Digital Money Forum
La blockchain au CES 2017 - Retours sur le Digital Money Forum
 
La Blockchain pas à PaaS
La Blockchain pas à PaaSLa Blockchain pas à PaaS
La Blockchain pas à PaaS
 
Chaînes d’approvisionnement et registres distribués
Chaînes d’approvisionnement et registres distribuésChaînes d’approvisionnement et registres distribués
Chaînes d’approvisionnement et registres distribués
 
Tout savoir sur le #Bitcoin et la #BlockChain
Tout savoir sur le #Bitcoin et la #BlockChainTout savoir sur le #Bitcoin et la #BlockChain
Tout savoir sur le #Bitcoin et la #BlockChain
 
What's next for blockchain ? Matinée MEDEF du 27 juin 2016
What's next for blockchain ? Matinée MEDEF du 27 juin 2016What's next for blockchain ? Matinée MEDEF du 27 juin 2016
What's next for blockchain ? Matinée MEDEF du 27 juin 2016
 
Qu'est-ce que la blockchain ?
Qu'est-ce que la blockchain ?Qu'est-ce que la blockchain ?
Qu'est-ce que la blockchain ?
 
Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016
Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016
Blockchain et Batiment - Petit-Déjeuner ICADE du 31 mars 2016
 
Présentation de BlockChain Strategists
Présentation de BlockChain StrategistsPrésentation de BlockChain Strategists
Présentation de BlockChain Strategists
 
Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...
Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...
Présentation de BlockChain Strategists, Cabinet de conseil en Stratégie & Org...
 
Blockchain Agora - The State of blockchain in December 2017
Blockchain Agora - The State of blockchain in December 2017Blockchain Agora - The State of blockchain in December 2017
Blockchain Agora - The State of blockchain in December 2017
 
Présentation blockchain v2
Présentation blockchain v2Présentation blockchain v2
Présentation blockchain v2
 
Conférence AYHAM MADI ACSS 2018
Conférence AYHAM MADI ACSS 2018Conférence AYHAM MADI ACSS 2018
Conférence AYHAM MADI ACSS 2018
 
CES 2017 wrap up - Touching the future
 CES 2017 wrap up - Touching the future  CES 2017 wrap up - Touching the future
CES 2017 wrap up - Touching the future
 
#AssurTech : BlockChain et assurance : des POC aux applications pratiques
#AssurTech : BlockChain et assurance : des POC aux applications pratiques#AssurTech : BlockChain et assurance : des POC aux applications pratiques
#AssurTech : BlockChain et assurance : des POC aux applications pratiques
 
La blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann Rouillard
La blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann RouillardLa blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann Rouillard
La blockchain en détail - Devoxxfr 2016 - Benoit Lafontaine - Yann Rouillard
 
Les grands principes de la Blockchain
Les grands principes de la BlockchainLes grands principes de la Blockchain
Les grands principes de la Blockchain
 
Pourquoi la blockchain?
Pourquoi la blockchain?Pourquoi la blockchain?
Pourquoi la blockchain?
 
Blockchain et droit
Blockchain et droitBlockchain et droit
Blockchain et droit
 
La Blockchain: la fin des tiers de confiance?
La Blockchain: la fin des tiers de confiance?La Blockchain: la fin des tiers de confiance?
La Blockchain: la fin des tiers de confiance?
 

Similaire à Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
Microsoft
 
Stockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le mondeStockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le monde
Microsoft Technet France
 
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
AZUG FR
 
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Jean-Pierre Riehl
 
SAS Forum Soft Computing Théâtre
SAS Forum Soft Computing ThéâtreSAS Forum Soft Computing Théâtre
SAS Forum Soft Computing Théâtre
Soft Computing
 
Power BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des DonnéesPower BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des Données
Jean-Pierre Riehl
 
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
MS Cloud Summit
 
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataPetit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Marc Bojoly
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?
Jean-Pierre Riehl
 
Valtech - Sharepoint et le cloud Azure
Valtech - Sharepoint et le cloud AzureValtech - Sharepoint et le cloud Azure
Valtech - Sharepoint et le cloud Azure
Valtech
 
Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018
Converteo
 
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévu
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévuAWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévu
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévu
Amazon Web Services
 
Présentation Big Data et REX Hadoop
Présentation Big Data et REX HadoopPrésentation Big Data et REX Hadoop
Présentation Big Data et REX Hadoop
Joseph Glorieux
 
Track 2 - Atelier 1 - Big data analytics présenté avec Intel
Track 2 - Atelier 1 - Big data analytics présenté avec IntelTrack 2 - Atelier 1 - Big data analytics présenté avec Intel
Track 2 - Atelier 1 - Big data analytics présenté avec Intel
Amazon Web Services
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmedia
Microsoft
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - Introduction
Blandine Larbret
 
Monter en charge, tester et surveiller avec une application Windows Azure : l...
Monter en charge, tester et surveiller avec une application Windows Azure : l...Monter en charge, tester et surveiller avec une application Windows Azure : l...
Monter en charge, tester et surveiller avec une application Windows Azure : l...
Microsoft Technet France
 
Morning with MongoDB Paris 2012 - Fast Connect
Morning with MongoDB Paris 2012 - Fast ConnectMorning with MongoDB Paris 2012 - Fast Connect
Morning with MongoDB Paris 2012 - Fast ConnectMongoDB
 
Big Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceBig Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérience
Romain Casteres
 
Big data: NoSQL comme solution
Big data: NoSQL comme solutionBig data: NoSQL comme solution
Big data: NoSQL comme solutionJEMLI Fathi
 

Similaire à Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro (20)

Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
Stockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le mondeStockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le monde
 
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...
 
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)
 
SAS Forum Soft Computing Théâtre
SAS Forum Soft Computing ThéâtreSAS Forum Soft Computing Théâtre
SAS Forum Soft Computing Théâtre
 
Power BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des DonnéesPower BI hybride - La Passerelle de Gestion des Données
Power BI hybride - La Passerelle de Gestion des Données
 
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...J1 T1 1 - Azure Data Platform, quelle solution pour quel usage  - Charles-Hen...
J1 T1 1 - Azure Data Platform, quelle solution pour quel usage - Charles-Hen...
 
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataPetit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?
 
Valtech - Sharepoint et le cloud Azure
Valtech - Sharepoint et le cloud AzureValtech - Sharepoint et le cloud Azure
Valtech - Sharepoint et le cloud Azure
 
Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018Livre blanc data-lakes converteo 2018
Livre blanc data-lakes converteo 2018
 
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévu
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévuAWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévu
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévu
 
Présentation Big Data et REX Hadoop
Présentation Big Data et REX HadoopPrésentation Big Data et REX Hadoop
Présentation Big Data et REX Hadoop
 
Track 2 - Atelier 1 - Big data analytics présenté avec Intel
Track 2 - Atelier 1 - Big data analytics présenté avec IntelTrack 2 - Atelier 1 - Big data analytics présenté avec Intel
Track 2 - Atelier 1 - Big data analytics présenté avec Intel
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmedia
 
Hadoop Hbase - Introduction
Hadoop Hbase - IntroductionHadoop Hbase - Introduction
Hadoop Hbase - Introduction
 
Monter en charge, tester et surveiller avec une application Windows Azure : l...
Monter en charge, tester et surveiller avec une application Windows Azure : l...Monter en charge, tester et surveiller avec une application Windows Azure : l...
Monter en charge, tester et surveiller avec une application Windows Azure : l...
 
Morning with MongoDB Paris 2012 - Fast Connect
Morning with MongoDB Paris 2012 - Fast ConnectMorning with MongoDB Paris 2012 - Fast Connect
Morning with MongoDB Paris 2012 - Fast Connect
 
Big Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceBig Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérience
 
Big data: NoSQL comme solution
Big data: NoSQL comme solutionBig data: NoSQL comme solution
Big data: NoSQL comme solution
 

Plus de AZUG FR

I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)
AZUG FR
 
Packer, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec AzurePacker, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec Azure
AZUG FR
 
Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.
AZUG FR
 
Dev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans AzureDev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans Azure
AZUG FR
 
Azure DNS Privé
Azure DNS PrivéAzure DNS Privé
Azure DNS Privé
AZUG FR
 
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
AZUG FR
 
Cedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure DevopsCedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure Devops
AZUG FR
 
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
AZUG FR
 
Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)
AZUG FR
 
Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)
AZUG FR
 
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
AZUG FR
 
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
AZUG FR
 
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
AZUG FR
 
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
AZUG FR
 
Meetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ ArollaMeetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ Arolla
AZUG FR
 
Meetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ CellenzaMeetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ Cellenza
AZUG FR
 
Analysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive ServicesAnalysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive Services
AZUG FR
 
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric WeinbachGAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
AZUG FR
 
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
AZUG FR
 
GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...
GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...
GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...
AZUG FR
 

Plus de AZUG FR (20)

I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)I want my model to be deployed ! (another story of MLOps)
I want my model to be deployed ! (another story of MLOps)
 
Packer, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec AzurePacker, Terraform, Ansible avec Azure
Packer, Terraform, Ansible avec Azure
 
Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.Tester avant de déployer ; comment tester ses déploiements ARM.
Tester avant de déployer ; comment tester ses déploiements ARM.
 
Dev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans AzureDev & run d'un site marchant dans Azure
Dev & run d'un site marchant dans Azure
 
Azure DNS Privé
Azure DNS PrivéAzure DNS Privé
Azure DNS Privé
 
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019Meetup AZUG FR @ IdeaStudio - 5 Février 2019
Meetup AZUG FR @ IdeaStudio - 5 Février 2019
 
Cedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure DevopsCedric leblond migrer jenkins AWS vers Azure Devops
Cedric leblond migrer jenkins AWS vers Azure Devops
 
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)Ignite 2018 - Nouveautés governance et management (Manon Pernin)
Ignite 2018 - Nouveautés governance et management (Manon Pernin)
 
Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)Ignite 2018 - Nouveauté stockage (Didier Esteves)
Ignite 2018 - Nouveauté stockage (Didier Esteves)
 
Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)Ignite 2018 - Coups de coeur (Benoit Sautiere)
Ignite 2018 - Coups de coeur (Benoit Sautiere)
 
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
Ignite 2018 - nouveautés sécurité et réseau (Laurent Yin)
 
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
GAB 2018 PARIS - Enrichir vos applications avec Azure AI services par Houssem...
 
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data!  par Guillaume...
GAB 2018 PARIS - Mettez un peu de CI/CD dans vos projets data! par Guillaume...
 
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
GAB 2018 PARIS - Gouvernance Azure, comment éviter les écueils par Benoît Sau...
 
Meetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ ArollaMeetup AZUG FR Dec 2017 @ Arolla
Meetup AZUG FR Dec 2017 @ Arolla
 
Meetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ CellenzaMeetup AZUG FR Oct 2017 @ Cellenza
Meetup AZUG FR Oct 2017 @ Cellenza
 
Analysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive ServicesAnalysez vos textes avec Cognitive Services
Analysez vos textes avec Cognitive Services
 
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric WeinbachGAB 2017 PARIS - IoT Azure - Aymeric Weinbach
GAB 2017 PARIS - IoT Azure - Aymeric Weinbach
 
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
GAB 2017 PARIS - Tester la sécurité de vos annuaires Active Directory et Azur...
 
GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...
GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...
GAB 2017 PARIS - Le réseau dans Azure Cas d’usage et retours d’expériences pa...
 

Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro

  • 1. 22 avril 2017 Loris Andaloro La BI traditionnelle est une histoire du passée ? Impacts de la révolution Cloud Azure sur la BI data en général Ihor Leontiev @LeontievIhor blog.andaloro.fr
  • 2. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 2 Meet the Team @LeontievIhor
  • 3. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 3 Sommaire
  • 4. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 4 Par ou commencer ? Car les choix sont importants http://azureplatform.azurewebsites.net/en-us/
  • 5. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 5 Approche pragmatique Exploration des nouvelles possibilités d’azure
  • 6. 6 Approche pragmatique Architectures onpremise connues •Scénario Datawarehouse •Scenario DataLake
  • 7. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 7 “Think big, act small, fail fast. Learn rapidly”ARCHITECTURE EMERGENTE Elaboration de la vision d’avenir agnostique Différents tests pour l’acquisition et le stockage des données Stabilisation de l’architecture Mise au propre PoC
  • 8. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 8 “Think big, act small, fail fast. Learn rapidly”Classification des services Integration Traitement Stockage Presentation Nettoyage et aggregation
  • 9. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 9 “Think big, act small, fail fast. Learn rapidly”Classification des services Enrichment and Curation Integration Traitement Stockage Presentation Event Hubs IoT Hubs Service Bus Kafka HDInsight ADLA Storm Spark Stream Analytics ADLS Azure Storage Azure SQL DB Azure SQL DW ADLS Azure DW Azure SQL DB Hbase Cassandra Azure Storage Power BI Azure Data Factory Azure ML
  • 10. 10 Répartitions MS des services dans les architectures connues https://blogs.technet.microsoft.com/cansql/2015/06/03/microsoft-data-platform-overview/
  • 11. 11Arbre de décisions L’arbre de décision de Ivan Kosyakov Data Platform Technical Architect at Microsoft
  • 12. 12 Est-ce que la théorie fonctionne en pratique ? https://pixabay.com/fr/l-homme-personne-visage-glasse-159771/
  • 14. 14 Scenario ETL Passons en revue quelques uns des services qui semblent utiles ou nécessaires dans ce scenario Azure SQL Database Power BIAzure Data Catalog Azure Data FactoryAzure SQL Datawarehouse
  • 15. 15 Azure SQL Database • Base de données relationnelle cloud, propulsé par Microsoft SQL Server • Ne nécessite pas d’infrastructure à manager • Mise à l’échelle instantanée, tailles jusqu’a 1TB • Correspond parfaitement à un usage entrepôt de données simple Azure SQL Database
  • 16. 16 Azure SQL Database Azure SQL Database Dynamic Data Masking Transparent Data Encryption (TDE)
  • 17. 17 Azure SQL Database et ses alternatives Par rapports aux autres services de stockage Traitement transactionnel Requêtes riches Service managé Mise à l’echelle Accessible à travers internet http/rest Modèle de données non relationnel Souple concernant les formats de donnes
  • 18. 18 Azure SQL Database 0 50 100 150 200 250 300 350 400 450 Table Storage DocumentDB SQL DB Table Storage DocumentDB SQL DB Standard 0.11 7.13 12.67 Premium 21.08 392 Prix par mois sur la base de 10 GO de données https://azure.microsoft.com/fr-fr/pricing/calculator/
  • 19. 19 Azure SQL Datawarehouse App Service Azure SQL Database Azure Machine Learning Intelligent App Hadoop Azure SQL Data Warehouse Power BI Datawarehouse(relationnel)-as-a-service Scales to petabytes of data Massively Parallel Processing Instant-on compute scales in seconds Query Relational / Non- Relational
  • 21. 21 Azure SQL Datawarehouse 0 € 10,000 € 20,000 € 30,000 € 40,000 € 50,000 € 60,000 € SQLDB SQLDW SQLDB SQLDW 6000 DWU 57,000 € 4000 DTU 13,495 € 100 DWU 1,062 € 10 DTU 13 € Prix par mois sur la base de 100 Go https://azure.microsoft.com/fr-fr/pricing/calculator/
  • 23. 23 Power BI Modules et échanges Power BI
  • 24. 24 Power BI Gartner magic quadrant Power BI
  • 25. 25 Azure Data Factory Service cloud d’integration de données (ETL) https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory
  • 26. 26 Limites ADF conduisant à SSIS https://docs.microsoft.com/fr-fr/azure/data-factory/data-factory-introduction Azure Data Factory RETOUR D’EXPERIENCE ET DIFFICULTES
  • 27. 27 Azure Data Catalog Moteur de recherche axée données Enregistrement des sources de données centrales Décisionnel libre- service Capturer les connaissances tribales
  • 30. 30 Scenario Datalake Azure Data Lake service  Store and manage infinite data  Keep data in its original form  High through put, low latency analytic jobs  Enterprise-grade security + access control Data Lake
  • 31. Data Lake service Transformative way to store and process infinite data Other analytic solutions SQL Data Warehouse
  • 32. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 32
  • 34. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 35 Azure Files Shared Network File Storage for Azure Availability, durability, scalability are managed automatically Supports two interfaces: SMB and REST
  • 35. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 36Azure Files vs Blobs Description Azure Blobs Azure Files Durability Options LRS, ZRS, GRS (and RA-GRS for higher availability) LRS, GRS Accessibility REST APIs SMB 2.1 (standard file system APIs) REST APIs Connectivity REST – Worldwide SMB 2.1 - Within region REST – Worldwide Endpoints http://myaccount.blob.core.windows.net/my container/myblob myaccount.file.core.windows.netmysharemyfile.txt http://myaccount.file.core.windows.net/myshare/myfile.txt Directories Flat namespace however prefix listing can simulate virtual directories True directory objects Case Sensitivity of Names Case sensitive Case insensitive, but case preserving Capacity Up to 500TB containers 5TB file shares Throughput Up to 60 MB/s per blob Up to 60 MB/s per share Object size Up to 1 TB/blob Up to 1 TB/file Billed capacity Based on bytes written Based on file size
  • 38.
  • 39. Distributed Storage (HDFS) Query (Hive) Distributed Processing (MapReduce) ODBC Legend ■ Core Hadoop ■ Data processing ■ Data Movement ■ Packages Hadoop ecosystem
  • 40. HDInsight and Hadoop Hadoop Core + Hive, Pig, HBase C#, F#, .NET Azure Storage (WASB) Office 365 Power BI (Excel, PowerQuery, PowerView, BI Sites) World's Data (Azure Data Marketplace) ODBC Sqoop for SQL Server PowerShell
  • 42. 43 Exemple 1 Azure Virtual Machine Azure Blob Storage Azure SQL Database Power BI Azure Data Catalog Script Power Shell Azure Storage Explorer Dépôt manuel FTP API Azure Blob Storage
  • 43. 44 Exemple 2 Azure Virtual Machine Azure SQL Database Power BI Azure Data Catalog Azure SQL Database Azure Data Factory Base de données source
  • 44. 45 Exemple 3 Azure Web App (FTP) Azure Data Factory Azure Virtual Machine Azure Table Storage Azure SQL Database Power BI Azure Data Catalog
  • 48. 49 Axes d’améliorations • Remplacement SSIS par une solution PaaS • Ajout de Master Services peut-être dans Data Catalog • Véritable solution FTP • Connecteur SSIS standard pour Table Storage
  • 51. 52 Vue d’ensemble Avec les services Azure SQL Database SQL Datawarehouse Datalake Storage SQL Server in an IaaS VM
  • 53. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 56 Merci à nos sponsors PLATINUM LOCAUX PARTENAIRES MEDIA
  • 54. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 57 Sponsors internationaux
  • 55. www.azug.fr © 2017 AZUG FR. All Rights Reserved. 58 Nous suivre Facebook facebook.com/groups/azugfr Twitter twitter.com/AZUGFR Meetup meetup.com/AZUG-FR/ Web www.azug.fr Twitter twitter.com/MugLyon Web https://muglyon.github.io Meetup meetup.com/MugLyon

Notes de l'éditeur

  1. Speaker notes: HDFS for the Cloud: The Azure Data Lake is a Hadoop File System compatible with HDFS enabling Microsoft offerings such as Azure HDInsight, Revolution-R Enterprise, industry Hadoop distributions like Hortonworks and Cloudera all to connect to it. Petabyte files, massive throughput: The goal of the data lake is to run Hadoop and advanced analytics on all your data to discover conclusions from the data itself.  Curated data: Azure Data Lake can also serve as a repository for lower cost data preparation prior to moving curated data into a data warehouse such as Azure Data Warehouse.
  2. Slide Objectives Understand the hierarchy of Blob storage Speaker Notes The Blob service provides storage for entities, such as binary files and text files. A storage account can be a combination of Tables, Blobs and Queues. A storage account will contain one or many containers. Each container can contain one or more blobs. The REST API for the Blob service exposes two resources: Containers Blobs. A container is a set of blobs; every blob must belong to a container. The Blob service defines two types of blobs: Block blobs, which are optimized for streaming. Page blobs, which are optimized for random read/write operations and which provide the ability to write to a range of bytes in a blob. Notes http://msdn.microsoft.com/en-us/library/dd573356.aspx Using the REST API for the Blob service, developers can create a hierarchical namespace similar to a file system. Blob names may encode a hierarchy by using a configurable path separator. For example, the blob names MyGroup/MyBlob1 and MyGroup/MyBlob2 imply a virtual level of organization for blobs. The enumeration operation for blobs supports traversing the virtual hierarchy in a manner similar to that of a file system, so that you can return a set of blobs that are organized beneath a group. For example, you can enumerate all blobs organized under MyGroup/.
  3. The Server Message Block (SMB) Protocol is a network file sharing protocol, and as implemented in Microsoft Windows is known as Microsoft SMB Protocol. The set of message packets that defines a particular version of the protocol is called a dialect. The Common Internet File System (CIFS) Protocol is a dialect of SMB.
  4. Emphasize the Capacity, Throughput and Object size fields
  5. ,
  6. MapReduce breaks down the data and sends them to different computers for processing. These computers together form a cluster. Hadoop incorporates this framework and calls these clusters as Hadoop clusters. Analogous to GROUP BY in SQL Hive is a SQL-Like query syntax Pig is a Script language for expressing MapReduce jobs