Les journées

SQL Server 2013

Un événement organisé par GUSS

#JSS2013
Les journées

SQL Server 2013
Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb

Yazid Moussaoui
Consultant Senior BI
...
Merci à nos sponsors

#JSS2013
Agenda
Planning

o
o
o
o
o
o
o

Besoin Clients : APVX
Pourquoi la Big Data ?
Présentation de Hadoop
Offre Microsoft : HDIn...
Besoin Client : APVX
Aide à la prévision des ventes

 Besoin d’analyse des réseaux sociaux
 Poids des campagnes réalisée...
Pourquoi la Big Data ?
Volume,
Variété & Vitesse

#JSS2013
La tendance

#JSS2013
Framework Apache Hadoop
 HDFS

Ecriture

Lecture

#JSS2013
Framework Apache Hadoop
 Map & Reduce

#JSS2013
Apache Hadoop, Hortonworks, Hdinsight

Apache Hadoop
•
•
•
•
•
•
•
•

Hive : Gestionnaire des données distribuées (SQL Lik...
Plate-forme Big Data Microsoft
Volume x Variety x Velocity x Visualization = Value

MARKETPLACE

SERVICES ET DONNEES
EXTER...
Architecture

WASB

#JSS2013
Architecture

WASB

#JSS2013
La solution sur Windows Azure
• Un Azure Web Site (ASP
.Net MVC 4)
• Un Cloud Service
• Un Compte de stockage (Tables et B...
Le site
• Interface de gestion

• Azure Active Directory Authentification
#JSS2013
Le Cloud Service

#JSS2013
RÉCUPÉRATION DE DONNÉES TWITTER
#JSS2013
Architecture

WASB

#JSS2013
Création du cluster HDInsight
 Nombre de Nœud
 Hive Meta Données
 Stockage
 Activation de l’accès distant
 Installati...
Hive
 Table Externe
 Table Interne
 UDF : User Defined Functions

#JSS2013
Flux des données
Windows Azure Storage Blob

Azure Network

Hadoop On Azure
Compute Node

#JSS2013
Automatisation via SSIS
 Création d’un package SSIS

SSIS HDInsight Tasks

 Création d’une source de données ODBC

http:...
Architecture

WASB

#JSS2013
Exploitation des données
2 scénarios : « BI d’entreprise » ou « BI en Self-Service »
BI
d’entreprise

Integration
Services...
Integration des données avec SSIS

BI
d’entreprise

SQL Server Integration
Services

Importation des table Hive vers une
b...
Analyse et restitution des données
Analysis Services
•
•
•

Mode Serveur
Cube tabulaire
Langage DAX

SharePoint
Server

BI...
BI en self-service avec Excel 2013

POWER BI

Excel 2013
POWER
QUERY

POWER
PIVOT

POWER
VIEW

#JSS2013
Power Query

POWER BI

• ETL destiné à l’utilisateur
• Import Data
From Hadoop File (HDFS)
From Windows Azure HDInsight
...
Power Pivot
•

POWER BI

Création du modèle de données à partir de sources
distinctes :
– Tables SQL Server
– Table hive i...
Power View
•
•

POWER BI

Création de rapport Ad-hoc interactif
Source de donnée :
– Classeur de Modèle Power Pivot
– Modè...
Questions ?

Merci !
#JSS2013
#JSS2013
Prochain SlideShare
Chargement dans…5
×

Big Data & BI : Retour d'expérience

1 199 vues

Publié le

Besoin Clients : APVX
Pourquoi la Big Data ?
Présentation de Hadoop
Offre Microsoft : HDInsight
Complémentarité BI & Big Data
Architecture mise en place
Démos :-)

Publié dans : Technologie
1 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 199
Sur SlideShare
0
Issues des intégrations
0
Intégrations
43
Actions
Partages
0
Téléchargements
39
Commentaires
1
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Big Data & BI : Retour d'expérience

  1. 1. Les journées SQL Server 2013 Un événement organisé par GUSS #JSS2013
  2. 2. Les journées SQL Server 2013 Romain Casteres MVP SQL Server Consultant BI @PulsWeb Yazid Moussaoui Consultant Senior BI MCSA 2008/2012 Etienne Pommier Ingénieur Etude & Développement .Net Big Data & BI Retour d’expérience Un événement organisé par GUSS #JSS2013
  3. 3. Merci à nos sponsors #JSS2013
  4. 4. Agenda Planning o o o o o o o Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos  #JSS2013
  5. 5. Besoin Client : APVX Aide à la prévision des ventes  Besoin d’analyse des réseaux sociaux  Poids des campagnes réalisées sur les réseaux  Trouver une relation entre les ventes et ce qui se dit sur les réseaux #JSS2013
  6. 6. Pourquoi la Big Data ? Volume, Variété & Vitesse #JSS2013
  7. 7. La tendance #JSS2013
  8. 8. Framework Apache Hadoop  HDFS Ecriture Lecture #JSS2013
  9. 9. Framework Apache Hadoop  Map & Reduce #JSS2013
  10. 10. Apache Hadoop, Hortonworks, Hdinsight Apache Hadoop • • • • • • • • Hive : Gestionnaire des données distribuées (SQL Like) Pig : Scripting ETL Sqoop : Transfer des données entre Hadoop et des SGBDR Hbase : Base de données non relationnelle Hcatalog : services de méta données Mahout : Langage de programmation pour le Machine Learning Flume : Intégrateur de logs Oozie : Ordonnanceur … HDInsight • HDP 1.3 pour Windows  On Azure  On Premise • Scale Out for Pay As You Go • Windows Azure PowerShell • CodePlex .Net SDK • Microsoft Hive ODBC Driver #JSS2013
  11. 11. Plate-forme Big Data Microsoft Volume x Variety x Velocity x Visualization = Value MARKETPLACE SERVICES ET DONNEES EXTERNES Polybase Polybase Native Query #JSS2013
  12. 12. Architecture WASB #JSS2013
  13. 13. Architecture WASB #JSS2013
  14. 14. La solution sur Windows Azure • Un Azure Web Site (ASP .Net MVC 4) • Un Cloud Service • Un Compte de stockage (Tables et Blobs) • Une SQL Database #JSS2013
  15. 15. Le site • Interface de gestion • Azure Active Directory Authentification #JSS2013
  16. 16. Le Cloud Service #JSS2013
  17. 17. RÉCUPÉRATION DE DONNÉES TWITTER #JSS2013
  18. 18. Architecture WASB #JSS2013
  19. 19. Création du cluster HDInsight  Nombre de Nœud  Hive Meta Données  Stockage  Activation de l’accès distant  Installation du Driver Hive ODBC  Linked Server #JSS2013
  20. 20. Hive  Table Externe  Table Interne  UDF : User Defined Functions #JSS2013
  21. 21. Flux des données Windows Azure Storage Blob Azure Network Hadoop On Azure Compute Node #JSS2013
  22. 22. Automatisation via SSIS  Création d’un package SSIS SSIS HDInsight Tasks  Création d’une source de données ODBC http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight #JSS2013
  23. 23. Architecture WASB #JSS2013
  24. 24. Exploitation des données 2 scénarios : « BI d’entreprise » ou « BI en Self-Service » BI d’entreprise Integration Services POWER BI Power Query Excel SQL Server Power Pivot Excel SSAS Tabular Power View SharePoint Power View Excel #JSS2013
  25. 25. Integration des données avec SSIS BI d’entreprise SQL Server Integration Services Importation des table Hive vers une base de donnée locale Source : Table Hive SELECT Theater, ScreenAuthorizationNumber, Screen, Title, TitleId FROM lecture Destination : Table SQL Server Connexion ODBC #JSS2013
  26. 26. Analyse et restitution des données Analysis Services • • • Mode Serveur Cube tabulaire Langage DAX SharePoint Server BI d’entreprise SQL Server 2012 Instance Analysis Services Power View for SharePoint • • Intégration à SharePoint Publication et partage • • • Création de rapports en self-service Drag & Drop Analyse des données issues de PowerPivot ou d’Analysis Services PowerPoint • Instance SQL Server DWH #JSS2013
  27. 27. BI en self-service avec Excel 2013 POWER BI Excel 2013 POWER QUERY POWER PIVOT POWER VIEW #JSS2013
  28. 28. Power Query POWER BI • ETL destiné à l’utilisateur • Import Data From Hadoop File (HDFS) From Windows Azure HDInsight #JSS2013
  29. 29. Power Pivot • POWER BI Création du modèle de données à partir de sources distinctes : – Tables SQL Server – Table hive intégrés au modèle via Power Query #JSS2013
  30. 30. Power View • • POWER BI Création de rapport Ad-hoc interactif Source de donnée : – Classeur de Modèle Power Pivot – Modèle Tabulaire SSAS (Power View mode SharePoint) #JSS2013
  31. 31. Questions ? Merci ! #JSS2013 #JSS2013

×