1.
La démystification
du Big Data
Benjamin Guinebertière
Technical Evangelist
Microsoft France
@benjguin
François Simoës
V-Traffic ( Mediamobile)
www.v-traffic.com
Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb
Sébastien Etcheverry
V-Traffic ( Mediamobile)
www.v-traffic.com
Architecture/Azure/Cloud

2.
Donnez votre avis !
Depuis votre smartphone sur :
http://notes.mstechdays.fr
De nombreux lots à gagner toute les heures !!!
Claviers, souris et jeux Microsoft…
Merci de nous aider à améliorer les Techdays !
#mstechdays
Architecture/Azure/Cloud

3.
Master Chief utilise
Big Data
 Une analyse du jeu permet de
détecter les tricheurs et améliore
l'expérience pour tous
 Permet des campagnes ciblées qui
améliorent la fidélisation des
clients

4.
Big Data – tendances du marché
Grands volumes de données
Nombreux types de
données
Coûts du stockage et des
matériels
#mstechdays
Création des données en
temps réel
Attentes des
utilisateurs
Architecture/Azure/Cloud

5.
Plateforme Big Data de Microsoft – vue d’ensemble
Volume x Variété x Vélocité x Visualisation = Valeur
Architecture/Azure/Cloud
MARKETPLACE
#mstechdays
SERVICES ET DONNEES
EXTERNES
Polybase

6.
Hadoop ouvert,
partenariat stratégique Hortonworks
HDInsight
#mstechdays
+
Hortonworks
Data Platform
for Windows
Architecture/Azure/Cloud

7.
Map/Reduce: Word Count
Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 »
#mstechdays
Architecture/Azure/Cloud

8.
Hive
#mstechdays
Architecture/Azure/Cloud

9.
HDInsight
Nœud
de
sécurité
Nœud de
tête
Stockage Windows
Azure
 Gérez des données de tous types
et toutes tailles
 Sécurisez votre cluster Hadoop
avec un nœud de sécurité dans
HDInsight
 Intégration étroite avec la
plateforme de données Microsoft
#mstechdays
Stockage
à long terme
redondé
localement
[et
géographiquement]
Nœuds de
traitement,
HDFS local
hdfs://
Architecture/Azure/Cloud
wasb://

10.
Architecture
#mstechdays
Architecture/Azure/Cloud

11.
Cas d’usage : APVX
#mstechdays
Aide a la Prévision
des Ventes
Architecture/Azure/Cloud

12.
Cas d’usage : APVX
#mstechdays
Architecture/Azure/Cloud

13.
HDINSIGHT
• Création d’un cluster
• Hive : Table Externe - Table Interne – View - UDF
…
• Sqoop : Transfert
#mstechdays
Architecture/Azure/Cloud

14.
SSIS HDInsight Tasks
BI & POWER BI
• Automatisation : SSIS & PowerShell
• Power Pivot, Power Query
• Power View, Power Q&A
#mstechdays
Architecture/Azure/Cloud

15.
V-TRAFFIC
Notre Ambition : Offrir les informations les plus pertinentes et
fiables pour le confort des utilisateurs, sur ​n’importe quel support
#mstechdays
Architecture/Azure/Cloud

16.
#mstechdays
Architecture/Azure/Cloud

17.
V-Traffic
Récolte des
données avec
plus de 100
sources
Publiques
Privées
FCD/FMD
TIC
Partenariats
#mstechdays
Spécialistes en solution d’aide à la mobilité depuis
1996
Analyse,
modélisation,
traitement et édition
Distribution par
des multiples
canaux
RDS TMC
DAB
GPRS/3G
WEB
Architecture/Azure/Cloud

18.
Utilisations des véhicules traceurs (FCD) - Suivi de
véhicule
4. Suivi du véhicule : localisation sur le réseau
routier
3. Mediamobile collecte ces données
5. Détermination de la vitesse du véhicule sur le
réseau
Lat1,Long1,D1
1. Les taxis envoient leurs positions
lors de leurs déplacements via leur
GPS et un accès à internet mobile
Lat2,Long2,D2
2. Nos fournisseurs récoltent les
données de géo-localisation
#mstechdays
Architecture/Azure/Cloud

19.
Cartographie du trafic routier avec FCD:
Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)
Fusion
Capteurs statiques
Véhicules traceurs
Diffusion
#mstechdays
Architecture/Azure/Cloud

20.
Cartographie du trafic routier avec FCD:
Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)
Fusion
Capteurs statiques
Véhicules traceurs
Diffusion
#mstechdays
Architecture/Azure/Cloud

21.
HDInsight pour V-Traffic
• Localisation de chaque position dans une des
36000 villes de France
• 1 job Hive qui réalise 3 tâches :
-Load des données dans des tables Hive
(external)
-Traitement Python ( PointInPolygon)
-GroupBy
• Le volume : 3777912 véhicules envoient 77 millions
de positions pour 30 j
• Outil d’aide à la décision( comparer les
fournisseurs )
#mstechdays
Architecture/Azure/Cloud

22.
DÉMO
#mstechdays
Architecture/Azure/Cloud

23.
Architecture
#mstechdays
Architecture/Azure/Cloud

24.
Visualisation/Résultat SSRS
#mstechdays
Architecture/Azure/Cloud

25.
Benchmarks / Performances
30
29
28
27
26
25
24
23
22
21
20
19
18
17
16
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
0
29
77 millions de positions en 16 minutes =
80208 points/sec !!
19
16
3 nodes
#mstechdays
Temps de traitement par cluster
6 nodes
16
16
16
9 nodes
15 nodes
18 nodes
30 nodes
Architecture/Azure/Cloud

26.
Benchmarks / Performances
120
115
110
105
100
95
90
85
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
0
7,389 €/h
4,767 €/h
4,052€/h
[VALUE] mapMAX
2,622 €/h
[VALUE] mapMAX
Max MAP Capacity
[VALUE] mapMAX
1,907 €/h
Real MAP Nb
[VALUE] mapMAX
Duree (mins)
1,192 €/h
[VALUE] mins
[VALUE] mapMAX
[VALUE] mapMAX
[VALUE] mins
[VALUE] mins
[VALUE] mins
[VALUE] mins
[VALUE] mins
[VALUE] MAP
[VALUE] MAP
[VALUE] MAP
[VALUE] MAP
[VALUE] MAP
3 nodes
#mstechdays
[VALUE] MAP
6 nodes
9 nodes
15 nodes
18 nodes
30 nodes
Architecture/Azure/Cloud

27.
29 Mars 2014
http://bit.ly/GWAB2014Paris

28.
Testez dès maintenant Windows Azure !
MSDN:
Partenaires:
http://aka.ms/MSDN/Avantages/Abo
150€ de
ressources
http://aka.ms/Azure/Partner
Poursuivez la
discussion
sur le stand “au
coeur du SI”
http://aka.ms/free/trial

29.
Digital is
business