SlideShare une entreprise Scribd logo
1  sur  30
La démystification
du Big Data
Benjamin Guinebertière
Technical Evangelist
Microsoft France
@benjguin

François Simoës
V-Traffic ( Mediamobile)
www.v-traffic.com

Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb

Sébastien Etcheverry
V-Traffic ( Mediamobile)
www.v-traffic.com

Architecture/Azure/Cloud
Donnez votre avis !
Depuis votre smartphone sur :
http://notes.mstechdays.fr
De nombreux lots à gagner toute les heures !!!
Claviers, souris et jeux Microsoft…
Merci de nous aider à améliorer les Techdays !

#mstechdays

Architecture/Azure/Cloud
Master Chief utilise
Big Data
 Une analyse du jeu permet de
détecter les tricheurs et améliore
l'expérience pour tous
 Permet des campagnes ciblées qui
améliorent la fidélisation des
clients
Big Data – tendances du marché
Grands volumes de données

Nombreux types de
données

Coûts du stockage et des
matériels

#mstechdays

Création des données en
temps réel

Attentes des
utilisateurs

Architecture/Azure/Cloud
Plateforme Big Data de Microsoft – vue d’ensemble
Volume x Variété x Vélocité x Visualisation = Valeur

Architecture/Azure/Cloud

MARKETPLACE

#mstechdays

SERVICES ET DONNEES
EXTERNES

Polybase
Hadoop ouvert,
partenariat stratégique Hortonworks
HDInsight

#mstechdays

+

Hortonworks
Data Platform
for Windows

Architecture/Azure/Cloud
Map/Reduce: Word Count

Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 »

#mstechdays

Architecture/Azure/Cloud
Hive

#mstechdays

Architecture/Azure/Cloud
HDInsight
Nœud
de
sécurité

Nœud de
tête
Stockage Windows
Azure

 Gérez des données de tous types
et toutes tailles
 Sécurisez votre cluster Hadoop
avec un nœud de sécurité dans
HDInsight

 Intégration étroite avec la
plateforme de données Microsoft

#mstechdays

Stockage
à long terme
redondé
localement
[et
géographiquement]

Nœuds de
traitement,
HDFS local
hdfs://

Architecture/Azure/Cloud

wasb://
Architecture

#mstechdays

Architecture/Azure/Cloud
Cas d’usage : APVX

#mstechdays

Aide a la Prévision
des Ventes

Architecture/Azure/Cloud
Cas d’usage : APVX

#mstechdays

Architecture/Azure/Cloud
HDINSIGHT
• Création d’un cluster
• Hive : Table Externe - Table Interne – View - UDF
…
• Sqoop : Transfert
#mstechdays

Architecture/Azure/Cloud
SSIS HDInsight Tasks

BI & POWER BI
• Automatisation : SSIS & PowerShell
• Power Pivot, Power Query
• Power View, Power Q&A
#mstechdays

Architecture/Azure/Cloud
V-TRAFFIC

Notre Ambition : Offrir les informations les plus pertinentes et
fiables pour le confort des utilisateurs, sur ​n’importe quel support
#mstechdays

Architecture/Azure/Cloud
#mstechdays

Architecture/Azure/Cloud
V-Traffic
Récolte des
données avec
plus de 100
sources

Publiques
Privées
FCD/FMD
TIC
Partenariats

#mstechdays

Spécialistes en solution d’aide à la mobilité depuis
1996

Analyse,
modélisation,
traitement et édition

Distribution par
des multiples
canaux

RDS TMC
DAB
GPRS/3G
WEB

Architecture/Azure/Cloud
Utilisations des véhicules traceurs (FCD) - Suivi de
véhicule
4. Suivi du véhicule : localisation sur le réseau
routier

3. Mediamobile collecte ces données

5. Détermination de la vitesse du véhicule sur le
réseau

Lat1,Long1,D1

1. Les taxis envoient leurs positions
lors de leurs déplacements via leur
GPS et un accès à internet mobile

Lat2,Long2,D2

2. Nos fournisseurs récoltent les
données de géo-localisation

#mstechdays

Architecture/Azure/Cloud
Cartographie du trafic routier avec FCD:
Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)

Fusion

Capteurs statiques

Véhicules traceurs

Diffusion
#mstechdays

Architecture/Azure/Cloud
Cartographie du trafic routier avec FCD:
Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)

Fusion

Capteurs statiques

Véhicules traceurs

Diffusion
#mstechdays

Architecture/Azure/Cloud
HDInsight pour V-Traffic
• Localisation de chaque position dans une des
36000 villes de France
• 1 job Hive qui réalise 3 tâches :
-Load des données dans des tables Hive
(external)
-Traitement Python ( PointInPolygon)
-GroupBy
• Le volume : 3777912 véhicules envoient 77 millions
de positions pour 30 j
• Outil d’aide à la décision( comparer les
fournisseurs )
#mstechdays
Architecture/Azure/Cloud
DÉMO

#mstechdays

Architecture/Azure/Cloud
Architecture

#mstechdays

Architecture/Azure/Cloud
Visualisation/Résultat SSRS

#mstechdays

Architecture/Azure/Cloud
Benchmarks / Performances
30
29
28
27
26
25
24
23
22
21
20
19
18
17
16
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
0

29

77 millions de positions en 16 minutes =
80208 points/sec !!

19
16

3 nodes

#mstechdays

Temps de traitement par cluster

6 nodes

16

16

16

9 nodes

15 nodes

18 nodes

30 nodes

Architecture/Azure/Cloud
Benchmarks / Performances
120
115
110
105
100
95
90
85
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
0

7,389 €/h

4,767 €/h
4,052€/h
[VALUE] mapMAX
2,622 €/h
[VALUE] mapMAX

Max MAP Capacity

[VALUE] mapMAX

1,907 €/h

Real MAP Nb

[VALUE] mapMAX

Duree (mins)

1,192 €/h
[VALUE] mins
[VALUE] mapMAX

[VALUE] mapMAX
[VALUE] mins

[VALUE] mins

[VALUE] mins

[VALUE] mins

[VALUE] mins

[VALUE] MAP

[VALUE] MAP

[VALUE] MAP

[VALUE] MAP

[VALUE] MAP

3 nodes

#mstechdays

[VALUE] MAP

6 nodes

9 nodes

15 nodes

18 nodes

30 nodes

Architecture/Azure/Cloud
29 Mars 2014

http://bit.ly/GWAB2014Paris
Testez dès maintenant Windows Azure !
MSDN:

Partenaires:

http://aka.ms/MSDN/Avantages/Abo

150€ de
ressources

http://aka.ms/Azure/Partner

Poursuivez la
discussion
sur le stand “au
coeur du SI”
http://aka.ms/free/trial
Digital is
business

Contenu connexe

En vedette

SQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - PolybaseSQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - PolybaseRomain Casteres
 
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteSQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteRomain Casteres
 
Ensayo sobre César Vallejo
Ensayo sobre César Vallejo Ensayo sobre César Vallejo
Ensayo sobre César Vallejo Karolayram
 
Ensayo del mito
Ensayo del mitoEnsayo del mito
Ensayo del mitobeeguy
 
Edgar Allan Poe Ensayo
Edgar Allan Poe EnsayoEdgar Allan Poe Ensayo
Edgar Allan Poe EnsayoPaulina Diaz
 
Big Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceBig Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceRomain Casteres
 
Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014Romain Casteres
 
32 Ways a Digital Marketing Consultant Can Help Grow Your Business
32 Ways a Digital Marketing Consultant Can Help Grow Your Business32 Ways a Digital Marketing Consultant Can Help Grow Your Business
32 Ways a Digital Marketing Consultant Can Help Grow Your BusinessBarry Feldman
 

En vedette (8)

SQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - PolybaseSQL Saturday Paris 2015 - Polybase
SQL Saturday Paris 2015 - Polybase
 
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent SuiteSQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
SQL Saturday Paris 2016 #510 - Velib & Cortana Intelligent Suite
 
Ensayo sobre César Vallejo
Ensayo sobre César Vallejo Ensayo sobre César Vallejo
Ensayo sobre César Vallejo
 
Ensayo del mito
Ensayo del mitoEnsayo del mito
Ensayo del mito
 
Edgar Allan Poe Ensayo
Edgar Allan Poe EnsayoEdgar Allan Poe Ensayo
Edgar Allan Poe Ensayo
 
Big Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérienceBig Data & BI : Retour d'expérience
Big Data & BI : Retour d'expérience
 
Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014Big Data & Real Time #JSS2014
Big Data & Real Time #JSS2014
 
32 Ways a Digital Marketing Consultant Can Help Grow Your Business
32 Ways a Digital Marketing Consultant Can Help Grow Your Business32 Ways a Digital Marketing Consultant Can Help Grow Your Business
32 Ways a Digital Marketing Consultant Can Help Grow Your Business
 

Similaire à Big data démystifié td2014

SkySight : une nouvelle génération de services d’orchestration des solutions ...
SkySight : une nouvelle génération de services d’orchestration des solutions ...SkySight : une nouvelle génération de services d’orchestration des solutions ...
SkySight : une nouvelle génération de services d’orchestration des solutions ...Microsoft Ideas
 
Wygday Session PléNièRe (2)
Wygday Session PléNièRe (2)Wygday Session PléNièRe (2)
Wygday Session PléNièRe (2)Gregory Renard
 
Innover Avec Les Applications De Demain
Innover Avec Les Applications De DemainInnover Avec Les Applications De Demain
Innover Avec Les Applications De DemainGregory Renard
 
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...Laurent Dunys
 
Présentation de la rencontre du Groupe d'usagers FME_mars 2011
Présentation de la rencontre du Groupe d'usagers FME_mars 2011Présentation de la rencontre du Groupe d'usagers FME_mars 2011
Présentation de la rencontre du Groupe d'usagers FME_mars 2011Consortech
 
Pourquoi le mobile est différent
Pourquoi le mobile est différentPourquoi le mobile est différent
Pourquoi le mobile est différentJean-Marie Gilliot
 
Presentation cynapsys
Presentation cynapsysPresentation cynapsys
Presentation cynapsysbaltagi
 
Intégration applis cloud au SI
Intégration applis cloud au SIIntégration applis cloud au SI
Intégration applis cloud au SIMichel HUBERT
 
VISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoTVISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoTFactoVia
 
Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...
Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...
Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...Matooma
 
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco Microsoft Technet France
 
Les solutions Web Analytics professionnelles Médiamétrie eStat
Les solutions Web Analytics professionnelles Médiamétrie eStatLes solutions Web Analytics professionnelles Médiamétrie eStat
Les solutions Web Analytics professionnelles Médiamétrie eStatXjarrin
 
Analyse Prédictive et Modélisation
Analyse Prédictive et ModélisationAnalyse Prédictive et Modélisation
Analyse Prédictive et ModélisationJocyl Mavouanga
 
Dotic Présentation www.dotic.fr.pptx
Dotic Présentation www.dotic.fr.pptxDotic Présentation www.dotic.fr.pptx
Dotic Présentation www.dotic.fr.pptxDOTIC
 
Digital : Web & Mobilité
Digital : Web & MobilitéDigital : Web & Mobilité
Digital : Web & MobilitéCatalyse IT
 
IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...
IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...
IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...IBM France Lab
 

Similaire à Big data démystifié td2014 (20)

6èmes Rencontres ASIT VD - Acquisition et utilisation données 3D
6èmes Rencontres ASIT VD - Acquisition et utilisation données 3D6èmes Rencontres ASIT VD - Acquisition et utilisation données 3D
6èmes Rencontres ASIT VD - Acquisition et utilisation données 3D
 
SkySight : une nouvelle génération de services d’orchestration des solutions ...
SkySight : une nouvelle génération de services d’orchestration des solutions ...SkySight : une nouvelle génération de services d’orchestration des solutions ...
SkySight : une nouvelle génération de services d’orchestration des solutions ...
 
Plateforme DATA HUB / API
Plateforme DATA HUB / APIPlateforme DATA HUB / API
Plateforme DATA HUB / API
 
Wygday Session PléNièRe (2)
Wygday Session PléNièRe (2)Wygday Session PléNièRe (2)
Wygday Session PléNièRe (2)
 
Innover Avec Les Applications De Demain
Innover Avec Les Applications De DemainInnover Avec Les Applications De Demain
Innover Avec Les Applications De Demain
 
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
Meetup Voiture Connectée et Autonome #23 chez Léonard groupe Vinci avec PSA, ...
 
Mon CV Detaillé
Mon CV Detaillé Mon CV Detaillé
Mon CV Detaillé
 
Présentation de la rencontre du Groupe d'usagers FME_mars 2011
Présentation de la rencontre du Groupe d'usagers FME_mars 2011Présentation de la rencontre du Groupe d'usagers FME_mars 2011
Présentation de la rencontre du Groupe d'usagers FME_mars 2011
 
Pourquoi le mobile est différent
Pourquoi le mobile est différentPourquoi le mobile est différent
Pourquoi le mobile est différent
 
Presentation cynapsys
Presentation cynapsysPresentation cynapsys
Presentation cynapsys
 
Intégration applis cloud au SI
Intégration applis cloud au SIIntégration applis cloud au SI
Intégration applis cloud au SI
 
VISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoTVISEO Shake the Microsoft business - comment rapidement batir une solution IoT
VISEO Shake the Microsoft business - comment rapidement batir une solution IoT
 
Webcast eth-mat-thw-final
Webcast eth-mat-thw-finalWebcast eth-mat-thw-final
Webcast eth-mat-thw-final
 
Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...
Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...
Webcast - Ces nouveaux outils qui assurent le succès de vos solutions IOT /M2...
 
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
 
Les solutions Web Analytics professionnelles Médiamétrie eStat
Les solutions Web Analytics professionnelles Médiamétrie eStatLes solutions Web Analytics professionnelles Médiamétrie eStat
Les solutions Web Analytics professionnelles Médiamétrie eStat
 
Analyse Prédictive et Modélisation
Analyse Prédictive et ModélisationAnalyse Prédictive et Modélisation
Analyse Prédictive et Modélisation
 
Dotic Présentation www.dotic.fr.pptx
Dotic Présentation www.dotic.fr.pptxDotic Présentation www.dotic.fr.pptx
Dotic Présentation www.dotic.fr.pptx
 
Digital : Web & Mobilité
Digital : Web & MobilitéDigital : Web & Mobilité
Digital : Web & Mobilité
 
IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...
IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...
IBM Bluemix Paris Meetup #22-20170315 Meetup @VillagebyCA- Bluemix, présent &...
 

Big data démystifié td2014

  • 1.
  • 2. La démystification du Big Data Benjamin Guinebertière Technical Evangelist Microsoft France @benjguin François Simoës V-Traffic ( Mediamobile) www.v-traffic.com Romain Casteres MVP SQL Server Consultant BI @PulsWeb Sébastien Etcheverry V-Traffic ( Mediamobile) www.v-traffic.com Architecture/Azure/Cloud
  • 3. Donnez votre avis ! Depuis votre smartphone sur : http://notes.mstechdays.fr De nombreux lots à gagner toute les heures !!! Claviers, souris et jeux Microsoft… Merci de nous aider à améliorer les Techdays ! #mstechdays Architecture/Azure/Cloud
  • 4. Master Chief utilise Big Data  Une analyse du jeu permet de détecter les tricheurs et améliore l'expérience pour tous  Permet des campagnes ciblées qui améliorent la fidélisation des clients
  • 5. Big Data – tendances du marché Grands volumes de données Nombreux types de données Coûts du stockage et des matériels #mstechdays Création des données en temps réel Attentes des utilisateurs Architecture/Azure/Cloud
  • 6. Plateforme Big Data de Microsoft – vue d’ensemble Volume x Variété x Vélocité x Visualisation = Valeur Architecture/Azure/Cloud MARKETPLACE #mstechdays SERVICES ET DONNEES EXTERNES Polybase
  • 7. Hadoop ouvert, partenariat stratégique Hortonworks HDInsight #mstechdays + Hortonworks Data Platform for Windows Architecture/Azure/Cloud
  • 8. Map/Reduce: Word Count Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 » #mstechdays Architecture/Azure/Cloud
  • 10. HDInsight Nœud de sécurité Nœud de tête Stockage Windows Azure  Gérez des données de tous types et toutes tailles  Sécurisez votre cluster Hadoop avec un nœud de sécurité dans HDInsight  Intégration étroite avec la plateforme de données Microsoft #mstechdays Stockage à long terme redondé localement [et géographiquement] Nœuds de traitement, HDFS local hdfs:// Architecture/Azure/Cloud wasb://
  • 12. Cas d’usage : APVX #mstechdays Aide a la Prévision des Ventes Architecture/Azure/Cloud
  • 13. Cas d’usage : APVX #mstechdays Architecture/Azure/Cloud
  • 14. HDINSIGHT • Création d’un cluster • Hive : Table Externe - Table Interne – View - UDF … • Sqoop : Transfert #mstechdays Architecture/Azure/Cloud
  • 15. SSIS HDInsight Tasks BI & POWER BI • Automatisation : SSIS & PowerShell • Power Pivot, Power Query • Power View, Power Q&A #mstechdays Architecture/Azure/Cloud
  • 16. V-TRAFFIC Notre Ambition : Offrir les informations les plus pertinentes et fiables pour le confort des utilisateurs, sur ​n’importe quel support #mstechdays Architecture/Azure/Cloud
  • 18. V-Traffic Récolte des données avec plus de 100 sources Publiques Privées FCD/FMD TIC Partenariats #mstechdays Spécialistes en solution d’aide à la mobilité depuis 1996 Analyse, modélisation, traitement et édition Distribution par des multiples canaux RDS TMC DAB GPRS/3G WEB Architecture/Azure/Cloud
  • 19. Utilisations des véhicules traceurs (FCD) - Suivi de véhicule 4. Suivi du véhicule : localisation sur le réseau routier 3. Mediamobile collecte ces données 5. Détermination de la vitesse du véhicule sur le réseau Lat1,Long1,D1 1. Les taxis envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile Lat2,Long2,D2 2. Nos fournisseurs récoltent les données de géo-localisation #mstechdays Architecture/Azure/Cloud
  • 20. Cartographie du trafic routier avec FCD: Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010) Fusion Capteurs statiques Véhicules traceurs Diffusion #mstechdays Architecture/Azure/Cloud
  • 21. Cartographie du trafic routier avec FCD: Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010) Fusion Capteurs statiques Véhicules traceurs Diffusion #mstechdays Architecture/Azure/Cloud
  • 22. HDInsight pour V-Traffic • Localisation de chaque position dans une des 36000 villes de France • 1 job Hive qui réalise 3 tâches : -Load des données dans des tables Hive (external) -Traitement Python ( PointInPolygon) -GroupBy • Le volume : 3777912 véhicules envoient 77 millions de positions pour 30 j • Outil d’aide à la décision( comparer les fournisseurs ) #mstechdays Architecture/Azure/Cloud
  • 26. Benchmarks / Performances 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 29 77 millions de positions en 16 minutes = 80208 points/sec !! 19 16 3 nodes #mstechdays Temps de traitement par cluster 6 nodes 16 16 16 9 nodes 15 nodes 18 nodes 30 nodes Architecture/Azure/Cloud
  • 27. Benchmarks / Performances 120 115 110 105 100 95 90 85 80 75 70 65 60 55 50 45 40 35 30 25 20 15 10 5 0 7,389 €/h 4,767 €/h 4,052€/h [VALUE] mapMAX 2,622 €/h [VALUE] mapMAX Max MAP Capacity [VALUE] mapMAX 1,907 €/h Real MAP Nb [VALUE] mapMAX Duree (mins) 1,192 €/h [VALUE] mins [VALUE] mapMAX [VALUE] mapMAX [VALUE] mins [VALUE] mins [VALUE] mins [VALUE] mins [VALUE] mins [VALUE] MAP [VALUE] MAP [VALUE] MAP [VALUE] MAP [VALUE] MAP 3 nodes #mstechdays [VALUE] MAP 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes Architecture/Azure/Cloud
  • 29. Testez dès maintenant Windows Azure ! MSDN: Partenaires: http://aka.ms/MSDN/Avantages/Abo 150€ de ressources http://aka.ms/Azure/Partner Poursuivez la discussion sur le stand “au coeur du SI” http://aka.ms/free/trial

Notes de l'éditeur

  1. démystification par des exemples de mise en œuvre
  2. 1 minute343 industries/Halo 4 : http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?CaseStudyID=710000002102 Aide à améliorer l'expérience du jeu - nous avons fait des petites modifications sur le jeu à partir de données collectées sur les comportements des joueurs, données qui ont mis en évidence des tendances nous permettant de détecter les tricheurs.Cible : L'équipe de développements 343 Industries qui gère et héberge Halo 4Besoin : L'équipe a besoin d'analyses BI sur le jeu pour ses clients internes et externes.Solution : L'équipe a mis en place une solution qui utilise le service HDInsight Windows Azure, basé sur la cadre de traitement de données Hadoop Apache et sur les technologies BI de Microsoft.Avantages :Améliore l'expérience utilisateur par des temps de réponse plus rapides et une plus grande agilité. Connecte l'équipe Halo 4 directement aux clients via des mises à jour hebdomadaires. Analyse le jeu pour détecter les tricheurs. Simplifie des campagnes personnalisées pour fidéliser les joueurs. Suivre la session de Mike Flasko : « Master Chief Love Hive: Hadoop in the Cloud » de 16:25 à 17:05. Satisfaction pour le jeu en ligne si les cartes sont bonnes et pas d'avantages excessifs si les joueurs trichent.Dans les versions précédentes, ils ne comprenaient pas comment les cartes devaient être utilisées. Avec Hadoop, ils peuvent analyser les données et résoudre les problèmes.
  3. Apache Hadoop n'est pas un substitut à une base de données, voici comment il peut s’incruster dans vos systèmes d’informations décisionnelles.De grosse volumétrie de données ou de gros calcul parallélisé sont effectuée dans HDInsight, il en ressort un output intégrable dans un Datawarehouse via un ETL Ou alimente un modèle de donnée comme un cube tabulaire ou multidimensionnelle ou l'output peut être aussi une source de données directe pour la création de rapport.Là où hier nous détruisions les données qui n’apportai aucune intelligence à l’instant T, aujourd’hui nous pouvons nous permettre de la sauvegarder et de les analyser plus tard. HDInsight peut le faire de façon optimale et nous verrons par la suite pk.
  4. Je vais maintenant vous présenter un cas d'utilisation de HDInsight avec le projet APVX pour Aide à la Prévision des VentesLe client avait besoin de mesurer les répercussions de ces actions marketing sur les ventes grâce à l’analyse les réseaux sociauxDes crawler scrute les ces trois réseaux sociaux à la recherche de mot clés que les utilisateurs ont préalablement renseigné via une page internet.Nous scrutons principalement des consoles et des jeux vidéo dans le but de trouver une relation entre les ventes et Buzz constaté.
  5. Un Crawler analyse les mots choisit par les utilisateurs (présent dans une base de données) sur les réseaux sociaux. Les résultats sont stockés dans un Blob Storage Azure. HDInsight traite les données et écrit le résultat dans le Blob Storage Azure. Un modèle de données Tabulaire consolide les informations et des rapports Power View affichent les résultats. 
  6. 1-Mot clefs renseignés par les utilisateurs, Tweet2 - Création du cluster via le portail Azure3 - Hive Script : couche d’abstraction au modèle de programmation Map & Reduce permettant d’effectuer des requêtes dans un langage proche du SQL4 – Sqoop : SQL To HadoopHive a été développé par Facebook pour permettre aux développeur d’avoir un langage de Scripting au dessus de ces données distribuées.Pour environs 50 Keywords nous récupérons environ 2 GB/j soit 50000 t/h.
  7. 1 -SSIS, PowerShell2 - Cube Tabulaire3 -APVX V1.0 : Donnée quantitative4 -APVX V2.0 : Donnée qualitative5 -Ajout des données de détails dans le model6 -Power Q&A-- Power Map ?
  8. 1 à 2 mins --> résumer activité V-Traffic
  9. 1 à 2 mins --> résumer activité V-Traffic
  10. ->Introduction à la technologie FCD ( Floating Car Data )->méthode pour connaître le traficsur le réseau routierbasée sur la collecte de données de localisation, de vitesse, de sens du déplacement des véhicules roulants->2 types de FCD ( Cellulaire = basé sur des cellules, GPS = basé sur des positions WGS84 )
  11. ->Démo de complétion FCD->Principalement utile pour l'enrichissement des zones->avantage sur la concurrence
  12. ->Démo de complétion FCD->Principalement utile pour l'enrichissement des zones->avantage sur la concurrence
  13. Comment le lancerComment ça tournejob tracker ou cela a tourné en tant de temps1-Montrer les données CMA dans le blob2-Powershell : montrer scripte creation cluster3-Powershell : montrer scripte JOBs -1job HSQL creation tables externalHive -2 job HQL qui lance le python + montrer Python
  14. -Chez V-Traffic, notre exemple concret correspond bien au modèle exposé (chemin num.3 )-D’autres possibilités nous sont envisageables : analyse statistiques ( un bison « super » futé ), …etc
  15. ->Report SSRS , carte de France avec zones renseignées colorées
  16. Grâce à HDInsight ( du Hadoop à la demande ), nous nous sommes permis d’explorer un peu ou tester le produit pour voir quelles perfs on pouvait obtenir…-Parler des perfs , des temps , de 2 tests, des questions qui se posent : reduire le temps ou le coût ?...etc
  17. Grâce à HDInsight ( du Hadoop à la demande ), nous nous sommes permis de « délirer » un peu ou tester le produit pour voir quelles perfs on pouvait obtenir…-Parler des perfs , des temps , de 2 tests, des questions qui se posent : reduire le temps ou le coût ?...etc