HUG Grand Ouest #1, Rennes
Optimisation des vélos
en libre-service
30 septembre 2015
Franck Gallos
Adrien Pavie
2
Présentation Import Traitement Résultat
Vélo libre-service
v v
3
Présentation Import Traitement Résultat
Des limites
Rééquilibrage estimé
par expérience
Différence régulière offre/deman...
4
Présentation Import Traitement Résultat
Données variées
Météo
Vélos & GPS
Réseau de vélo existant
OpenStreetMap
v
5
Présentation Import Traitement Résultat
Objectif
v
Données DataSet
Point de départ
pour le data scientist
6
Présentation Import Traitement Résultat
Chaîne de traitement
Données
Hadoop/Hive
DataSet
Import
Traitement
7
Présentation Import Traitement Résultat
Types de données
Traditionnelles Géographiques
8
Présentation Import Traitement Résultat
Import des données
● CSV : OK
● Météo : OK
● OpenStreetMap : pas OK
Jusqu'à prés...
9
Présentation Import Traitement Résultat
Hive & Météo
SYNOP
06458 41/58 73315 10070 20047 40122 57012 76080 77521
333 865...
10
Présentation Import Traitement Résultat
<osm version='0.6'>
<node id='1091' visible='true' lat='48.13' lon='1.65' />
<n...
11
Présentation Import Traitement Résultat
OSM2Hive
● Fonction d'import pour Hive
● Sous licence Apache 2.0
ADD JAR /path/...
12
Présentation Import Traitement Résultat
Traitement
Dataset
=
Données fusionnées
Requêtes de traitement
13
Présentation Import Traitement Résultat
Requête #1
● Différence du nombre de vélos entre
deux relevés
CREATE TABLE velo...
14
Présentation Import Traitement Résultat
ESRI for Hadoop
Fonctions géospatiales
pour Hive
15
Présentation Import Traitement Résultat
Requête #2
● Longueur des pistes cyclables autour
des stations de vélos
Reconst...
16
Présentation Import Traitement Résultat
Dataset obtenu
17
Présentation Import Traitement Résultat
Visualisation des relevés
18
Présentation Import Traitement Résultat
19
Présentation Import Traitement Résultat
20
Présentation Import Traitement Résultat
21
Conclusion
Innovation pour SmartCities
Données variées
= meilleure prévision
À venir : prévision météo
& véhicules conn...
22
Merci pour votre attention !
To be continued...
Prochain SlideShare
Chargement dans…5
×

Optimisation des vélos en libre service

342 vues

Publié le

Slides of Data2B at #HUGRennes
#OpenStreetMap data import in #Hadoop is easy with OSM2Hive
by Franck GALLOS and Adrien PAVIE

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
342
Sur SlideShare
0
Issues des intégrations
0
Intégrations
27
Actions
Partages
0
Téléchargements
5
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Optimisation des vélos en libre service

  1. 1. HUG Grand Ouest #1, Rennes Optimisation des vélos en libre-service 30 septembre 2015 Franck Gallos Adrien Pavie
  2. 2. 2 Présentation Import Traitement Résultat Vélo libre-service v v
  3. 3. 3 Présentation Import Traitement Résultat Des limites Rééquilibrage estimé par expérience Différence régulière offre/demande Difficulté à prévoir la maintenance ~ ≠ ±
  4. 4. 4 Présentation Import Traitement Résultat Données variées Météo Vélos & GPS Réseau de vélo existant OpenStreetMap v
  5. 5. 5 Présentation Import Traitement Résultat Objectif v Données DataSet Point de départ pour le data scientist
  6. 6. 6 Présentation Import Traitement Résultat Chaîne de traitement Données Hadoop/Hive DataSet Import Traitement
  7. 7. 7 Présentation Import Traitement Résultat Types de données Traditionnelles Géographiques
  8. 8. 8 Présentation Import Traitement Résultat Import des données ● CSV : OK ● Météo : OK ● OpenStreetMap : pas OK Jusqu'à présent...
  9. 9. 9 Présentation Import Traitement Résultat Hive & Météo SYNOP 06458 41/58 73315 10070 20047 40122 57012 76080 77521 333 86533 84365 85385=
  10. 10. 10 Présentation Import Traitement Résultat <osm version='0.6'> <node id='1091' visible='true' lat='48.13' lon='1.65' /> <node id='1089' visible='true' lat='48.12' lon='1.66' /> <node id='1088' visible='true' lat='48.11' lon='1.67' /> <way id='1090' visible='true'> <nd ref='1088' /> <nd ref='1089' /> <nd ref='1091' /> <nd ref='1088' /> <tag k='amenity' v='bench' /> </way> </osm> Hive & OpenStreetMap Chemin Noeuds Dépendance & Structure différente Nécessite un traitement particulier
  11. 11. 11 Présentation Import Traitement Résultat OSM2Hive ● Fonction d'import pour Hive ● Sous licence Apache 2.0 ADD JAR /path/to/osm2hive.jar; CREATE TEMPORARY FUNCTION OSMImportNodes AS 'info.pavie.osm2hive.controller.HiveNodeImporter'; CREATE TABLE osmdata(osm_content STRING) STORED AS TEXTFILE; LOAD DATA LOCAL INPATH '/path/to/data.osm' OVERWRITE INTO TABLE osmdata; CREATE TABLE osmnodes AS SELECT OSMImportNodes(osm_content) FROM osmdata; Ajout Fonction Fichier OSM Import noeuds
  12. 12. 12 Présentation Import Traitement Résultat Traitement Dataset = Données fusionnées Requêtes de traitement
  13. 13. 13 Présentation Import Traitement Résultat Requête #1 ● Différence du nombre de vélos entre deux relevés CREATE TABLE velo_usage_rownb AS SELECT id, date, slots_avail, bike_avail, ROW_NUMBER() OVER (PARTITION BY id ORDER BY date ASC) as rownb FROM velo_usage; SELECT a.id, a.date, (a.bike_avail - b.bike_avail) AS diff_bike FROM velo_usage_rownb a, velo_usage_rownb b WHERE a.id == b.id AND a.rownb == b.rownb + 1; Numérotation des relevés Diff. Vélos
  14. 14. 14 Présentation Import Traitement Résultat ESRI for Hadoop Fonctions géospatiales pour Hive
  15. 15. 15 Présentation Import Traitement Résultat Requête #2 ● Longueur des pistes cyclables autour des stations de vélos Reconstruction géométrie OSM pistes cyclables Zone tampon autour des stations de vélos Pistes dans zones tampons Intersection Longueur de pistes autour de chaque station de vélo Agrégation + longueur Requête de plus de 700 caractères
  16. 16. 16 Présentation Import Traitement Résultat Dataset obtenu
  17. 17. 17 Présentation Import Traitement Résultat Visualisation des relevés
  18. 18. 18 Présentation Import Traitement Résultat
  19. 19. 19 Présentation Import Traitement Résultat
  20. 20. 20 Présentation Import Traitement Résultat
  21. 21. 21 Conclusion Innovation pour SmartCities Données variées = meilleure prévision À venir : prévision météo & véhicules connectés λ-architecture
  22. 22. 22 Merci pour votre attention ! To be continued...

×