Osmose-QA
Qualité et intégration de données
SotM-FR Avignon 2017-06-03
Frédéric Rodrigo – fred.rodrigo@gmail.com - CC-By-SA 3.0
Osmose-QA ?
OSM
Contributeur
Osmose Backend
Osmose Frontend
OpenData
Étape 1: conquérir le monde
Nouvelles analyses
● access=yes | permisive
→ Décourager l’utilisation
Étape 2 : conquête de l’univers
→ Copier de KeepRight
● Analyse sens unique impossible
● Almost junction
● Autoroute sans référence
Nouvelles analyses
● Validation du « script » en fonction de la langue
Q : Qu’est-ce qui ressemble le plus à un « Α » grec
ou a un « A » latin ?
R : un « А » cyrillique
● Présence de caractères non
affichables, ou de symboles
Nouvelles analyses
● Analyse de cohérence des différents scripts au Japon
● tag wikipedia identique sur plusieurs éléments
● * :lanes :* (c'est compliqué !)
– Réécriture complète du plugin de cohérence des tags *:lanes:*
– analyse des tags turn:lanes
● Passages piétons ou feux manquants
● Propose l'ajouter d’une direction pour les feux, les stops
et les cédez le passage
● Validation du format des numéros de rue par pays
OpenData
● Fichiers OpenData + Définitions conversions en tags
→Objet manquant dans OSM
→Objet en « trop » dans OSM
→Proposition d’intégration à OSM
→ Proposition de mise à jour (Nouveau)
● Mise à jour automatique des fichiers sources
● Support de plus de format de fichiers
– ShapeFile, JSON, ZIP
OpenData
● Support de l’OpenData dans les DOM/COM
● Ajout de STIF et STAR
● Ajout de RTE
– Pylônes, postes électrique
● Nouvel Osmose dédié :
http://opendata.osmose.openstreetmap.fr/
Optimisations
● Tunning de l’import Osmosis en Base de Données
● SQL : réécriture, index avancés sur les hstores de tags
● Mutualisation de requêtes SQL
→ -30 % de temps d’exécution
→ Après la course à l’ajout de serveurs pour couvrir le
monde, on à pu commencer à en retirer
Amélioration
● Mode Diff corrigés et améliorés
● Date du signalement à la date de l’extract
→ Utiliser le mode diff sur tous les pays
Et le frontend ?
● Passage des signalements en tuiles
vectorielles

Osmose-QA

  • 1.
    Osmose-QA Qualité et intégrationde données SotM-FR Avignon 2017-06-03 Frédéric Rodrigo – fred.rodrigo@gmail.com - CC-By-SA 3.0
  • 2.
  • 4.
  • 5.
    Nouvelles analyses ● access=yes| permisive → Décourager l’utilisation
  • 6.
    Étape 2 :conquête de l’univers → Copier de KeepRight ● Analyse sens unique impossible ● Almost junction ● Autoroute sans référence
  • 7.
    Nouvelles analyses ● Validationdu « script » en fonction de la langue Q : Qu’est-ce qui ressemble le plus à un « Α » grec ou a un « A » latin ? R : un « А » cyrillique ● Présence de caractères non affichables, ou de symboles
  • 8.
    Nouvelles analyses ● Analysede cohérence des différents scripts au Japon ● tag wikipedia identique sur plusieurs éléments ● * :lanes :* (c'est compliqué !) – Réécriture complète du plugin de cohérence des tags *:lanes:* – analyse des tags turn:lanes ● Passages piétons ou feux manquants ● Propose l'ajouter d’une direction pour les feux, les stops et les cédez le passage ● Validation du format des numéros de rue par pays
  • 9.
    OpenData ● Fichiers OpenData+ Définitions conversions en tags →Objet manquant dans OSM →Objet en « trop » dans OSM →Proposition d’intégration à OSM → Proposition de mise à jour (Nouveau) ● Mise à jour automatique des fichiers sources ● Support de plus de format de fichiers – ShapeFile, JSON, ZIP
  • 10.
    OpenData ● Support del’OpenData dans les DOM/COM ● Ajout de STIF et STAR ● Ajout de RTE – Pylônes, postes électrique ● Nouvel Osmose dédié : http://opendata.osmose.openstreetmap.fr/
  • 11.
    Optimisations ● Tunning del’import Osmosis en Base de Données ● SQL : réécriture, index avancés sur les hstores de tags ● Mutualisation de requêtes SQL → -30 % de temps d’exécution → Après la course à l’ajout de serveurs pour couvrir le monde, on à pu commencer à en retirer
  • 12.
    Amélioration ● Mode Diffcorrigés et améliorés ● Date du signalement à la date de l’extract → Utiliser le mode diff sur tous les pays
  • 13.
    Et le frontend? ● Passage des signalements en tuiles vectorielles