SlideShare une entreprise Scribd logo
1  sur  13
Osmose-QA
Qualité et intégration de données
SotM-FR Avignon 2017-06-03
Frédéric Rodrigo – fred.rodrigo@gmail.com - CC-By-SA 3.0
Osmose-QA ?
OSM
Contributeur
Osmose Backend
Osmose Frontend
OpenData
Étape 1: conquérir le monde
Nouvelles analyses
● access=yes | permisive
→ Décourager l’utilisation
Étape 2 : conquête de l’univers
→ Copier de KeepRight
● Analyse sens unique impossible
● Almost junction
● Autoroute sans référence
Nouvelles analyses
● Validation du « script » en fonction de la langue
Q : Qu’est-ce qui ressemble le plus à un « Α » grec
ou a un « A » latin ?
R : un « А » cyrillique
● Présence de caractères non
affichables, ou de symboles
Nouvelles analyses
● Analyse de cohérence des différents scripts au Japon
● tag wikipedia identique sur plusieurs éléments
● * :lanes :* (c'est compliqué !)
– Réécriture complète du plugin de cohérence des tags *:lanes:*
– analyse des tags turn:lanes
● Passages piétons ou feux manquants
● Propose l'ajouter d’une direction pour les feux, les stops
et les cédez le passage
● Validation du format des numéros de rue par pays
OpenData
● Fichiers OpenData + Définitions conversions en tags
→Objet manquant dans OSM
→Objet en « trop » dans OSM
→Proposition d’intégration à OSM
→ Proposition de mise à jour (Nouveau)
● Mise à jour automatique des fichiers sources
● Support de plus de format de fichiers
– ShapeFile, JSON, ZIP
OpenData
● Support de l’OpenData dans les DOM/COM
● Ajout de STIF et STAR
● Ajout de RTE
– Pylônes, postes électrique
● Nouvel Osmose dédié :
http://opendata.osmose.openstreetmap.fr/
Optimisations
● Tunning de l’import Osmosis en Base de Données
● SQL : réécriture, index avancés sur les hstores de tags
● Mutualisation de requêtes SQL
→ -30 % de temps d’exécution
→ Après la course à l’ajout de serveurs pour couvrir le
monde, on à pu commencer à en retirer
Amélioration
● Mode Diff corrigés et améliorés
● Date du signalement à la date de l’extract
→ Utiliser le mode diff sur tous les pays
Et le frontend ?
● Passage des signalements en tuiles
vectorielles

Contenu connexe

Similaire à Osmose-QA

Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24quicky_osm
 
Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24quicky_osm
 
4/5 Osm 20141118-l2.2-collecte et contribution
4/5 Osm 20141118-l2.2-collecte et contribution4/5 Osm 20141118-l2.2-collecte et contribution
4/5 Osm 20141118-l2.2-collecte et contributionFrédéric Rodrigo
 
Presentation langage go_19022015
Presentation langage go_19022015Presentation langage go_19022015
Presentation langage go_19022015Stéphane Legrand
 
5/5 Osm 20141118-l2.3-réutilisation
5/5 Osm 20141118-l2.3-réutilisation5/5 Osm 20141118-l2.3-réutilisation
5/5 Osm 20141118-l2.3-réutilisationFrédéric Rodrigo
 
Open streetmap pour CocoaHeads Paris
Open streetmap pour CocoaHeads ParisOpen streetmap pour CocoaHeads Paris
Open streetmap pour CocoaHeads ParisCocoaHeads France
 
PostGIS @ Pgday.eu 2009
PostGIS @ Pgday.eu 2009PostGIS @ Pgday.eu 2009
PostGIS @ Pgday.eu 2009Oslandia
 
Geek Time Janvier 2017 : Java 8
Geek Time Janvier 2017 : Java 8Geek Time Janvier 2017 : Java 8
Geek Time Janvier 2017 : Java 8OLBATI
 
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
Annexe1   éTude Comparative Sur Les Moteurs De RechercheAnnexe1   éTude Comparative Sur Les Moteurs De Recherche
Annexe1 éTude Comparative Sur Les Moteurs De RechercheMohamed Ben Bouzid
 
De l'Open Source à l'Open API (in French)
De l'Open Source à l'Open API (in French)De l'Open Source à l'Open API (in French)
De l'Open Source à l'Open API (in French)Restlet
 
La cartographie Libre avec OpenStreetMap
La cartographie Libre avec OpenStreetMapLa cartographie Libre avec OpenStreetMap
La cartographie Libre avec OpenStreetMapFlorian Lainez
 
Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...
Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...
Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...Clément OUDOT
 
gRPC, ECHANGES A HAUTE FREQUENCE !
gRPC, ECHANGES A HAUTE FREQUENCE !gRPC, ECHANGES A HAUTE FREQUENCE !
gRPC, ECHANGES A HAUTE FREQUENCE !Carles Sistare
 
gRPC, échange à haute fréquence!
gRPC, échange à haute fréquence!gRPC, échange à haute fréquence!
gRPC, échange à haute fréquence!David Caramelo
 
Indexer la terre entière
Indexer la terre entièreIndexer la terre entière
Indexer la terre entièreNicolas Colomer
 
Architecture d'annuaire hautement disponible avec OpenLDAP
Architecture d'annuaire hautement disponible avec OpenLDAPArchitecture d'annuaire hautement disponible avec OpenLDAP
Architecture d'annuaire hautement disponible avec OpenLDAPLINAGORA
 
Synchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplementSynchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplementgplanchat
 
Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval
Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval
Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval Romain Sauger
 

Similaire à Osmose-QA (20)

Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24
 
Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24Soda sotm fr-2013_02_24
Soda sotm fr-2013_02_24
 
4/5 Osm 20141118-l2.2-collecte et contribution
4/5 Osm 20141118-l2.2-collecte et contribution4/5 Osm 20141118-l2.2-collecte et contribution
4/5 Osm 20141118-l2.2-collecte et contribution
 
Presentation langage go_19022015
Presentation langage go_19022015Presentation langage go_19022015
Presentation langage go_19022015
 
5/5 Osm 20141118-l2.3-réutilisation
5/5 Osm 20141118-l2.3-réutilisation5/5 Osm 20141118-l2.3-réutilisation
5/5 Osm 20141118-l2.3-réutilisation
 
Open streetmap pour CocoaHeads Paris
Open streetmap pour CocoaHeads ParisOpen streetmap pour CocoaHeads Paris
Open streetmap pour CocoaHeads Paris
 
PostGIS @ Pgday.eu 2009
PostGIS @ Pgday.eu 2009PostGIS @ Pgday.eu 2009
PostGIS @ Pgday.eu 2009
 
Geek Time Janvier 2017 : Java 8
Geek Time Janvier 2017 : Java 8Geek Time Janvier 2017 : Java 8
Geek Time Janvier 2017 : Java 8
 
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
Annexe1   éTude Comparative Sur Les Moteurs De RechercheAnnexe1   éTude Comparative Sur Les Moteurs De Recherche
Annexe1 éTude Comparative Sur Les Moteurs De Recherche
 
De l'Open Source à l'Open API (in French)
De l'Open Source à l'Open API (in French)De l'Open Source à l'Open API (in French)
De l'Open Source à l'Open API (in French)
 
La cartographie Libre avec OpenStreetMap
La cartographie Libre avec OpenStreetMapLa cartographie Libre avec OpenStreetMap
La cartographie Libre avec OpenStreetMap
 
Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...
Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...
Migration d’annuaires propriétaires vers OpenLDAP : retours d’expérience et b...
 
gRPC, ECHANGES A HAUTE FREQUENCE !
gRPC, ECHANGES A HAUTE FREQUENCE !gRPC, ECHANGES A HAUTE FREQUENCE !
gRPC, ECHANGES A HAUTE FREQUENCE !
 
gRPC, échange à haute fréquence!
gRPC, échange à haute fréquence!gRPC, échange à haute fréquence!
gRPC, échange à haute fréquence!
 
Presentation OpenStreetMap
Presentation OpenStreetMapPresentation OpenStreetMap
Presentation OpenStreetMap
 
REX Openshift à la Poste
REX Openshift à la PosteREX Openshift à la Poste
REX Openshift à la Poste
 
Indexer la terre entière
Indexer la terre entièreIndexer la terre entière
Indexer la terre entière
 
Architecture d'annuaire hautement disponible avec OpenLDAP
Architecture d'annuaire hautement disponible avec OpenLDAPArchitecture d'annuaire hautement disponible avec OpenLDAP
Architecture d'annuaire hautement disponible avec OpenLDAP
 
Synchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplementSynchroniser ses applications (plus) simplement
Synchroniser ses applications (plus) simplement
 
Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval
Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval
Préprocesseurs CSS et remote editing : Quelles solutions ? - Human talks Laval
 

Plus de Frédéric Rodrigo

Cartography: Vector Tiles From an Open Initiative To an Industry Standard
Cartography: Vector Tiles  From an Open Initiative To an Industry StandardCartography: Vector Tiles  From an Open Initiative To an Industry Standard
Cartography: Vector Tiles From an Open Initiative To an Industry StandardFrédéric Rodrigo
 
Osmose-QA, OpenData, Mapillary and MapCSS
Osmose-QA, OpenData, Mapillary and MapCSSOsmose-QA, OpenData, Mapillary and MapCSS
Osmose-QA, OpenData, Mapillary and MapCSSFrédéric Rodrigo
 
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSMAutomatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSMFrédéric Rodrigo
 
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSM
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSMAnnoter automatiquement un itinéraire piéton avec des repères issus d'OSM
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSMFrédéric Rodrigo
 
Osmose-QA, Qualité et intégration de données
Osmose-QA, Qualité et intégration de donnéesOsmose-QA, Qualité et intégration de données
Osmose-QA, Qualité et intégration de donnéesFrédéric Rodrigo
 
OSRM - Open Source Routing Machine
OSRM - Open Source Routing MachineOSRM - Open Source Routing Machine
OSRM - Open Source Routing MachineFrédéric Rodrigo
 
Addok, BAN et BANO dans un bateau
Addok, BAN et BANO dans un bateauAddok, BAN et BANO dans un bateau
Addok, BAN et BANO dans un bateauFrédéric Rodrigo
 
Osmose : la conquête du monde
Osmose : la conquête du mondeOsmose : la conquête du monde
Osmose : la conquête du mondeFrédéric Rodrigo
 
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmapFrédéric Rodrigo
 
2/5 Osm 20141106-l1.2-initiation à la contribution
2/5 Osm 20141106-l1.2-initiation à la contribution2/5 Osm 20141106-l1.2-initiation à la contribution
2/5 Osm 20141106-l1.2-initiation à la contributionFrédéric Rodrigo
 
1/5 Osm 20141106-l1.1-présentation
1/5 Osm 20141106-l1.1-présentation1/5 Osm 20141106-l1.1-présentation
1/5 Osm 20141106-l1.1-présentationFrédéric Rodrigo
 
Osmose, quality assurance tool
Osmose, quality assurance toolOsmose, quality assurance tool
Osmose, quality assurance toolFrédéric Rodrigo
 

Plus de Frédéric Rodrigo (20)

OSXP 2021 - MAKINA MAPS
OSXP 2021 - MAKINA MAPSOSXP 2021 - MAKINA MAPS
OSXP 2021 - MAKINA MAPS
 
Cartography: Vector Tiles From an Open Initiative To an Industry Standard
Cartography: Vector Tiles  From an Open Initiative To an Industry StandardCartography: Vector Tiles  From an Open Initiative To an Industry Standard
Cartography: Vector Tiles From an Open Initiative To an Industry Standard
 
Osmose-QA, OpenData, Mapillary and MapCSS
Osmose-QA, OpenData, Mapillary and MapCSSOsmose-QA, OpenData, Mapillary and MapCSS
Osmose-QA, OpenData, Mapillary and MapCSS
 
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSMAutomatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
Automatic Enhancement of Pedestrian Route using extracted Landmarks from OSM
 
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSM
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSMAnnoter automatiquement un itinéraire piéton avec des repères issus d'OSM
Annoter automatiquement un itinéraire piéton avec des repères issus d'OSM
 
Osmose-QA, Qualité et intégration de données
Osmose-QA, Qualité et intégration de donnéesOsmose-QA, Qualité et intégration de données
Osmose-QA, Qualité et intégration de données
 
OSRM, Utilisation avancée
OSRM, Utilisation avancéeOSRM, Utilisation avancée
OSRM, Utilisation avancée
 
Open Traffic
Open TrafficOpen Traffic
Open Traffic
 
OSRM L'état du routage
OSRM L'état du routageOSRM L'état du routage
OSRM L'état du routage
 
OSRM - Open Source Routing Machine
OSRM - Open Source Routing MachineOSRM - Open Source Routing Machine
OSRM - Open Source Routing Machine
 
Addok, BAN et BANO dans un bateau
Addok, BAN et BANO dans un bateauAddok, BAN et BANO dans un bateau
Addok, BAN et BANO dans un bateau
 
Osmose-QA OpenData
Osmose-QA OpenDataOsmose-QA OpenData
Osmose-QA OpenData
 
20150607 sotm-us-osmose-qa
20150607 sotm-us-osmose-qa20150607 sotm-us-osmose-qa
20150607 sotm-us-osmose-qa
 
Mapotempo
MapotempoMapotempo
Mapotempo
 
Osmose : la conquête du monde
Osmose : la conquête du mondeOsmose : la conquête du monde
Osmose : la conquête du monde
 
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
3/5 Osm 20141118-l2.1-être à l'aise avec open streetmap
 
2/5 Osm 20141106-l1.2-initiation à la contribution
2/5 Osm 20141106-l1.2-initiation à la contribution2/5 Osm 20141106-l1.2-initiation à la contribution
2/5 Osm 20141106-l1.2-initiation à la contribution
 
1/5 Osm 20141106-l1.1-présentation
1/5 Osm 20141106-l1.1-présentation1/5 Osm 20141106-l1.1-présentation
1/5 Osm 20141106-l1.1-présentation
 
Osmose, quality assurance tool
Osmose, quality assurance toolOsmose, quality assurance tool
Osmose, quality assurance tool
 
OpenData & OpenStreetMap
OpenData & OpenStreetMapOpenData & OpenStreetMap
OpenData & OpenStreetMap
 

Osmose-QA

  • 1. Osmose-QA Qualité et intégration de données SotM-FR Avignon 2017-06-03 Frédéric Rodrigo – fred.rodrigo@gmail.com - CC-By-SA 3.0
  • 3.
  • 5. Nouvelles analyses ● access=yes | permisive → Décourager l’utilisation
  • 6. Étape 2 : conquête de l’univers → Copier de KeepRight ● Analyse sens unique impossible ● Almost junction ● Autoroute sans référence
  • 7. Nouvelles analyses ● Validation du « script » en fonction de la langue Q : Qu’est-ce qui ressemble le plus à un « Α » grec ou a un « A » latin ? R : un « А » cyrillique ● Présence de caractères non affichables, ou de symboles
  • 8. Nouvelles analyses ● Analyse de cohérence des différents scripts au Japon ● tag wikipedia identique sur plusieurs éléments ● * :lanes :* (c'est compliqué !) – Réécriture complète du plugin de cohérence des tags *:lanes:* – analyse des tags turn:lanes ● Passages piétons ou feux manquants ● Propose l'ajouter d’une direction pour les feux, les stops et les cédez le passage ● Validation du format des numéros de rue par pays
  • 9. OpenData ● Fichiers OpenData + Définitions conversions en tags →Objet manquant dans OSM →Objet en « trop » dans OSM →Proposition d’intégration à OSM → Proposition de mise à jour (Nouveau) ● Mise à jour automatique des fichiers sources ● Support de plus de format de fichiers – ShapeFile, JSON, ZIP
  • 10. OpenData ● Support de l’OpenData dans les DOM/COM ● Ajout de STIF et STAR ● Ajout de RTE – Pylônes, postes électrique ● Nouvel Osmose dédié : http://opendata.osmose.openstreetmap.fr/
  • 11. Optimisations ● Tunning de l’import Osmosis en Base de Données ● SQL : réécriture, index avancés sur les hstores de tags ● Mutualisation de requêtes SQL → -30 % de temps d’exécution → Après la course à l’ajout de serveurs pour couvrir le monde, on à pu commencer à en retirer
  • 12. Amélioration ● Mode Diff corrigés et améliorés ● Date du signalement à la date de l’extract → Utiliser le mode diff sur tous les pays
  • 13. Et le frontend ? ● Passage des signalements en tuiles vectorielles