Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce qui marche et ce qui ne marche pas !

@alexiskinsella#DevoxxGTFS
INTÉGRER ET EXPLOITER LE FORMAT DE
DONNÉES OUVERT GTFS. FAILS ET SUCCÈS,
CE QUI MARCHE ET CE QUI NE MARCHE PAS !
@alexiskinsella
Xebia, http://blog.xebia.fr
Alexis Kinsella

Plan
1. Présentation
2. Intégration
3. Exploitation

Présentation du standard GTFS

Signification
General Transit Feed Specification

Normalisation
Normalisé par en 2005

Définition
Format commun pour les informations d’horaires de
transports publics et données géographiques
associées.

Objectifs
Les flux de données GTFS permettent:
1. Aux agences de transport public de publier leur
données.
2. Aux développeurs d’écrire des applications qui
les consomment.

Horaires théoriques
La norme GTFS concerne les données théoriques
c’est à dire les horaires planifiés.

Le format GTFS
Un jeu de données est composé d’une série de
fichiers textes (au format CSV) rassemblés au sein
d’un fichier zip.

Horaires temps réel
Le format de données est basé sur protobuf … Oui, c’est :)
La norme GTFS-realtime complète la norme GTFS.
Elle vient amender les données théoriques par des
données temps réel.
Le format de données est basé sur protobuf … Oui, c’est Google :)

Qui ?
Les données GTFS sont fournies par les agences de
transport:
…

Pourquoi ?
Intérêt citoyen
Mouvance Open Data
Volonté politique (Etalab, …)

Licences
Elles sont multiples …
• Open Database License (ODbL) v1.0
• SNCF Open Data
• …
Et certaines réservent des surprises !

Licences
Droit d’audit
Comme prévu à l’article 15, la Communauté urbaine
de Lyon dispose d’un droit d’audit sur le système
d’information du Licencié.
« Oups ! »

Disparité de l’accès aux données
Certains jeux de données sont en accès libre …
D’autres sont accessibles après inscription et authentification :/
Pour d’autres, il faut déjà les trouver !

Disparité des jeux de données
Problèmes d’interprétation de la norme
Maturité des jeux de données assez inégale
Données sous forme de zip … Parfois même un zip dans un zip …

Facts
Entre 550Mo et 750Mo
Soit entre 11.866.989 et
15.747.594 lignes

Intégration
Mieux vaut être efficace …
Mais comment intégrer toutes ces lignes ?

Le temps de l’innocence
+ =

Le temps de l’innocence
Ok, Google, tu me trouves un script d’import ?

Avantages
Facile et rapide à mettre en place !
Fonctionne Out of the Box

Inconvénients
Mais ce n’est pas très rapide tout ça …

Benchmark simpliste …
Date Node.js MongoDB MongoDB Driver Durée
Juin 2014 0.10.22 2.6.1 1.3.19 22m41s

Inconvénients
Ah Oui, Node.js fonctionne sur 1 core …
Dommage ma machine en a 8 !
Ah ! Et mongo n’utilise qu’1 seul core pour écrire !

Benchmark simpliste …
Au fait, ça donne quoi sur un serveur ?

Serveur rack 6U ?

Ou plutôt un Raspberry PI ?

Benchmark, la suite …
Sur un VPS 3 Cores, 4Go OVH

Environs 55 minutes

Malheureusement, ce n’est pas viable :/

Alors, peut-on faire mieux ?

Benchmark, la suite
Clusteriser l’import et répartir le travail d’insertion ?

Benchmark, la suite
Pourquoi pas, mais pas forcement trivial :/
On utilise bien tous les cores mais l’amélioration de
performance n’est pas vraiment au rendez-vous …
ou

Premature optimization
is the root of all evil

Résultat
Beaucoup de temps perdu …
N’y a-t-il pas plus simple ?

Benchmark, la suite
Finalement,
le vrai point de contention est l’écriture en base de données
MongoDB occupe le core d’écriture à 100%

Alternative …
Alors quelle solution ?

Alternative …
Sharder MongoDB ?
Pas une solution si on a qu’un seul serveur à
disposition …

Alternative …
Réfléchissons à nouveau !

Alternative …
Relationnel, comme les bases de données SQL ?
GTFS -> Export de données relationnelles …

Une alternative à MongoDB …

Des atouts …
• Base de données relationnelle
• Insertion multi cores
• Support géo-spatial fortement amélioré avec
InnoDB en 5.7
• Très bonnes performances

Des défauts …
• Version 5.7 en Beta
• Support géo-spatial incomplet …
• Création coûteuse des index

Contourner les défauts
• Créer les index en fin de traitement
• Un schéma par dataset GTFS
• Utiliser la fonctionnalité: LOAD DATA INFILE !

Une alternative à Node.js …
Remplacer Node.js par Golang

Des avantages …
• Ultra performant
• Gestion de la concurrence efficace

Des inconvénients …
• Un IDE plutôt spartiate
• Un driver MySQL encore jeune

Le résultat ?
Temps de traitement:
9m10s en local
20m15s sur serveur
Index & structures de données complémentaires
compris …

Exploiter les données
Pour en faire quoi ?

Objectif
Trouver les stations les plus proches d’un point géographique
et afficher les prochains horaires de passage

Problème
Chercher toutes les informations en base est très coûteux.

Problème
Entre 3 secondes et 6 secondes pour une zone dense dans
Paris avec un rayon de 1000 mètres

Optimisations
Optimiser l’accès aux données ?
Oui, mais comment ?

Optimisations MySQL
Avec InnoDB, 2 paramètres influent essentiellement les
performances:
• innodb_buffer_pool_size = 6442450944
• max_connections = 512

Optimisations MySQL
•Travailler la performance des requêtes
•Utiliser des structures de données spécialisées
•Dénormaliser
•Mais surtout …

MySQL - Types des données
Réécrire les fichiers de données GTFS pour changer les clés
« varchar » ou « char » en clés de type « int »

Une solution complémentaire ?
Utiliser un cache ?

Pour quelles données ?

La solution ?
Mise en place de Redis en tant que cache mémoire

Problème
Le serveur utilisé dispose de resources mémoire limitées

Solution
LevelDB & dérivés

Solution
SSDB est une base de données en mode client / serveur
compatible avec le protocole Redis !
Replicable & load balançable
Avec un jeux d’instructions compatibles !

SSDB - Performance

Le code
Et le code source alors ?

Node.js & Express
L’API a été codée initialement avec Node.js & Express
Particulièrement intéressant
pour la construction d’API avec Express …

Node.js - Inconvénients
Néanmoins, Node.js n’aime pas les traitements coûteux en mémoire et CPU …
Par ailleurs, les différents drivers MySQL apparaissent peu performants

Node.js
Après diverses optimisations, les temps de traitement varient
toujours fortement.
Entre 780 ms et 1450 ms, ils restent long et coûteux

Node.js
Les solutions …

Node.js
Recoder l’API avec Golang !

Résultat
Temps de traitement réduits et plus réguliers
entre 550 ms et 770 ms

Golang - Avantages
Driver MySQL performant
Langage très performant pour la manipulation de données

Golang - Inconvénients
Dans un style très impératif,
il est peu adapté à la manipulation de données

@YourTwitterHandle@YourTwitterHandle@alexiskinsella#DevoxxGTFS
Q & A

Performances & Structures des données
Améliorer les structures de données exploitées.
Par exemple: Utiliser une taille fixe des structures de données en base, pour cela il
faut calculer la taille nécessaire à la création des tables

Performances & Structures des données
Supprimer les données inutiles ou en doublon

Base de données
Explorer les capacités de PostgreSQL vs MySQL
Performance, PostGIS, …

Fouiller le web
Le web regorge de resources sur le sujet …
GitHub en particulier !

Quelques sources de données …
•Data.gouv.fr: https://www.data.gouv.fr/fr/search/?q=gtfs
•GTFS Data Exchange : http://www.gtfs-data-exchange.com/agencies
•Navitia.io : http://navitia.io/datasets
•The Transit App: http://thetransitapp.com/wishlist

Xebia France
http://blog.xebia.fr/

Resources
• Open data stickers:
http://upload.wikimedia.org/wikipedia/commons/c/cc/Open_Da
ta_stickers.jpg
• Images de la série South Park, des films Inception & Austin
Powers
• http://en.wikipedia.org/wiki/Rage_comic
• http://www.iconarchive.com/show/flat-file-type-icons-by-
pelfusion/zip-icon.html
• Benchmark du site ssdb.io
• Quelques sources inconnues, désolé …

Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce qui marche et ce qui ne marche pas !

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce qui marche et ce qui ne marche pas !

Similaire à Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce qui marche et ce qui ne marche pas ! (20)

Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce qui marche et ce qui ne marche pas !

Notes de l'éditeur