Pérennisation et mise à disposition
des données de l'Observatoire de
Recherche Méditerranéen de
l'Environnement
ADBS - Jul...
Plan
● Contexte
● Méthodologie
● Construction des bases de données
● Diffusion des données (si temps)
● Bilan
Contexte
© J. Roy - CNRS
L'OSU OREME
Unité Mixte de Service
Structure transverse :
● 40 Tâches d'Observation
● 17 Services d'Observation
● 6 labora...
Spécificité des données
d'observation

Persistance critique
→ Stocker, sauvegarder, archiver
→ Surveiller (intéruption/dy...
Données d'observation

Besoin d'outils de visualisation & navigation
→ Espace : outils SIG
→ Temps : graphiques (séries t...
Un contexte hétérogène
● Disciplines variées
● Types de données
● Méthodes d'acquisition
● Fréquences
● Volumes
Hydrologie...
Et des moyens restreints
● Personnel OSU OREME
● Contacts dans les laboratoires
 1 IR permanent : chef de projet, BDD, ad...
Méthodologie
© CNRS Photothèque / DARS Jean-François
Des bases de données
● Relationnelles
 Structuration
 Persistence
 Intégrité
 Robustesse
 Requêtage, vues
 Interopér...
Mutualisation & Pragmatisme
● Mutualisation
● Pragmatisme
 Des développements : BDD, outils, web
 Des compétences : expé...
Identifier ...
● Les contacts
● Les traitements
 Types, formats
 Acquisition : méthodes, fréquences, volumes
 Standards...
Développer ...
● Les bases de données
 Conception, description
● Les outils de diffusion
 Visualisation, export
A
L
L
E
...
Construction des BDD
© CNRS Photothèque / FOURNIER Jérôme
Outils et modèles
Outils et modèles
DONNEES
DESCRIPTEURS
STANDARDS (référentiels, thésaurus, ontologies, ..)
METADONNEES standards / normées...
Outils et modèles
DONNEES
Outils et modèles
DONNEES
DESCRIPTEURS
Outils et modèles
DONNEES
DESCRIPTEURS STANDARDS
Quelles données ?
Corrigées, calculées, …,
synthétisées, validées
Niveau 0
Niveaux 1, 2 ...
Données brutes
Quelles données ?
Corrigées, calculées, …,
synthétisées, validées
• Motivation : Interpréter, analyser
• Publics visés : M...
Quelles données ?
● Notre choix : stocker tous les niveaux de
données en base de données
● Niveau 0 : tables
● Niveaux 1, ...
Décrire et enrichir
● Décrire
● Utiliser des standards
Référentiels, vocabulaires contrôlés, thésaurus, mots-
clés, ontolo...
Décrire et enrichir
Concepts Standards, référentiels,
vocabulaires,
thésaurus ..
Qui Personnes, Organisations
Où Sites, st...
Décrire et enrichir
Concepts Standards, référentiels,
vocabulaires,
thésaurus ..
Qui Personnes, Organisations
Où Sites, st...
Décrire et enrichir
● Ex1 : Utilisation du référentiel WoRMS
(Registre mondial des espèces marines)
→ Fiches descriptives ...
Décrire et enrichir
● Ex1 : Utilisation du référentiel WoRMS
(Registre mondial des espèces marines)
Décrire et enrichir
● Ex1 : Utilisation du référentiel WoRMS
(Registre mondial des espèces marines)
Décrire et enrichir
● Ex2 : Utilisation du référentiel Carthage
(Réseau hydrographique, IGN)
→ Fiche descriptive sur le SA...
Décrire et enrichir
● Ex2 : Utilisation du référentiel Carthage
(Réseau hydrographique, IGN)
Alimenter les BDD
● Données en continu (fichiers texte)
● Données ponctuelles (fichiers texte / Excel,
photos, ..)
 Acqui...
Diffusion des données
© CNRS Photothèque / EDYTEM / JAILLET Stéphane
Graphiques dynamiques
● Séries temporelles interactives (lib. dygraphs)
Modèle de description des graphiques
thèmes, group...
Graphiques dynamiques
● Séries temporelles interactives (lib. dygraphs)
Export des données + descripteurs +
conditions d'u...
Graphiques dynamiques
● Graphiques R interactifs (lib. Shiny)
Galeries photo
Recherche à facettes
Cartographie en ligne
● Serveur cartographique Geoserver
● Clients
 Standards OGC
 Web services géographiques WMS, WFS
=...
Cartographie en ligne
● Cartes “simples” de stations et descriptions
Cartographie en ligne
● Portail cartographique
Cartographie en ligne
● Portail cartographique : stations + données
Diffusion des descripteurs
● Outil CRUD : Create, Read, Update, Delete
Catalogage
Données géographiques
ISO 19115 > INSPIRE
Serveurs de catalogage
Géosource / Geonetwork
Données écologiques
EML...
Catalogage
Convertir en INSPIRE
Description de haut
niveau … mais norme,
obligatoire
Décrire en EML
Niveau attributaire :
...
Bilan
© Claire Carré
Les freins
● Disponibilité et motivation des producteurs de
données
→ Fournir les descriptions, les infos
→ Formater les d...
Les freins
→ Temps moyen de constitution des systèmes
d'information : 2 ans
● Communication producteur - informaticien
→ V...
Des clés ?
→ Plusieurs projets de bases de données en
parallèle
Si un seul projet :
● Réunions hebdomadaires, voire journa...
Prochain SlideShare
Chargement dans…5
×

Pérennisation et mise à disposition des données de l’Observatoire de recherche méditerranéen de l’environ nement (OSU-OREME)

1 167 vues

Publié le

Pérennisation et mise à disposition des données de l’Observatoire de recherche méditerranéen de l’environ nement (OSU-OREME)
Juliette Fabre et Olivier Lobry [OSU-OREME - CNRS]

Publié dans : Formation
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 167
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
27
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Pérennisation et mise à disposition des données de l’Observatoire de recherche méditerranéen de l’environ nement (OSU-OREME)

  1. 1. Pérennisation et mise à disposition des données de l'Observatoire de Recherche Méditerranéen de l'Environnement ADBS - Juliette Fabre & Olivier Lobry - 16/01/15 © Arnaud Martin
  2. 2. Plan ● Contexte ● Méthodologie ● Construction des bases de données ● Diffusion des données (si temps) ● Bilan
  3. 3. Contexte © J. Roy - CNRS
  4. 4. L'OSU OREME Unité Mixte de Service Structure transverse : ● 40 Tâches d'Observation ● 17 Services d'Observation ● 6 laboratoires
  5. 5. Spécificité des données d'observation  Persistance critique → Stocker, sauvegarder, archiver → Surveiller (intéruption/dysfonctionnement chaîne de traitement)  Interprétation et traitement de la donnée → Décrire les protocoles, les instruments, les traitements .. → Qualification de la données  Besoin de valoriser, partager, rendre visible → Cataloguer, référencer, identifier → Décrire les jeux de données → Diffuser : visualiser & exporter Impossible de re-générer les données Chaine de traitement : calibration, correction, validation, ...
  6. 6. Données d'observation  Besoin d'outils de visualisation & navigation → Espace : outils SIG → Temps : graphiques (séries temporelles)  Besoin d'interopérabilité → Respecter les normes et standards (OGC, formats, métadonnées ...) - Au niveau applicatif (traitements, modèles, visualisation, ...) - Avec d'autres bases de données (croisement, appartenance) - Interpréter, corriger, corréler, surveiller - 2 dimensions : temps & espace
  7. 7. Un contexte hétérogène ● Disciplines variées ● Types de données ● Méthodes d'acquisition ● Fréquences ● Volumes Hydrologie, biologie, physique, ... Analyses génétiques ou physico-chimiques, observations visuelles, photos, données carto .. Manuelle / visuelle, capteurs, .. Qq fois / an → 10 Hz Mo → To ● Besoins, méthodes Qualité, visibilité, outils, …
  8. 8. Et des moyens restreints ● Personnel OSU OREME ● Contacts dans les laboratoires  1 IR permanent : chef de projet, BDD, admin système  1 IE contractuel : BDD, SIG, web  ½ IE contractuel : design web
  9. 9. Méthodologie © CNRS Photothèque / DARS Jean-François
  10. 10. Des bases de données ● Relationnelles  Structuration  Persistence  Intégrité  Robustesse  Requêtage, vues  Interopérabilité ● Spécifiques mais interopérables  Pas de solution générique  Outils adaptés à chaque spécificité  Capitalisation (savoirs-faire, outils, ...)
  11. 11. Mutualisation & Pragmatisme ● Mutualisation ● Pragmatisme  Des développements : BDD, outils, web  Des compétences : expériences, connaissances ...  De la gestion : admin serveurs, SAN  Ré-utilisabilité des développements à moyen terme
  12. 12. Identifier ... ● Les contacts ● Les traitements  Types, formats  Acquisition : méthodes, fréquences, volumes  Standards du domaine (référentiels, vocabulaires) ● Les données d'intérêt ● Les méthodes de diffusion  Filtres, corrections, traitements ...  Niveaux de données (corrigées, traitées, validées, ...)  Graphiques, export numérique, cartes, ..  Ouverture des données (embargo, conditions d'utilisation ..) A L L E R - R E T O U R S
  13. 13. Développer ... ● Les bases de données  Conception, description ● Les outils de diffusion  Visualisation, export A L L E R - R E T O U R S  Métadonnées, catalogage  Alimentation  Traitements
  14. 14. Construction des BDD © CNRS Photothèque / FOURNIER Jérôme
  15. 15. Outils et modèles
  16. 16. Outils et modèles DONNEES DESCRIPTEURS STANDARDS (référentiels, thésaurus, ontologies, ..) METADONNEES standards / normées Ré-utilisabilité / Interopérabilité
  17. 17. Outils et modèles DONNEES
  18. 18. Outils et modèles DONNEES DESCRIPTEURS
  19. 19. Outils et modèles DONNEES DESCRIPTEURS STANDARDS
  20. 20. Quelles données ? Corrigées, calculées, …, synthétisées, validées Niveau 0 Niveaux 1, 2 ... Données brutes
  21. 21. Quelles données ? Corrigées, calculées, …, synthétisées, validées • Motivation : Interpréter, analyser • Publics visés : Métier + public • Motivation : Pérenniser, re-générer les données traitées • Public visé : Experts Niveau 0 Niveaux 1, 2 ... Données brutes
  22. 22. Quelles données ? ● Notre choix : stocker tous les niveaux de données en base de données ● Niveau 0 : tables ● Niveaux 1, 2, et + : tables, vues matérialisées ou non
  23. 23. Décrire et enrichir ● Décrire ● Utiliser des standards Référentiels, vocabulaires contrôlés, thésaurus, mots- clés, ontologies → Garantir interopérabilité → Enrichir les données, déduire de l'information → Assurer compréhension et ré-utilisabilité Qui, pourquoi, où, comment, quoi ?
  24. 24. Décrire et enrichir Concepts Standards, référentiels, vocabulaires, thésaurus .. Qui Personnes, Organisations Où Sites, stations Géographie BD Geofla BD Carthage Pourquoi Projets, Cadres métier GEMET, EnvThes Comment Types de mesure Types d'instruments GCMD Quoi Paramètres / variables Unités Unit SI Descripteurs métier Taxons, Gènes, ... WoRMS, NCBI
  25. 25. Décrire et enrichir Concepts Standards, référentiels, vocabulaires, thésaurus .. Qui Personnes, Organisations Où Sites, stations Géographie BD Geofla BD Carthage Geonames ISO3166-1 (pays) Pourquoi Projets, Cadres métier GEMET, EnvThes, AGROVOC Comment Types de mesure Types d'instruments GCMD Unit SI Unit Ontology, OM Ontologies & thésaurus métier / de haut niveau ( PO, O&M, OBOE, ..) Quoi Paramètres / variables Unités Descripteurs métier Taxons, Gènes, ... WoRMS, NCBI Linked Open Vocabularies : LOV
  26. 26. Décrire et enrichir ● Ex1 : Utilisation du référentiel WoRMS (Registre mondial des espèces marines) → Fiches descriptives sur WoRMS et autres (MarBEF) http://www.marinespecies.org/aphia.php?p=taxdetails&id=106656 → Web services : récupération de la classification → Observations de communautés microbiennes → WoRMS : identifiant de taxon = AphiaID
  27. 27. Décrire et enrichir ● Ex1 : Utilisation du référentiel WoRMS (Registre mondial des espèces marines)
  28. 28. Décrire et enrichir ● Ex1 : Utilisation du référentiel WoRMS (Registre mondial des espèces marines)
  29. 29. Décrire et enrichir ● Ex2 : Utilisation du référentiel Carthage (Réseau hydrographique, IGN) → Fiche descriptive sur le SANDRE http://services.sandre.....fiche_courdo.php?CdSandre=Y32-0400 → Web services géographiques, couches spatiales → Echantillonnage de truites → BD Carthage : identifiant d'entités hydrographiques → Arbre confluence / affluence d'un cours d'eau
  30. 30. Décrire et enrichir ● Ex2 : Utilisation du référentiel Carthage (Réseau hydrographique, IGN)
  31. 31. Alimenter les BDD ● Données en continu (fichiers texte) ● Données ponctuelles (fichiers texte / Excel, photos, ..)  Acquisition depuis serveurs / PC distants  Vérification et insertion en continu  Systèmes d'alerte par mail  Dépôt de fichiers sur FTP puis insertion via site Web  Ou upload et insertion en ligne ● Carnets de terrain électroniques
  32. 32. Diffusion des données © CNRS Photothèque / EDYTEM / JAILLET Stéphane
  33. 33. Graphiques dynamiques ● Séries temporelles interactives (lib. dygraphs) Modèle de description des graphiques thèmes, groupes, graphiques, variables, discriminants => Pages web génériques
  34. 34. Graphiques dynamiques ● Séries temporelles interactives (lib. dygraphs) Export des données + descripteurs + conditions d'utilisation
  35. 35. Graphiques dynamiques ● Graphiques R interactifs (lib. Shiny)
  36. 36. Galeries photo Recherche à facettes
  37. 37. Cartographie en ligne ● Serveur cartographique Geoserver ● Clients  Standards OGC  Web services géographiques WMS, WFS => Diffusion de données interopérables  SIG bureau (GQIS)  OpenLayers  OpenLayers + Ext JS = GeoExt
  38. 38. Cartographie en ligne ● Cartes “simples” de stations et descriptions
  39. 39. Cartographie en ligne ● Portail cartographique
  40. 40. Cartographie en ligne ● Portail cartographique : stations + données
  41. 41. Diffusion des descripteurs ● Outil CRUD : Create, Read, Update, Delete
  42. 42. Catalogage Données géographiques ISO 19115 > INSPIRE Serveurs de catalogage Géosource / Geonetwork Données écologiques EML Serveur de catalogage Metacat Client DEIMS (et Morpho) Documentation, Administrations, .. Dublin Core (ISO 15836) ● Quelques schémas de métadonnées et outils
  43. 43. Catalogage Convertir en INSPIRE Description de haut niveau … mais norme, obligatoire Décrire en EML Niveau attributaire : paramètres, unités, … → ré-utilisabilité ! ● Le choix ?  Outils + ou – matures et ergonomiques …  Test de Metacat  DEIMS à tester (cf LTER DEIMS)
  44. 44. Bilan © Claire Carré
  45. 45. Les freins ● Disponibilité et motivation des producteurs de données → Fournir les descriptions, les infos → Formater les données → Tester et faire des retours sur les développements ● Disponibilité et format des données → Différents degrés de motivation : ● Respecter les obligations de mise à disposition ● Valoriser ses travaux ● Disposer d'outils de travail
  46. 46. Les freins → Temps moyen de constitution des systèmes d'information : 2 ans ● Communication producteur - informaticien → Vocabulaire, vulgarisation → Compréhension des besoins ● Coût de montée en compétences → Compréhension des thématiques, relationnel → Besoins, outils, méthodes, ...
  47. 47. Des clés ? → Plusieurs projets de bases de données en parallèle Si un seul projet : ● Réunions hebdomadaires, voire journalières au début ● Plusieurs personnes contact identifiées → Mettre la main dans les données pour accélérer ! → Motiver les producteurs : outils, valorisation → Capitaliser les savoirs-faire : équipe pérenne

×