infrastructures de données geosud : des standards à la réalité

1. Infrastructure de données spatiales et
de traitements GEOSUD :
des standards à la réalité
Jean-Christophe Desconnets (ESPACE-DEV, IRD)
Jean-christophe.desconnets@ird.fr
ids.equipex-geosud.fr

2. Contexte
2

3. Genèse du projet
Un constat de sous-utilisation de l’imagerie satellitaire
Des freins multiples
• Coûts unitaires, complexité, compétences...
Des opportunités dues aux progrès technologiques
• Normes et infrastructures de données, Cloud, images THRS &
GMES/Copernicus
Ambition de GEOSUD : démocratiser l’utilisation de l’imagerie
• de la « haute couture » au « prêt-à-porter »
• MUTUALISER, DEMULTIPLIER: coûts partagés, mise en réseau des
compétences

4. Deux unités de production
Images Pléiades:
- Orthoimages Calées sur le RGE®
- Cibles à enjeu
- Mosaïque sur certains territoires
- (ROM/COM)
Couvertures nationales mosaiquées:
- Calées sur le RGE®
- RapidEye 2010, 2011
- SPOT5/6 2013
- SPOT6/7 2014, 2015
Couvertures nationales
- Rapideye et SPOT5, 6, 7 (2005 –
2019) PAN, MS, Fusion
Images ciblées
- Pays du Sud
- Landsat 8, Radar, LIDAR
Couvertures régionales
- Deux-Sèvres
- Languedoc-Roussillon

5. Initialement deux unités de diffusion
geosud.teledetection.fr
Orientée « utilisateurs
scientifiques »
geosud.ign.fr
Orientée « utilisateurs
institutionnels »

6. 6
Pôle Théia : une fédération de centres de données
Product
ion
Distribu
tion
Product
ionDistrib
ution
IDS Montpellier
IDS IGN Paris
Distrib
ution
Product
ion
Interface
d’accès
Metaca
talogue
Portail
Web
Authent
ification
MUSCATE
IDS GEOSUDIDS CNES Toulouse
Composantes
mutualisées
Product
ion
Extension
GEOPORTAIL
HYSOPE

7. Besoins et exigences :
« de 2 ans à 2 heures »

8. Diffuser de gros volumes de données
8
Recherche adaptée
à des non
spécialistes
Visualisation
1:1
Téléchargement
Horizon 2019 : environ 20 000 images HR et THR
(entre 50 - 100 To)
Calcul à la
demande et
production de
cartes
thématiques

9. Assurer l’interopérabilité des services d’accès
9
Dans un contexte national et international
International EO community
European environmental
community

10. Flux entre les différentes plateformes
GEOSEMINAIRE 2013 10Services d’accès aux images et aux traitements
10
Portail
Web
Portail
Web
Metaca
talogue
Iden%ty
Provider
SSO
moissonnage
découverte
moissonnage
téléchargement
visu téléchargement
visu
authentification

11. Approche adoptée
GEOSEMINAIRE 2013 11Services d’accès aux images et aux traitements
11

12. Standardisation des services d’accès
GEOSEMINAIRE 2013 12Services d’accès aux images et aux traitements
12
Rôle central des métadonnées : apporte les
informations pour couvrir l’ensemble des fonctionnalités
Workflows pour assurer l’harmonisation et la
production continue de flux standardisés (OGC
CSW, WMS, WMTS, WCS)
Exploitation
Exploration
Découverte
Utilisateurs
Métadonnées
Services géographiques standards
Découverte, visualisation, accès, traitements

13. Hiérarchie des ressources GEOSUD
GEOSEMINAIRE 2013 13Services d’accès aux images et aux traitements
13
Pour assurer une gestion automatisée par lot
Campagne
d’acquisition
Collection
Image Image::SPOT6-BRUTE_MS-2016-06-03
Collection::France-2016-SPOT6-BRUTE_MS
Campagne::France-2016-SPOT6

14. Un modèle « pivot » et des crosswalks
GEOSEMINAIRE 2013 14Services d’accès aux images et aux traitements
14
Différents schémas de métadonnées
 Exposer les métadonnées pour différentes communautés d’utilisateurs

15. Un objectif
Rendre le processus de découverte et de sélection des images
sémantiquement et ergonomiquement plus « accessibles » pour les
utilisateurs
15
Deux approches
 Durant la phase d’harmonisation : on ajoute des annotations aux
métadonnées
 Durant la phase d’indexation : on adapte le vocabulaire pour diminuer la
« fracture » sémantique entre vocabulaire producteur et utilisateur
Enrichir et adapter les métadonnées

16. La fracture sémantique...

17. La fracture sémantique...

18. La fracture sémantique...

19. « Process » d’harmonisation et de production des
flux standardisés
tuilage, pyramidage
Harmonisation, annotation,
indexation
mise en forme, stockage archivage
pérenne
Accès aux données par les
services GEOSUD - OK

20. Mise en œuvre de l’infrastructure GEOSUD

21. Point d’accès aux données GEOSUD depuis 2016
Accès à l’ensemble des
données via un point
unique
Portail
Web
Portail
Web
21
Serveur
d’identité
THEIA

22. Recherche sémantique, visualisation pleine résolution et
téléchargement

23. Applications pour le pilotage de l’IDS

24. IDS GEOSUD : Quelques chiffres
• Environ 7000 images HR, THR au Catalogue (RapidEye, SPOT5, 6,7,
Pleiades) de 2003 à 2016 sur le territoire métropolitain et pays du
SUD
• Plus de 400 adhérents GEOSUD : laboratoires, services de l’état,
collectivités, associations
• Centaines de connexions/jour
• Plusieurs Go téléchargés/jour

25. Infrastructure de données et de
traitements (IDS V2)

26. Cibles et Objectifs
Cible actuelle
• Adhérents GEOSUD experts en traitements d’images
• Complément à la diffusion d’images HR et THR (IDS V1)
• Conception générique pour anticiper les évolutions (environnement
distribué)
Objectifs : Faciliter les activités d’analyse des images
• S'affranchir de l'étape de téléchargement de l'image et du résultat
• Masquer, en partie, la complexité de la démarche allant du choix de l'image
à l'exécution du traitement
• Optimiser les temps d’exécution des traitements en tirant parti d’un cluster
de calcul (Meso@LR)

27. Quels traitements ?
 Traitements utilitaires basiques
 Découpes d’images, extraction de
bandes
 Concaténation, mosaiquage
 Calculatrice raster, extraction de
stats
 ...
 Traitements utilitaires avancés
 Filtrage, rééchantillonage
 Fusion panchromatique
 Réfléctance TOA, indices
radiométriques
 Classification, segmentation
 ...
 Chaîne de traitements thématiques
 Détection des coupes rases
 ...
Classification
Détection des coupes rases

28. IDSv2 - Fonctionnalités
 Intégration des traitements (programmes informatiques)
 Deploiement sur un environnement HPC
 Créer des métadonnées
 Indexation
 Diffusion des traitements
 Recherche:
 Catalogage et indexation des traitements
 Filtrage Images/traitements
 Assistance au paramétrage: formulaire contraint, pré-remplissage
 Exécution déportée sur une structure de calcul distante (HPC@LR)
 Suivi d’exécution: état d’avancement, historique
 Récupération des résultats
 IHM Web pour la recherche et l’exécution des traitements
 Recherche traitements et images compatibles (et vice et versa)
 Paramétrage et exécution des traitements
 Historisation des traitements (rejouer les traitements et les données)
 Gestion des ressources de calcul et des quotas de données

29. • Complète les services par un WPS
(Web Processing Service)
Portail
Web
WPS
29
Portail
Web
Serveur
d’identité
THEIA
Services de traitements

30. Architecture (IDSv1 + v2)
WEB
intégration
stockage
Portail
Geosud
MTD
CINES
HPC@LR
WPS
diffusion
archivage
HPC
frontal
frontal

31. Réalisations
A l’état de l’art sur les standards d’interopérabilité et des techniques
d’optimisation de calcul HPC
Architecture de l’IDS V2 GEOSUD

32. Réalisations
Démonstration sur la base de deux scénarii :
• Segmentation large échelle
• Combiner deux traitements (Indice radiométrique et seuillage) pour cartographier les zones en eau
https://youtu.be/lSwL9PhPHIc
Tags : geosud, image satellite, traitement à la demande,
theia, plateforme web