Écriture parallèle de fichiers GeoTiff avec l'OTB

1. Rémi Cresson
Développement des
chaînes de traitement
d'images GEOSUD
Écriture parallèle de fichiers GeoTiff

2. Rémi Cresson
● Pipeline = graphe composé de :
– Data objects
● Image (rasters, ...)
● Mesh (shape, ...)
– Process
● Source (readers, ...)
● Filter
● Mapper (writers, ... )
Terminologie d'un pipeline

3. Rémi Cresson
Composant clef : Writer
otb::ImageFileWriter<TImage>
● Écrit un fichier unique
● Streaming paramétrable (taille/forme
des dalles)
● Supporte des noms de fichiers
étendus. Exemple : Path/Image.ext?
&key1=<value1>&key2=<value2>
– Box
– Compression JPEG2000
– ...

4. Rémi Cresson
Parallélisation d'un
pipeline streamable
● Avant :
Reader WriterBandMath Threshold
Reader MPIWriterBandMath Threshold
● Après :

5. Rémi Cresson
Writer séquentiel avec
passage de message
Reader MPIWriterBandMath Threshold
Reader MPIWriterBandMath Threshold
Reader MPIWriterBandMath Threshold
Reader MPIWriterBandMath Threshold
Process1
Process2
Process3
Process4
MPI_SEND
tif

6. Rémi Cresson
tif
Process1
Process2
Process3
Process4
t
read
processing
write
com
MPI_RECV() MPI_SEND()
Légende

7. Rémi Cresson
MPIWriter
MPIWriter
MPIWriter
Writer simultané avec
passage de message
Reader MPIWriterBandMath Threshold
Reader BandMath Threshold
Reader BandMath Threshold
Reader BandMath Threshold
Process1
Process2
Process3
Process4
tif1
tif2
tif3
tif4

8. Rémi Cresson
tif1
Process1
Process2
Process3
Process4
t
read
processing
write
Légende
tif2
tif3
tif4

9. Rémi Cresson
MPIWriter
MPIWriter
MPIWriter
Writer simultané avec
écriture parallèle
Reader MPIWriterBandMath Threshold
Reader BandMath Threshold
Reader BandMath Threshold
Reader BandMath Threshold
Process1
Process2
Process3
Process4
tif
MPI_FILE_
WRITE_AT

10. Rémi Cresson
tif
Process1
Process2
Process3
Process4
t
read
processing
write
Légende
Uniquement GeoTiff
non compressé

11. Rémi Cresson
Exemple du pipeline précédent : détection de l'eau sur une image SPOT5
// Déclaration des types des data objects
typedef OTBVectorImage<unsigned int> SPOTImageType ;
typedef OTBImage<double> NDVIImageType ;
typedef OTBImage<bool> MaskImageType ;
// Déclaration des process objects
OTBImageReader<SPOTImageType> reader
OTBBandMathFilter<SPOTImageType, NDVIImageType > bandMathFilter
ITKBinaryThresholdFilter<NDVIImageType , MaskImageType > thresholdFilter
OTBImageWriter<MaskImageType> writer
// Paramétrage des process objects
reader­>SetFileName('image_spot_ms.tif') ;
bandMathFilter­>SetExpression('(b1­b2)/(b1+b2)') ;
thresholdFilter­>SetLowerThreshold(­1) ;
thresholdFilter­>SetUpperThreshold(0) ;
thresholdFilter­>SetInsideValue(true) ;
thresholdFilter­>SetOutsideValue(false) ;
writer­>SetFileName('detection_eau.tif') ;
// Chainage des process objects
writer­>SetInput(thresholdFilter­>GetOutput()) ;
thresholdFilter­>SetInput(bandMathFilter­>GetOutput()) ;
bandmathFilter­>SetInput(reader­>GetInput()) ;
// Déclenchement du pipeline
writer­>Update() ;
Pour le développeur : avant

12. Rémi Cresson
Exemple du pipeline précédent : détection de l'eau sur une image SPOT5
// Déclaration des types des data objects
typedef OTBVectorImage<unsigned int> SPOTImageType ;
typedef OTBImage<double> NDVIImageType ;
typedef OTBImage<bool> MaskImageType ;
// Déclaration des process objects
OTBImageReader<SPOTImageType> reader
OTBBandMathFilter<SPOTImageType, NDVIImageType > bandMathFilter
ITKBinaryThresholdFilter<NDVIImageType , MaskImageType > thresholdFilter
OTBWithMPIImageWriter<MaskImageType> writer
// Paramétrage des process objects
reader­>SetFileName('image_spot_ms.tif') ;
bandMathFilter­>SetExpression('(b1­b2)/(b1+b2)') ;
thresholdFilter­>SetLowerThreshold(­1) ;
thresholdFilter­>SetUpperThreshold(0) ;
thresholdFilter­>SetInsideValue(true) ;
thresholdFilter­>SetOutsideValue(false) ;
writer­>SetFileName('detection_eau.tif') ;
// Chainage des process objects
writer­>SetInput(thresholdFilter­>GetOutput()) ;
thresholdFilter­>SetInput(bandMathFilter­>GetOutput()) ;
bandmathFilter­>SetInput(reader­>GetInput()) ;
// Déclenchement du pipeline
writer­>SetNumberOfMPIProcesses(MPI_NPROC) ;
writer­>SetCurrentMPIProcessId(MPI_RANK) ;
writer­>Update() ;
Pour le développeur : après*

13. Rémi Cresson
Autres composants à
« paralléliser »
● Utilisés actuellement : Composants de calcul de
statistiques (moy, std, min, max) sur une image:
communication des sommes, des sommes des
carrés, min, max de chaque instance
– gtb::StatisticsImageFilter
– gtb::StatisticalRegressionImageFilter
– gtb::StreamingStatisticsMosaicFilter - Fait
● Autres composants utilisés dans le futur ? (e.g.
chaînes de traitement pas encore développées :
segmentation, ...)

14. Rémi Cresson
Parallélisation d'un
pipeline
● Avant :
Reader WriterBandMath SSMF
Reader MPIWriterBandMath SSMFMPI
● Après :

15. Rémi Cresson
MPIWriter
MPIWriter
Reader MPIWriterBandMath SSMFMPI
Reader BandMath
Reader BandMath
Process1
Process2
Process3
gtb::StreamingStatistics
MosaicFilterMPI
SSMFMPI
SSMFMPI
MPI_ALLGATHER

16. Rémi Cresson
Pour le développeur : avant
...
mosaicImageStatisticsFilter­>SetInput(bandMathFilter­>GetOutput()) ;
writer­>SetInput(mosaicImageStatisticsFilter­>GetOutput()) ;
writer­>Update() ;

17. Rémi Cresson
...
mosaicImageStatisticsFilter­>SetInput(bandMathFilter­>GetOutput()) ;
mosaicImageStatisticsFilter­>SetNumberOfMPIProcesses(MPI_NPROC) ;
mosaicImageStatisticsFilter­>SetCurrentMPIProcessId(MPI_RANK) ;
writer­>SetInput(mosaicImageStatisticsFilter­>GetOutput()) ;
writer­>SetNumberOfMPIProcesses(MPI_NPROC) ;
writer­>SetCurrentMPIProcessId(MPI_RANK) ;
writer­>Update() ;
Pour le développeur : après

18. Rémi Cresson
Performances

19. Rémi Cresson
Inter-opérabilité
Serveur de calcul,
architecture HPC
hébergeant les
chaînes de
traitements
(exécutables)
Serveur
WPS
Client WPS
Utilisateur