Recherche d’images similaires dans des
bases radiologiques :
Application aux séquences d’IRM des
masses ovariennes
Yankı S...
Remerciements
Tout d’abord, je voudrais remercier mes respectables encadrants Camille Kurtz, Florence
Cloppet et Laure Fou...
Table des matières
Liste des figures i
Liste des tableaux iii
Liste des notations iv
1 Introduction 1
2 Contexte du stage 3...
4.2 Annotation des images de la base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3 Indexation sur les R...
Liste des figures
1 Différents types de lésions ovariennes sur des séquences IRM (les lésions sont entou-
rées en rouge) . ....
19 Résultats des stratégies de fusion séquentielle de caractéristiques pour un cyst pré-
sentés sur la page html . . . . ....
Liste des tableaux
1 Tableau récapitulatif des relations entre apparence visuelle des lésions sur chaque
type de séquence ...
Liste des notations
AIM Annotation and Image Markup
BoW Bag Of Words
Traduction française : Sacs de mots
CBIR Content-Base...
RF Relevance Feedback
Traduction française : Retour de Pertinence
ROI Region Of Interest
Traduction française : Région d’i...
1 Introduction
C’est dans le cadre de mon Master 2 Informatique, spécialité Image, de l’Université Pierre
et Marie Curie (...
1 Introduction
cet outil pour la recherche de séquences IRM de masses ovariennes. Autrement dit, étant donné un
nouvel exa...
2 Contexte du stage
Actuellement les images médicales représentent 30% du stockage des données dans le monde
entier [55]. ...
2 Contexte du stage
2.2 Exploiter les bases d’images radiologiques
Dans le cadre d’une collaboration avec Laure Fournier, ...
2 Contexte du stage
pas à chaque fois 4 séquences est dû à un biais d’acquisition réalisé par les radiologues : quand ils
...
2 Contexte du stage
contient de 20 à 300 images selon la difficulté que les kystes présentent. Après avoir assisté à une
séa...
2 Contexte du stage
Ces observations peuvent être visuelles à partir des images ou peuvent être déduites à partir des
info...
2 Contexte du stage
la région d’intérêt (ROI) qui, dans notre cas, est la lésion et non l’image entière. Nous ne devons
pr...
2 Contexte du stage
2.3.5 Objectifs du stage
2.3.5.1 Objectif méthodologique
Dans le contexte du projet iCBMIR, l’objectif...
3 Approches existantes pour la recherche d’images simi-
laires dans des bases de données
De nos jours, le développement im...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
de Riesz. Ce descripteur, permet de...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
Rang 1
Base de données
d'image (PAC...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
leurs en CBIR était faite en 1991 p...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
Il existe un grand nombre de mesure...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
Base de données
d'image (PACS) Extr...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
fortement lié aux caractéristiques ...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
3.2.3 Approches de fusion des carac...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
de faire la recherche pour chaque c...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
descripteurs de couleurs et de text...
3 Approches existantes pour la recherche d’images similaires dans des bases de données
sur des IRM qui sont représentées a...
4 Méthode proposée de recherche de cas similaires avec une
requête multi-séquences
4.1 Grandes étapes de la méthode
Comme ...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
1 - Annotation des lésions
de la requête...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
4.2 Annotation des images de la base
L’a...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
ces annotations dans un fichier archivé c...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
d’échographies de kystes ovariens basée ...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
Figure 9 – Schéma de l’algorithme des mo...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
4.3.3 Descripteur de texture : pyramide ...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
stockés dans le fichier d’annotation AIM ...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
calculons ensuite la similarité des séqu...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
où Hi représente la ième
barre de l’hist...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
dt(p, q) =
p · q
p 2 + q 2 − p · q
Requê...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
4.4.2 Approches multi-descripteurs, mult...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
Pour prendre les moyennes des distances ...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
Cette dernière stratégie est une fusion ...
4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence
des descripteurs d’une séquence. C’est-à...
4Méthodeproposéederecherchedecassimilairesavecunerequêtemulti-séquence
Requête
𝐺𝐿𝐻
PACS
. . .
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆 < 𝑥1, 𝑥2,.., 𝑥 𝑛...
4Méthodeproposéederecherchedecassimilairesavecunerequêtemulti-séquence
Requête
𝐺𝐿𝐻
𝐿𝐵𝑃
𝑃𝐻𝑂𝐺
𝑇𝑆 < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, ...
5 Validation expérimentale
Pour évaluer l’intérêt de notre approche de recherche de cas similaires, nous avons appliqué
ce...
5 Validation Expérimentale
descripteurs implémentés.
Les concepts fondamentaux dans Lucene sont index, document, champ et ...
5 Validation Expérimentale
les masses ovariennes, des images DICOM et à binariser ces informations pour créer des document...
5 Validation Expérimentale
Par contre, cette interface n’était pas adaptée pour visualiser des recherches multi-images.
Pu...
5ValidationExpérimentale
Figure 18 – Résultats des stratégies de fusion de caractéristiques pour un tératome présentés sur...
5ValidationExpérimentale
Figure 19 – Résultats des stratégies de fusion séquentielle de caractéristiques pour un cyst prés...
5 Validation Expérimentale
Une fois que nous avons implémenté mes algorithmes, nous pouvons appliquer notre protocole
expé...
5 Validation Expérimentale
Nous utilisons également le f-mesure (i.e. f-score) qui est la moyenne harmonique entre la
préc...
5 Validation Expérimentale
en étant similaire, reste en dessous de l’évaluation par la distance de Tanimoto car la distanc...
5 Validation Expérimentale
TANIMOTO MANHATTAN EUCLIDIENNE
Précision Rappel F-mesure Précision Rappel F-mesure Précision Ra...
5 Validation Expérimentale
fait la précision alors que pour les kystes simples, c’est la distance Manhattan (cf. Table 6)....
5 Validation Expérimentale
d’intersection.
Ainsi, pour pouvoir mesurer la similarité entre le descripteur sémantique du ca...
5 Validation Expérimentale
5.3.2 Mesures de performances des approches multi-descripteurs, multi-séquences
Nous allons mai...
5 Validation Expérimentale
Figure 24 – Mesures de performance globale de l’approche multi-descripteurs, multi-séquences —
...
5 Validation Expérimentale
moyennes des rangs.
Figure 25 – Mesures de performance globale de l’approche multi-descripteurs...
LIPADE_Report
LIPADE_Report
LIPADE_Report
LIPADE_Report
LIPADE_Report
LIPADE_Report
LIPADE_Report
LIPADE_Report
Prochain SlideShare
Chargement dans…5
×

LIPADE_Report

13 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
13
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
0
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

LIPADE_Report

  1. 1. Recherche d’images similaires dans des bases radiologiques : Application aux séquences d’IRM des masses ovariennes Yankı Sesyılmaz Université Pierre et Marie Curie Master 2 Informatique Spécialité Image Encadrants de stage : Camille Kurtz, Florence Cloppet, Laure Fournier Correspondante de stage : Isabelle Bloch Responsable de stage : Séverine Dubuisson 1er Mars 2016 - 31 Août 2016 Soutenance prévue le 12 Septembre 2016 Ce stage est financé par le projet interdisciplinaire “Imageries du Vivant” (USPC)
  2. 2. Remerciements Tout d’abord, je voudrais remercier mes respectables encadrants Camille Kurtz, Florence Cloppet et Laure Fournier, de m’avoir orientée avec patience et de me soutenir avec leurs connais- sances et expériences au cours de la réalisation de ce projet. Je souhaiterais également remercier ma correspondante de stage, Isabelle Bloch, pour son aide et pour le suivi de mon stage. De même, je souhaite remercier ma responsable de stage, Séverine Dubuisson, pour l’intérêt qu’elle a apporté à ce stage. Je tiens à remercier particulièrement toutes les membres de l’équipe SIP du laboratoire LIPADE, qui étaient présents ces 6 mois avec leur disponibilité, leur enthousiasme et leur bonne humeur. Merci aussi à ma famille et à mon ami Erol Köseoğlu, pour leur soutien et leur énorme patience. Enfin, je remercie le projet Imageries du Vivant pour financer ce stage.
  3. 3. Table des matières Liste des figures i Liste des tableaux iii Liste des notations iv 1 Introduction 1 2 Contexte du stage 3 2.1 Aide à la prise de décision en routine radiologique . . . . . . . . . . . . . . . . . . . 3 2.2 Exploiter les bases d’images radiologiques . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 Cas à étudier : séquence d’images IRM de masses ovariennes . . . . . . . . . . . . . . 4 2.3.1 Types de kystes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.2 Types de séquences IRM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.3 Identification des types de masses ovariennes . . . . . . . . . . . . . . . . . . 6 2.3.4 Annotation des images de masses ovariennes . . . . . . . . . . . . . . . . . . 7 2.3.5 Objectifs du stage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 Approches existantes pour la recherche d’images similaires dans des bases de données 10 3.1 Recherche d’images par métadonnées . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2 Recherche d’images par le contenu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.1 Approches générales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.2.2 Approches dans l’imagerie médicale . . . . . . . . . . . . . . . . . . . . . . . 15 3.2.3 Approches de fusion des caractéristiques visuelles et sémantiques . . . . . . . 17 3.2.4 Approches de recherche multi-images . . . . . . . . . . . . . . . . . . . . . . . 18 3.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4 Méthode proposée de recherche de cas similaires avec une requête multi- séquences 21 4.1 Grandes étapes de la méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
  4. 4. 4.2 Annotation des images de la base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.3 Indexation sur les ROIs : extraction des caractéristiques visuelles . . . . . . . . . . . 24 4.3.1 Descripteur de couleur : histogramme de niveaux de gris . . . . . . . . . . . . 25 4.3.2 Descripteur de texture : motifs binaires locaux . . . . . . . . . . . . . . . . . 25 4.3.3 Descripteur de texture : pyramide d’histogrammes de gradients orientés . . . 27 4.3.4 Descripteur sémantique : termes sémantiques . . . . . . . . . . . . . . . . . . 27 4.3.5 Indexation sur la région d’intérêt . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.4 Recherche de cas similaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.4.1 Approche mono-descripteur, multi-séquences . . . . . . . . . . . . . . . . . . 28 4.4.2 Approches multi-descripteurs, multi-séquences . . . . . . . . . . . . . . . . . 32 5 Validation expérimentale 38 5.1 Implémentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 5.2 Protocole expérimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 5.3 Analyse des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.3.1 Choix de la mesure de similarité sur les résultats mono-descripteur, multi- séquences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.3.2 Mesures de performances des approches multi-descripteurs, multi-séquences . 50 6 Conclusion 54 6.1 Bilan des travaux réalisés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 6.2 Limites de l’approche développée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 6.3 Perspectives de recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Références 56
  5. 5. Liste des figures 1 Différents types de lésions ovariennes sur des séquences IRM (les lésions sont entou- rées en rouge) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 Différents types de séquence IRM représentant un endométriome . . . . . . . . . . . 6 3 Schéma général de l’algorithme de CBIR . . . . . . . . . . . . . . . . . . . . . . . . . 12 4 Schéma général de l’algorithme de CBIR avec retour de pertinence . . . . . . . . . . 15 5 Schéma général de notre approche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 6 La plate-forme Web - ePAD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 7 Exemple de fichier d’annotation en format XML généré par la plateforme ePAD . . . 24 8 Représentation d’un histogramme de niveaux de gris d’une image . . . . . . . . . . . 25 9 Schéma de l’algorithme des motifs binaires locaux . . . . . . . . . . . . . . . . . . . . 26 10 Représentation d’un pyramide d’histogrammes de gradient orienté . . . . . . . . . . 27 11 Schéma de l’approche mono-descripteur, multi-séquences . . . . . . . . . . . . . . . . 31 12 Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des in- formations multi-séquences en combinant les différents descripteurs . . . . . . . . . . 36 13 Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des in- formations multi-descripteurs séquence par séquence . . . . . . . . . . . . . . . . . . 37 14 Index de l’algorithme de Apache Lucene . . . . . . . . . . . . . . . . . . . . . . . . . 39 15 Index de la base de masses ovariennes . . . . . . . . . . . . . . . . . . . . . . . . . . 39 16 Interface Lucene avec l’exemple des lésions de l’abdomen . . . . . . . . . . . . . . . . 40 17 Résultats de GLH pour un endométriome présentés sur une page html . . . . . . . . 41 18 Résultats des stratégies de fusion de caractéristiques pour un tératome présentés sur la page html . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 i
  6. 6. 19 Résultats des stratégies de fusion séquentielle de caractéristiques pour un cyst pré- sentés sur la page html . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 20 Mesures de performance globale avec GLH . . . . . . . . . . . . . . . . . . . . . . . . 46 21 Mesures de performance globale avec LBP . . . . . . . . . . . . . . . . . . . . . . . . 47 22 Mesures de performance globale avec PHOG . . . . . . . . . . . . . . . . . . . . . . . 48 23 Mesures de performance globale avec TS . . . . . . . . . . . . . . . . . . . . . . . . . 49 24 Mesures de performance globale de l’approche multi-descripteurs, multi-séquences — agrégation des informations multi-séquences en combinant les différents descripteurs 51 25 Mesures de performance globale de l’approche multi-descripteurs, multi-séquences — agrégation des informations multi-descripteurs séquence par séquence . . . . . . . . . 52 26 Comparaison des mesures de performance globale de l’approche multi-descripteurs, multi-séquences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 ii
  7. 7. Liste des tableaux 1 Tableau récapitulatif des relations entre apparence visuelle des lésions sur chaque type de séquence par diagnostic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2 Les termes sémantiques utilisés pour l’annotation des masses ovariennes. . . . . . . . 8 3 Les termes sémantiques utilisés uniquement pour annoter les images T1 FatSat Gd. . 8 4 Mesure de performance de GLH selon différentes distances de similarité . . . . . . . 46 5 Mesure de performance de LBP selon différentes distances de similarité . . . . . . . 47 6 Mesure de performance de PHOG selon différentes distances de similarité . . . . . . 48 7 Mesure de performance de TS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 iii
  8. 8. Liste des notations AIM Annotation and Image Markup BoW Bag Of Words Traduction française : Sacs de mots CBIR Content-Based Image Retrieval Traduction française : Recherche d’images par le contenu CBR Case Based Reasoning Traduction française : Raisonnement par cas DICOM Digital Imaging and Communications in Medicine Traduction française : Imagerie Numérique et Communication en Médecine GLH Gray Level Histogram Traduction française : Histogramme de niveaux de gris HEGP Hôpital Européen Georges Pompidou HLF High-Level Features Traduction française : Descripteurs de haut niveau iCBMIR interactive Content-Based Medical Image Retrieval IDV Imageries Du Vivant IRM Imagerie par Résonance Magnétique LBP Local Binary Patterns Traduction française : Motif binaire local LIPADE Laboratoire d’Informatique Paris Descartes LIRE Lucene Image REtrieval LLF Low-Level Features Traduction française : Descripteurs de bas niveau NDCG Normalized Discounted Cumulative Gain PACS Picture Archiving and Communication System Traduction française : Système d’Archivage et de Transmission d’Images PHOG Pyramid of Histograms of Orientation Gradients Traduction française : Histogramme de gradients orientés QBIC Query By Image Content Traduction française : Requête par contenu d’image iv
  9. 9. RF Relevance Feedback Traduction française : Retour de Pertinence ROI Region Of Interest Traduction française : Région d’intérêt SIP Systèmes Intelligents de Perception SQL Structured Query Language Traduction française : Langage de requête structurée SVM Support Vector Machines Traduction française : Machines à vecteurs de support TS Termes sémantiques UPMC Université Pierre et Marie Curie v
  10. 10. 1 Introduction C’est dans le cadre de mon Master 2 Informatique, spécialité Image, de l’Université Pierre et Marie Curie (UPMC), durant l’année universitaire 2015 – 2016, que j’ai effectué un stage de recherche d’une durée de six mois. Mon stage, encadré par M. Camille Kurtz, Mme. Florence Cloppet et Mme. Laure Fournier, s’est déroulé dans l’équipe Systèmes Intelligents de Perception (SIP) du Laboratoire d’Informatique Paris Descartes (LIPADE) de l’Université Paris Descartes. L’équipe SIP, fondée en 1990 par le Pr. George Stamon, s’intéresse aux domaines centrés autour de la Perception Visuelle accompagnée de quelques éléments d’Intelligence Artificielle à tra- vers l’étude de modélisations et d’applications. Les travaux des membres de l’équipe se répartissent dans plusieurs champs thématiques, comme par exemple la segmentation d’images guidée par les connaissances, le suivi et la caractérisation d’objets en mouvement, ou encore la modélisation des relations spatiales. Ces travaux sont principalement appliqués à l’imagerie biologique et médicale, à l’étude d’images satellitaires, ainsi qu’à l’analyse de documents. Depuis 2014, l’équipe SIP travaille sur un projet de recherche intitulé “interactive Content- Based Medical Image Retrieval” (iCBMIR). Ce projet est en partie financé par le Programme de Recherche Interdisciplinaire, Imageries du Vivant (IDV), au sein de l’Université Sorbonne Paris Cité (USPC). Le projet iCBMIR est en collaboration entre le LIPADE et le service de radiologie de l’Hôpital Européen Georges Pompidou (HEGP). L’objectif de ce projet est d’apporter de nouvelles approches de recherche d’images dans des bases de données d’images radiologiques hospitalières fondées sur une recherche à partir d’attributs visuels, sémantiques et sur des mécanismes de retour de pertinence. Dans ce contexte, des travaux de recherche sont actuellement menés par l’équipe SIP et le sujet de stage proposé cette année fait suite à deux stages précédemment effectués : • Stage de Paul-André Idoux en 2014 : Adaptation d’une plate-forme de recherche d’images similaires (Lucene Image REtrival - LIRE) au traitement d’images médicales. • Stage de Carlos Tor Diez en 2015 : Intégration d’un premier mécanisme de retour de pertinence dans la plate-forme. L’objectif de mon stage était de concevoir des outils permettant aux médecins radiologues d’effectuer des recherches multi-images, de fusionner les résultats de recherche par termes séman- tiques et par caractéristiques d’images et d’intégrer cela dans la plate-forme existante puis d’évaluer 1
  11. 11. 1 Introduction cet outil pour la recherche de séquences IRM de masses ovariennes. Autrement dit, étant donné un nouvel examen de masses ovariennes d’un patient, composé potentiellement de plusieurs séquences d’images (comme dans le cas de l’IRM), notre outil devra permettre aux radiologues de retrouver des cas visuellement similaires à cet examen, en analysant conjointement le contenu des différentes séquences. Ce rapport présente les contributions apportées pendant les six mois de stage. Dans un premier temps, dans la Section 2, nous introduirons le contexte dans lequel s’inscrit ce travail de recherche. Puis, dans la Section 3, nous présenterons un état de l’art des méthodes existantes de recherche multi-images par le contenu et de fusion des caractéristiques quantitatives et qualitatives. Dans la Section 4, nous parlerons des expérimentations que nous avons effectuées pour la recherche d’images IRM de masses ovariennes. Enfin, dans la Section 5, nous donnerons les résultats que nous avons obtenus, de manière à dresser un bilan et à dégager des perspectives à ce travail sur la Section 6. 2
  12. 12. 2 Contexte du stage Actuellement les images médicales représentent 30% du stockage des données dans le monde entier [55]. Ces données permettent d’observer et de comprendre les propriétés morphologiques, fonctionnelles et métaboliques des organes et des lésions d’un individu. Elles sont également des données très complexes : elles peuvent être multimodales et multidimensionnelles. Cependant, elles sont indispensables pour révéler certaines maladies phénotypiques. En revanche, ce nombre croissant d’images médicales déplace le problème de la fouille de données dans un contexte de problème de « Big Data ». 2.1 Aide à la prise de décision en routine radiologique Dans le domaine de la radiologie, l’interprétation d’une seule vacation d’Imagerie par Ré- sonance Magnétique (IRM) est extrêmement chronophage (plus de 200 images par vacation sont prises). De plus, l’interprétation des images radiologiques est très subjective et peut varier de manière significative entre différents radiologues [42]. Ceci est probablement dû à des erreurs d’in- terprétation, à un niveau d’expérience différent ou simplement à de la fatigue. Ainsi, une aide à la prise de décision peut être mise en place pour automatiser la recherche d’images radiologiques dans des Systèmes d’Archivage et de Transmission d’Images (PACS), qui sont des bases d’images radiologiques hospitalières, et la recherche de cas similaires ayant déjà fait l’objet d’un diagnostic par rapport à un nouveau cas que les médecins radiologues interprètent. Cette nécessité est en effet due aux limites actuelles des PACS : • ils sont généralement seulement utilisés pour stocker les cas correspondant aux examens des patients ; • ils peuvent être seulement interrogés par des mots-clés (nom du patient, date d’acquisition, diagnostic, etc.) ; • ils ne permettent pas de rechercher des images visuellement similaires. 3
  13. 13. 2 Contexte du stage 2.2 Exploiter les bases d’images radiologiques Dans le cadre d’une collaboration avec Laure Fournier, médecin radiologue à l‘Hôpital Euro- péen Georges Pompidou (HEGP), l’objectif de ce stage est de fournir un outil qui puisse permettre d’aider les médecins radiologues à interpréter les séquences d’images IRM, pour l’analyse des masses ovariennes et la recherche de cas similaires dans des PACS. Ces bases de données contiennent les images radiologiques archivées servant à la gestion des dossiers des patients. Pour un radiologue, l’interprétation d’images médicales consiste en 3 tâches distinctes : • la perception des résultats de l’image ; • l’interprétation de ces résultats dans le but de rendre un diagnostic ; • les recommandations cliniques pour traiter le problème. Trouver des cas similaires dans ces bases de données pourrait permettre de retrouver des images, potentiellement déjà interprétées, décrivant les mêmes anomalies anatomiques, ce qui aide- rait le radiologue à établir un diagnostic, notamment dans des cas rares et difficiles à interpréter. 2.3 Cas à étudier : séquence d’images IRM de masses ovariennes 2.3.1 Types de kystes Pour pouvoir effectuer des évaluations de notre système par la suite, nous avons constitué une base d’images radiologiques de masses ovariennes se composant de cas déjà diagnostiqués. Laure Fournier nous a proposé de ne travailler que sur trois types de kystes différents qu’on peut considérer comme des cas simples : • les kystes simples ou cystes : des lésions bénignes purement liquides ; • les kystes hémorragiques ou endométriomes : des lésions avec du sang ; • les kystes dermoïdes ou tératomes : des lésions graisseuses. Notre base contient 25 cas simples issus de 25 patients différents, dont 10 cystes, 8 endomé- triomes et 7 tératomes. Au total, nous avons 90 images dans notre base, soit 3 à 4 séquences par cas (les différentes séquences sont décrites dans la section 2.3.2 suivante). Le fait que nous n’ayons 4
  14. 14. 2 Contexte du stage pas à chaque fois 4 séquences est dû à un biais d’acquisition réalisé par les radiologues : quand ils décident que ce n’est pas nécessaire de réaliser une séquence IRM, ils ne le font pas. Des exemples de ces trois types de kystes sont présentés dans la Figure 1. (a) Cyst (b) Endométriome (c) Tératome Figure 1 – Différents types de lésions ovariennes sur des séquences IRM (les lésions sont entourées en rouge) 2.3.2 Types de séquences IRM L’imagerie par résonance magnétique (IRM) est un examen dans l’imagerie médicale qui permet de compléter le diagnostic de certaines pathologies. Elle permet d’avoir plus d’informations sur des lésions qui ne sont pas visibles sur les radiographies standards, l’échographie ou le scanner. C’est une imagerie qui se fait à partir des molécules d’eau qui se trouvent de le corps humaine. Le fait de déplacer le corps humain dans un champ magnétique va faire que ces molécules d’eau vont être toutes orientées dans un même sens et avoir un certain niveau d’énergie. Cette énergie va être modifiée avec une onde dite radio-fréquence qui va donner un état d’énergie à ces molécules d’eau. Quand elles vont revenir à l’état d’équilibre, les molécules d’eau vont rendre cette énergie de façon différente selon les tissus où elles se trouvent et c’est cette énergie qui va être retranscrite en image. Les images obtenues par IRM sont dites des images dynamiques. Elles sont des reconstruc- tions en trois dimensions de la structure analysée selon différentes coupes dans plusieurs plans. Une séquence d’IRM est un certain nombre d’impulsions de radiofréquence et de gradients qui se traduisent par un ensemble d’images ayant un aspect particulier. Pendant une séance d’acquisition d’images IRM d’un patient, plusieurs séquences d’images sont obtenues. Une séquence d’images IRM 5
  15. 15. 2 Contexte du stage contient de 20 à 300 images selon la difficulté que les kystes présentent. Après avoir assisté à une séance de vacation d’IRM, nous avons décidé, en accord du docteur Laure Fournier, de ne travailler que sur quatre types de séquences : • T2 : la séquence principale qui donne l’anatomie de la lésion. Les liquides apparaissent en blanc sur cette séquence ; • T1 : les parties qui apparaissent en blanc sur la coupe T1 sont soit de la graisse soit du sang ; • T1 FatSat : on sature la séquence T1 pour différencier la graisse du sang. Si les parties blanches sur T1 deviennent noires foncées, c’est de la graisse, sinon c’est du sang ; • T1 FatSat Gadolinium : avec l’injection du produit de contraste, le Gadolinium, lors de l’acquisition de la séquence T1 FatSat, nous pouvons mettre en évidence les zones musculaires. Remarque : l’injection est faite sur un T1 FatSat et non sur un T1 simple, car le Gadolinium donne une couleur blanche aux zones tissulaires. Sur un T1, la graisse et le sang sont blancs alors que dans un T1 FatSat, les graisses deviennent noires. La figure 2 présente un exemple de kyste hémorragique observé dans des différentes séquences d’IRM. (a) T2 (b) T1 (c) T1 FS (c) T1 FS Gd Figure 2 – Différents types de séquence IRM représentant un endométriome 2.3.3 Identification des types de masses ovariennes Les radiologues doivent analyser chaque séquence d’IRM et annoter toutes les observations selon une certaine lexicologie afin d’établir le diagnostic sur une masse ovarienne d’une patiente. 6
  16. 16. 2 Contexte du stage Ces observations peuvent être visuelles à partir des images ou peuvent être déduites à partir des informations stockées dans le dossier de la patiente. Dans notre cas, l’information indispensable est le type de signal observé sur l’image : • les Hyper-signaux sont les parties blanches observées sur les images IRM ; • les Hypo-signaux sont les parties grises foncées observées sur les images IRM. Nous ne pouvons pas dire que ce sont des parties noires même si elles semblent l’être car la couleur noire représente l’absence totale de signal ; • les Iso-signaux sont les parties en gris clair observées sur les images IRM. Pour pouvoir repérer ces zones, les radiologues se basent toujours sur l’intensité lumineuse des muscles. Le docteur Laure Fournier nous a donné un tableau récapitulatif simplifié qui établit la relation pour faire un diagnostic par les types de signaux observés (cf. Table 1). T2 T1 T1 FatSat T1 FatSat Gd Kyste simple Hyper Hypo Hypo Hypo Kyste hémorragique Variable Hyper Hyper Hyper Kyste dermoïde Variable Hyper Hypo Hypo Table 1 – Tableau récapitulatif des relations entre apparence visuelle des lésions sur chaque type de séquence par diagnostic. Dans l’exemple de kyste hémorragique présenté sur la figure 2, nous observons que la lésion sur les séquences T1, T1 FS et T1 FS Gd est respectivement blanche par rapport aux images entières. Cela signifie que la lésion révèle un hyper-signal sur ces trois séquences. Quand nous vérifions cette information avec la table récapitulative 1, nous constatons que le diagnostic de l’exemple de la figure 2 est justifié : c’est un exemple de kyste hémorragique. Nous n’avons alors pas besoin de vérifier le signal de la séquence T2 parce qu’il n’y a qu’une seule possibilité que les séquences T1, T1 FS et T1 FS Gd représentent des hyper-signaux. 2.3.4 Annotation des images de masses ovariennes Bien que nous souhaitions automatiser une recherche d’images radiologiques similaires par le contenu, c’est-à-dire par les caractéristiques visuelles des images, nous devons tout de même dans un premier temps annoter les images. Ce besoin est lié à la nécessité de pouvoir caractériser 7
  17. 17. 2 Contexte du stage la région d’intérêt (ROI) qui, dans notre cas, est la lésion et non l’image entière. Nous ne devons prendre en compte que la ROI et non pas l’image entière pour extraire les caractéristiques visuelles puisque les informations en dehors de la ROI ne sont pas pertinentes pour interpréter une masse ovarienne. Par contre, ici, nous ne nous focalisons pas sur la tâche de segmentation qui pourrait également être automatisée. Ainsi, le docteur Laure Fournier nous a précisé certains termes sémantiques que les médecins radiologues utilisent pour annoter les masses ovariennes [50] et nous avons utilisé la lexicologie de RadLex 1 pour identifier ces termes [31]. La table 2 contient les termes sémantiques que nous avons utilisés pour l’annotation. Champs Termes sémantiques Lesion Location ovary, uterus, uterine tube, vagina Signal high signal intensity, low signal intensity, intermediate si- gnal intensity Sequence T2 weighted, T1 weighted, fat saturation, imaging with IV contrast, diffusion weighted Uniformity heterogeneous, homogeneous Composition cystic, fat-containing, hemorrhagic Diagnosis simple cyst, endometrioma, dermoid cyst Table 2 – Les termes sémantiques utilisés pour l’annotation des masses ovariennes. Si la séquence annotée est “imaging with IV contrast” (i.e. T1 FatSat Gadolinium) deux autres termes sémantiques sont ajoutés à l’annotation (cf. Table 3). Champs Termes sémantiques Enhancement yes, no Solidness non-solid, partially solid, completely solid Table 3 – Les termes sémantiques utilisés uniquement pour annoter les images T1 FatSat Gd. 1. http://bioportal.bioontology.org/ontologies/RADLEX?p=classes&conceptid=root 8
  18. 18. 2 Contexte du stage 2.3.5 Objectifs du stage 2.3.5.1 Objectif méthodologique Dans le contexte du projet iCBMIR, l’objectif méthodologique du stage est, étant donné un nouveau cas/patiente qui a une masse ovarienne représentée par des séquences IRM, de développer une approche permettant de retrouver des cas similaires dans un PACS hospitalier. Pour ce faire, nous allons développer une nouvelle méthode de recherche d’images par le contenu (CBIR) gérant le multi-images : une requête va être composée non pas d’une seule image mais de plusieurs images correspondant aux différentes séquences IRM. Un des objectifs sera également de permettre de faire des recherches en fusionnant tous les descripteurs visuels issus des différentes séquences ainsi que les descripteurs sémantiques utilisés par les radiologues pour annoter les images. 2.3.5.2 Objectif technologique L’objectif technologique du stage est d’implémenter cette méthode dans la plate-forme exis- tante du LIPADE. Cette plate-forme logicielle utilise une librairie Java open-source, Lucene Image REtrieval 1 (LIRE). Cette librairie permet d’extraire des descripteurs des images, de les indexer et de faire une requête simple sur ces images. Elle fournit une interface de programmation pour faire tout ceci. Nous allons donc adapter la librairie pour qu’elle gère les recherches multi-images sur une base d’images de masses ovariennes. 2.3.5.3 Application/Validation Finalement, après avoir mesuré la performance de notre implémentation, nous allons valider cet outil pour des recherches cliniques en routine sur des masses ovariennes en collaboration avec les médecins du service de radiologie de l’HEGP. 1. http://www.lire-project.net/ 9
  19. 19. 3 Approches existantes pour la recherche d’images simi- laires dans des bases de données De nos jours, le développement important des technologies de réseau pour l’informatique à haute vitesse et l’augmentation considérable des systèmes de stockages ont abouti à un énorme intérêt pour l’archivage des images numérisées. Ceci a conduit à un problème de « Big Data » quand il a fallu traiter ces données. Il existe deux types d’informations liés à une image numérisée qui représente un objet visuel : les métadonnées de l’image et les informations visuelles, qui s’appellent les caractéristiques visuelles de l’image ou descripteurs visuels. Il existe plusieurs systèmes de recherche d’images par le contenu (Content-Based Image Retrieval – CBIR) et de nombreux sujets de recherche dans ce domaine, selon ces deux informations pour traiter ce problème de « Big Data ». 3.1 Recherche d’images par métadonnées Les premières méthodes proposées dans les années 1970 pour effectuer des recherches d’images par métadonnées permettaient d’interroger des bases d’images par mots-clés [6, 7]. Ce type de méthode consistait à annoter les images, modéliser les métadonnées, construire une base de données relationnelle et enfin lancer des requêtes selon les mots-clés présents dans des annotations pour trouver des images similaires. Mais pour un humain, annoter un nombre important d’images est une tâche fastidieuse. De plus, la perception humaine étant subjective, les annotations peuvent varier considérablement et présenter des inconsistances. L’approche la plus fréquente dans les hôpitaux pour faire la recherche d’images médicales est la recherche par métadonnées des images. C’est-à-dire que les médecins radiologues lancent de simples requêtes SQL permettant de retrouver des images par mots-clés (diagnostic, date d’ac- quisition, nom du patient, etc.). Ces informations sont stockées dans les métadonnées des fichiers d’Imagerie Numérique et Communication en Médecine (DICOM) qui est la norme standard pour la gestion informatique des données issues de l’imagerie médicale [34]. De nos jours, des propositions pour automatiser l’annotation des images sont menées pour faire face aux limites de cette recherche par métadonnées [29]. Dans l’article [10], les auteurs pro- posent une méthode pour prédire les termes sémantiques à partir des informations extraites de la région d’intérêt par des caractéristiques visuelles de texture basées sur des ondelettes multiéchelles 10
  20. 20. 3 Approches existantes pour la recherche d’images similaires dans des bases de données de Riesz. Ce descripteur, permet de capturer les corrélations intrinsèques entre les annotations et les caractéristiques visuelles de bas-niveau. 3.2 Recherche d’images par le contenu 3.2.1 Approches générales En 1992, le terme de recherche d’images par le contenu (CBIR) est introduit par T. Kato [28] pour décrire ses expérimentations sur l’automatisation de ces recherches d’images d’une base de données par les caractéristiques visuelles des images (couleur et forme). Par la suite, plusieurs recherches sont menées dans cette direction par les communautés universitaires et industrielles. La méthode initiale repose sur deux étapes : une phase d’indexation qui se déroule en mode « hors-ligne » et une phase de recherche « en-ligne » à partir d’un exemple d’image requête (cf. Figure 3). L’étape de l’indexation, qui se fait hors-ligne, consiste à extraire des caractéristiques visuelles de toutes les images de la base. Autrement dit, de créer des collections de documents numériques contenant les informations issues des caractéristiques visuelles extraites des images. L’étape de recherche en-ligne consiste à extraire les mêmes caractéristiques visuelles de l’image requête et de calculer une distance de similarité entre les caractéristiques des images de l’index et celles de l’image requête. En principe, les valeurs de distance les plus petites correspondront aux images les plus simi- laires à l’image requête. Cependant, parfois les résultats peuvent ne pas être pertinents. Donc, après l’intégration d’une autre étape qui est le système de retour de pertinence (RF) dans l’algorithme CBIR, les résultats peuvent être améliorés. En effet, le RF permet à l’utilisateur d’amener un ju- gement aux résultats et d’annoter les images par “cohérent” (relevant) ou “incohérent” (irrelevant) pour relancer la requête afin d’obtenir un classement amélioré. 11
  21. 21. 3 Approches existantes pour la recherche d’images similaires dans des bases de données Rang 1 Base de données d'image (PACS) Extraction de caractéristiques (indexation) Extraction de caractéristiques Calcul des similarités Utilisateur Image requête Résultats de la recherche Rang 2 Rang n Figure 3 – Schéma général de l’algorithme de CBIR 3.2.1.1 Étape hors-ligne : indexation La phase d’indexation de la base d’images permet de préparer les données pour une future recherche dans cette base. Son but n’est pas de rassembler toutes les informations portées par l’image mais de réduire ces informations selon les besoins du domaine de recherche. Selon différents domaines, le contenu de l’image peut être représenté par des descripteurs extraits de l’image. On peut catégoriser ces descripteurs selon deux groupes : les descripteurs de bas niveau (Low-Level Features - LLF) et de haut niveau (Low-Level Features - HLF). — les descripteurs de bas niveau : ils décrivent le contenu bas niveau de l’image, principa- lement en termes de couleurs, textures et formes. — les descripteurs de haut niveau : ils représentent principalement les termes sémantiques attribués à l’image par l’utilisateur avant ou lors de l’indexation. Ils décrivent le contenu sémantique de l’image par des mots-clés. La couleur est une des caractéristiques visuelles les plus employées en indexation [53, 17, 9]. Ceci est dû à la robustesse que la couleur montre par rapport aux changements d’échelle et d’orien- tation, son indépendance à la taille et aux occlusions des images. La couleur est souvent présentée sous la forme d’histogramme de couleurs : représentation de la distribution des couleurs/intensités de l’image (RGB, HSV, Niveaux de gris, etc . . . ). La première utilisation de l’histogramme de cou- 12
  22. 22. 3 Approches existantes pour la recherche d’images similaires dans des bases de données leurs en CBIR était faite en 1991 par les auteurs de l’article [48]. Depuis, plusieurs autres recherches sont amenées sur le descripteur de couleur [44]. Par ailleurs, les histogrammes de couleurs présentent aussi des limites. Nous perdons les caractéristiques importantes pour décrire le contenu global des images comme l’information spatiale, la texture et la forme. La texture se réfère aux motifs visuels ayant des propriétés d’homogénéité qui ne résultent pas de la présence seulement de couleur ou d’intensité unique. Elle est beaucoup utilisée aussi en CBIR grâce à sa cohérence avec la perception humaine : elle contient des informations importantes sur l’agencement structurel de surfaces et de leur relation mutuelle [18, 54]. La forme peut être aussi définie comme un complément à la couleur. Les descripteurs de formes sont robustes à la translation, la rotation et le changement d’échelle. Ils sont catégorisés en deux classes : descripteurs de formes [21] basés sur les régions et basés sur les contours [39]. Les descripteurs basés sur les régions utilisent en général la transformation de Fourier qui est une représentation fréquentielle d’une image [43, 33]. En plus de ces descripteurs bas-niveau, nous avons les descripteurs de haut niveau qui sont les termes sémantiques. Ces descripteurs sont liés aux jugements de l’utilisateur qui décrit sémanti- quement le contenu de l’image. Selon le domaine d’utilisation, il existe une lexicologie à suivre pour décider des termes convenant à l’image. Outre les descripteurs globaux, il est possible de faire de la recherche par des descripteurs locaux comme des descripteurs SIFT ou SURF pour calculer un dictionnaire visuel et faire de la recherche par points d’intérêt [61, 51, 24]. Dans la section 4.3, nous allons aborder la phase d’indexation plus en détails. 3.2.1.2 Étape en-ligne : recherche Une fois l’indexation réalisée, la phase de recherche consiste à mesurer la similarité entre une image requête et les images de la base selon les informations retirées de l’index. L’utilisateur donne une image exemple en requête, les mêmes caractéristiques extraites pour l’indexation seront extraites de cette requête et enfin les images de la base seront ordonnées en fonction d’une mesure de similarité à cette requête. Cette mesure dépend des représentations des descripteurs utilisés et donc peut être calculée de plusieurs manières différentes. 13
  23. 23. 3 Approches existantes pour la recherche d’images similaires dans des bases de données Il existe un grand nombre de mesures de similarité. Certaines sont des distances, c’est-à- dire des mesures qui ont les propriétés de non-négativité, réflexivité, symétrie et qui respectent l’inégalité triangulaire. Certaines mesures sont spécifiques aux histogrammes ou aux distributions. Dans l’article [40], nous pouvons voir une étude comparative de certaines mesures de similarité adaptées aux distributions. De même, dans [4], une étude la comparaison d’histogrammes en CBIR est faite. Les distances Euclidienne, Manhattan et Tanimoto sont très connues comme mesures de similarité pour les histogrammes. Nous avons décrit ces mesures dans la section 4.4.1. Actuellement, il existe plusieurs systèmes commercialisés de CBIR. En 1995, le produit “Query By Image Content” (QBIC) d’IBM devient le premier système commercialisé capable de faire un CBIR [15]. Photobook, développé par MIT Media Laboratory, a suivi QBIC [38]. Puis les systèmes orientés à faire des CBIR sur le World Wide Web ont commencé à être commercialisés : VisualSEEK [46], Google Image CBIR search, etc. 3.2.1.3 Étape après la recherche : retour de pertinence Dans certain cas les résultats de la recherche ne sont pas adaptés aux besoins de l’utilisateur ; Le système de CBIR peut être accompagné d’un mécanisme de retour de pertinence (RF). En supposant que les utilisateurs maîtrisent le domaine de recherche, l’idée du RF est d’intégrer la subjectivité de la perception des utilisateurs et d’affiner les requêtes sur la base de cette évaluation [60]. Autrement dit, lorsque l’utilisateur effectue une requête avec une image dans son système CBIR et qu’il obtient des résultats, il a la possibilité de marquer comme positifs/pertinents ou négatifs/pas pertinants les résultats. Avec les nouvelles informations quantifiées par le système RF, le système CBIR récupère ces retours et améliore ces résultats (cf. Figure 4). Il existe plusieurs méthodes de RF pour les systèmes CBIR. La repondération des descripteurs [5] met une priorité ou pénalise chaque caractéristique des images marquées par l’utilisateur selon un coefficient unique. La méthode d’extension des requêtes (Query Expansion Method) [59, 41] est aussi appliquée pour le RF. Le RF peut être adapté pour les descripteurs non seulement de bas niveau mais aussi de haut niveau [30]. 14
  24. 24. 3 Approches existantes pour la recherche d’images similaires dans des bases de données Base de données d'image (PACS) Extraction de caractéristiques (indexation) Extraction de caractéristiques Calcul des similarités Utilisateur Retour de pertinence Image requête Rang 1 Résultats de la recherche Rang 2 Rang n Figure 4 – Schéma général de l’algorithme de CBIR avec retour de pertinence 3.2.2 Approches dans l’imagerie médicale Il existe aussi plusieurs propositions de systèmes basés sur des recherches d’images par le contenu dans l’imagerie médicale, mais les implémentations commerciales sont rares. La plupart des systèmes existants sont fondés sur des requêtes par mots-clés (voir section 3.1). La raison en est donnée dans l’article [49] par le fait que le domaine médical est très spécifique et un seul système ne peut pas convenir à toutes sortes d’images médicales (IRM, scanner, etc. . . ) qui peuvent représenter différentes modalités, régions anatomiques, pathologies, etc. . . De plus, le concept de saut sémantique est souvent présent pour des systèmes CBIR dans l’imagerie médicale [12]. Nous pouvons considérer cet écart sémantique comme une discontinuité dans l’aspect de la compréhension de l’image, avec la “compréhension humaine” sur un côté de l’écart et la “compréhension de la machine” sur l’autre. Dans [12], les auteurs ont catégorisé ces écarts sémantiques en quatre catégories : contenu, fonctionnalité, performance et utilisabilité. Ces écarts peuvent créer des limites dans l’application de CBIR pour les images médicales. Par exemple, un manque de pertinence des informations échangées entre les experts médicaux et d’ingénierie sera 15
  25. 25. 3 Approches existantes pour la recherche d’images similaires dans des bases de données fortement lié aux caractéristiques de l’utilisabilité et de la performance des systèmes CBIR. La difficulté de représenter d’une bonne façon les contenus des images médicales par des caractéris- tiques visuelles bas niveaux posera problème à la fonctionnalité des systèmes CBIR. L’insuffisance d’évaluation approfondie de la performance du système en médecine sera considérablement liée à la performance des systèmes CBIR. Enfin, l’absence d’outils appropriés pour permettre aux experts médicaux d’évaluer les applications CBIR pose des difficultés additionnelles. Par ailleurs, les systèmes CBIR présentent des limites dans le domaine de la médecine. Il existe une multitude de systèmes dépendant des contextes particuliers auxquels ils s’appliquent. Pour en citer quelques-uns très connus : — CervigramFinder [56] : un prototype de système CBIR accessible par Internet, qui fonc- tionne sur un sous-ensemble de la base d’images du col de l’utérus (cervigram). Le système utilise des descripteurs de couleur, texture et de forme. Il calcule le vecteur caractéris- tique de la ROI de la requête avec des caractéristiques spécifiées et compare ce vecteur de requête avec les vecteurs de caractéristiques pré-calculées des régions stockées dans la base d’images ; — ASSERT (Automatic Search and Selection Engine with Retrieval Tools) [45] : un système qui permet de retrouver des images de tomographie du poumon similaires de haute réso- lution. En plus des descripteurs de la texture, de la forme et des propriétés en niveaux de gris, le système comprend également des attributs qui mesurent les propriétés perceptives de l’anatomie ; — SPIRS (Spine Pathology and Image Retrieval System) [20] : ce système a été développé pour la recherche d’images similaires des radiographies de la colonne vertébrale qui sont pathologiquement très sensibles. Des techniques de correspondance de formes partielles et entières, des correspondances de données multidimensionnelles, des retours de pertinence et des plateformes Web pour CBIR ont été explorées pour ce système Cependant, selon l’enquête de Müller et al. qui se trouve dans [35], il existe quelques ap- proches pour créer un système CBIR générique, approprié à l’application médicale. Par exemple, l’architecture proposée par le système IRMA [32], améliore le PACS actuel IRMA en proposant un système de retour de pertinence très efficace et facile à utiliser. Sinon, il existe des exemples de systèmes plus anciens comme I2 C [37], KMed [8] et COBRA [14] qui sont adaptés pour faire l’étude des images médicales non spécifiques à un domaine médical précis. 16
  26. 26. 3 Approches existantes pour la recherche d’images similaires dans des bases de données 3.2.3 Approches de fusion des caractéristiques visuelles et sémantiques Les approches de CBIR que nous avons abordées dans les sections précédentes utilisent la plupart du temps un seul type de caractéristique visuelle extraite des images ou bien plusieurs différentes juste pour comparer les résultats finals. Cependant, il existe aussi des approches qui combinent directement les informations issues de différents descripteurs visuels et parfois des des- cripteurs basés sur des informations sémantiques. Une approche [58] est proposée pour améliorer les résultats de CBIR en combinant les des- cripteurs de couleur et de texture. Leur système propose à l’utilisateur une première recherche basée sur le descripteur de couleur et si les résultats ne sont pas cohérents, l’utilisateur peut faire une deuxième recherche basée sur le descripteur de texture parmi les résultats les mieux classés à partir du descripteur de la couleur. Certes, cette deuxième recherche, avec l’information de la texture, permet d’améliorer les résultats de recherche. Par contre, on risque de perdre les meilleurs résultats classés de la première recherche, dont certains étaient très cohérents. Par ailleurs, [57] utilise encore des descripteurs de couleur et de texture. Leur système per- met d’extraire dans un premier temps l’histogramme de niveaux de gris, calculer la matrice de co-occurence de l’histogramme de couleur pour ensuite extraire le descripteur de texture par l’in- termédiaire de cette matrice de co-occurence. Ils comparent leurs résultats de recherche par l’algo- rithme de caractéristiques de texture basées sur une matrice de co-occurrence de niveaux de gris avec les résultats de la recherche fondées sur la couleur, et constatent que les performances de la recherche augmentent. Cependant, il est aussi possible de fusionner différentes caractéristiques visuelles avant de faire la recherche, c’est-à-dire dans l’étape de l’indexation. Les auteurs de [16] proposent de combiner les histogrammes de couleur et de forme pour en former un histogramme invariant de grande dimension unifié pour la recherche d’images similaires et intègre ce dernier dans un système en- ligne PicToSeek. C’est aussi possible d’ajouter d’autres caractéristiques visuelles. Par exemple, dans [23], les auteurs combinent les descripteurs de couleur, de texture et de forme. Non seulement, ils utilisent plus de descripteurs mais ils permettent aussi à l’utilisateur d’améliorer les résultats en faisant appel au retour de pertinence pour modifier les poids des résultats obtenus dans un premier temps. Enfin, une autre possibilité de travailler sur plusieurs caractéristiques visuelles dans un sys- tème CBIR est de ne pas faire un pré-traitement mais de faire un post-traitement. Autrement dit, 17
  27. 27. 3 Approches existantes pour la recherche d’images similaires dans des bases de données de faire la recherche pour chaque caractéristique séparément et de combiner les résultats obtenus à partir de ces différents descripteurs [52]. Ce qui revient à faire des fusions au niveau des différents résultats. En effet, cette approche de fusion est aussi appliquée dans certains systèmes proposés en imagerie médicale. Par exemple, le système CBIR2 [2] combine non seulement des descripteurs visuels mais aussi des informations textuelles. Autrement dit, il propose un système hybride de fusion des descripteurs sémantiques et visuels. Au final, il est possible d’utiliser une approche de fusion de caractéristiques visuelles afin de retirer plus d’informations de l’image requête et d’améliorer les résultats de recherche d’images similaires. 3.2.4 Approches de recherche multi-images Nous nous intéressons ici aux méthodes de CBIR permettant d’effectuer des recherches avec une requête composée de plusieurs images. En effet, amener des informations complémentaires avec d’autres images requêtes peut améliorer les résultats de recherche. Il existe deux stratégies pour réaliser cette approche, mais chacun présente différentes limites : — combiner les images requêtes : à partir des images requêtes, une image fusionnée (i.e. une requête unique) est générée, qui intègre les différents exemples. — combiner les mesures de similarité des images requêtes avec la base : chaque requête est formée individuellement et les résultats de recherche sont fusionnés en une seule liste. Dans le système MindReader [25], l’utilisateur peut choisir les images qui participeront à la requête et leurs poids en fonction de leurs ressemblances avec les images recherchées. À la base, MindReader propose un système qui gère la recherche multi-images par les méthodes de recherche interactives basées sur la repondération des requêtes (Query Reweighting – QR) appliquée avec le retour de pertinence. Une autre approche est d’exécuter des requêtes distinctes pour chaque exemple et de com- biner les résultats par la suite [27]. Ceci revient à faire une interrogation par de multiples points concentrés sur la fonction de similarité et la fusion de plusieurs requêtes en un seul point. Leur système est aussi basé sur un retour de pertinence. L’utilisation d’images multiples en requête dans l’imagerie médicale existe aussi. Dans [1], les 18
  28. 28. 3 Approches existantes pour la recherche d’images similaires dans des bases de données descripteurs de couleurs et de textures sont extraits des images microscopiques puis une classification des deux principaux diagnostics est faite à l’aide de l’apprentissage supervisé par des SVM et enfin la recherche est effectuée sur ces différentes classes. Les auteurs de [63] décident de travailler sur un système de raisonnement par cas (Case-Based Reasoning - CBR) en formant l’image requête dans des données issues des différentes modalités (Rayons X, IRM, CT-scan, etc.) qui forment un cas avec plusieurs images en requête. Les cas sont représentés par des sacs de mots (Bag Of Words - BoW) et la recherche s’effectue en calculant la similarité de toutes les images dans le cas requête avec toutes les images dans l’ensemble de données pour trouver l’ensemble le plus similaire. 3.3 Discussion Comme cela est évoqué dans la section précédente (Section 2), les objets d’intérêt de notre étude sont des masses ovariennes, où chaque cas peut être représenté simultanément pas plusieurs types de séquences IRM (T2, T1, T1 FS, etc. . . ). C’est à ce niveau que nous rencontrons un premier problème pour la recherche d’images similaires. La plupart des méthodes existantes dans l’état de l’art permettent de faire une recherche à partir d’une seule image en requête, mais malgré le retour de pertinence, les résultats présentés à la fin ne sont pas toujours cohérents. De plus, ces méthodes ne sont pas directement adaptables à des recherches multi-images. Car chaque séquence présente différentes caractéristiques visuelles et on ne peut pas juger un cas par une seule image d’une seule séquence. Donc, de meilleurs résultats peuvent être obtenus en changeant le système de recherche d’images similaires par un système de recherche de cas/patient similaires (pouvant être décrits pas un ensemble d’images). De plus, les annotations sémantiques des images ne sont pas tout à fait objectives même si c’est une lexicologie commune utilisée par tous les radiologues. En outre, les recherches par caractéristiques qualitatives peuvent ne pas être très cohérentes. Même si les systèmes existants permettent de refaire les recherches après un retour de pertinence de l’utilisateur, fusionner les caractéristiques qualitatives et quantitatives des images pourrait améliorer les résultats. Enfin, dans cette recherche bibliographique sur l’indexation et la recherche d’images par le contenu, nous avons vu qu’il y a un manque pour la recherche multi-images en imagerie médicale. En effet, le terme multi-images dans notre cas représente multi-séquence parce que nous travaillons 19
  29. 29. 3 Approches existantes pour la recherche d’images similaires dans des bases de données sur des IRM qui sont représentées avec plusieurs séquences (cf. Section 2). Dans ce contexte de méthodologie, nous proposons une nouvelle approche innovante par consensus sur des descripteurs et des séquences IRM qui permet d’apporter une solution à la fois pour la fusion de descripteurs et pour la recherche multi-images pour la recherche de cas similaires des masses ovariennes. 20
  30. 30. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquences 4.1 Grandes étapes de la méthode Comme nous l’avons vu dans la section précédente, notre méthode de recherche de cas similaires prend en paramètre une requête multi-séquences et retourne un ensemble de cas similaires trouvés dans la base de données (cf. Figure 5). Voici les différentes étapes de la méthode : Entrée : un cas requête composé de plusieurs images issues de différentes séquences 1. Annotation des lésions ovariennes avec les termes sémantiques prédéfinis et les coordon- nées des ROIs ; 2. Indexation sur des ROIs : extraction des descripteurs sur des ROIs (sur les lésions ova- riennes) ; 3. Recherche de séquences similaires ; 4. Fusion et agrégation des résultats obtenus pour la gestion multi-séquences ; Sortie : des cas similaires composés de plusieurs séquences. Les étapes 1 et 2 sont nécessaires pour les phases de l’indexation et de la recherche. Alors que les étapes 3 et 4 concernent seulement la phase de recherche. 21
  31. 31. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence 1 - Annotation des lésions de la requête PACS 2 - Extraction des caractéristiques de la requête index 1 - Annotation des lésions 2 - Indexation sur des ROIs : extraction des caractéristiques 3 - Recherche de séquence similaires 4 - Fusion des résultats Entrée : cas requête Sortie : cas similaires Figure 5 – Schéma général de notre approche 22
  32. 32. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence 4.2 Annotation des images de la base L’annotation des images est nécessaire pour la finalisation de notre base afin d’appliquer notre méthode de recherche de cas. Nous utilisons la plate-forme Web pour l’imagerie quantitative dans le flux de travail clinique, ePAD 1 , développée par le laboratoire Rubin Lab 2 de l’Université de Stanford pour annoter les images de notre base. Cette plate-forme permet de visualiser et annoter les images médicales selon un modèle de fichier XML d’annotation “Annotation and Image Markup” (AIM) existant ou créé par l’utilisateur (cf. Figure 6). L’annotation d’une image sur ePAD consiste à choisir une image d’une séquence d’un patient, sur laquelle on visualise la lésion très clairement, à détourer cette lésion (ROI) et à choisir un ensemble de termes sémantiques présents sur le modèle d’AIM. Figure 6 – La plate-forme Web - ePAD L’annotation est entourée en cyan et la ROI en vert Une fois l’annotation de la base réalisée sur la plateforme ePAD, nous pourrons télécharger 1. https://epad.stanford.edu/ 2. https://rubinlab.stanford.edu/ 23
  33. 33. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence ces annotations dans un fichier archivé contenant les annotations en format XML. La Figure 7 est une présentation d’une annotation en format XML. Figure 7 – Exemple de fichier d’annotation en format XML généré par la plateforme ePAD 4.3 Indexation sur les ROIs : extraction des caractéristiques visuelles Une fois que notre base est annotée, l’indexation consiste à extraire les caractéristiques visuelles sur les régions d’intérêt (ROI). Le choix des descripteurs utilisés n’est pas trivial et est fortement dépendant du type d’images employées et de la pathologie étudiée. Dans le cadre de ces travaux nous avons choisi trois descripteurs particuliers : l’histogramme de niveaux de gris, les motifs binaires locaux et la pyramide d’histogrammes de gradients orientés. Ces descripteurs ont déjà montré leur intérêt dans l’article [47], dans lequel une application de CBIR sur des images 24
  34. 34. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence d’échographies de kystes ovariens basée sur des classifieurs linéaires SVM est proposée. 4.3.1 Descripteur de couleur : histogramme de niveaux de gris L’histogramme de couleur est une des caractéristiques visuelles les plus utilisées dans le domaine de l’imagerie parce qu’il permet de décrire le contenu colorimétrique des images. Il est robuste à l’orientation et ne dépend pas de la taille de l’image quand il est normalisé. Il peut être utilisé pour les images en couleurs et en niveaux de gris. Notre base contient des images IRM en niveaux de gris. L’histogramme de niveaux de gris (Gray Level Histogram - GLH) représente la distribution des valeurs de pixels selon leurs niveaux de gris dans l’image (cf. Figure 8). Figure 8 – Représentation d’un histogramme de niveaux de gris d’une image Dans notre cas, pour pouvoir comparer les GLH de toute la base avec les GLH des images requêtes, nous avons normalisé nos histogrammes selon la taille des ROI. 4.3.2 Descripteur de texture : motifs binaires locaux Les descripteurs de texture permettent de modéliser un arrangement spatial entre les couleurs et les intensités apparentes sur l’image. Les motifs binaires locaux (Local Binary Pattern - LBP) sont des caractéristiques visuelles de texture introduites dans les années 1990 pour représenter le contraste spatialisé des images en niveaux de gris [19]. Leur principe est, à partir des voisins en 8 connexité d’un pixel, d’attribuer une valeur LBP au pixel en question (cf. Figure 9). 25
  35. 35. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence Figure 9 – Schéma de l’algorithme des motifs binaires locaux source : wikipédia Voici la formule pour obtenir la valeur LBP d’un pixel pc de coordonnées (xc, yc) en compa- rant le niveau de gris du pixel central à celui de ses voisins pv : LBP(xc, yc) = 7 n=0 H(pv − pc)2n avec pc valeur du pixel central et pv valeur du pixel voisin n où H(lv − lc) =    1 si pv − pc ≥ 0 0 sinon est la fonction de Heaviside LBP est en effet invariant pour les variations monotones de niveaux de gris [13], ce qui en fait un descripteur de texture très utilisé pour la reconnaissance des formes (par exemple la reconnaissance de visages [22]). Nous avons décidé d’utiliser ce descripteur parce que, dans notre cas, les variations de niveaux de gris sont négligeables sur les types simples de kystes ovariens présents dans notre base. 26
  36. 36. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence 4.3.3 Descripteur de texture : pyramide d’histogrammes de gradients orientés Les histogrammes de gradients orientés sont des histogrammes qui représentent la répartition des intensités de gradients d’une image. En 2007, [3] introduit un nouveau descripteur qui s’appelle pyramide d’histogrammes de gradients orientés (Pyramid of Histograms of Orientation Gradients - PHOG). Il applique le principe d’histogrammes de gradients orientés en combinant les histogrammes des différents niveaux de la pyramide spatiale (cf Figure 10). Figure 10 – Représentation d’un pyramide d’histogrammes de gradient orienté source : [3] Le fait de combiner les histogrammes des différents niveaux de la pyramide spatiale permet d’avoir des résultats issues des différents niveaux d’échelles d’une image. 4.3.4 Descripteur sémantique : termes sémantiques Les recherches par métadonnées mentionnées dans les sections précédentes nous montrent qu’elles sont utilisées avec des simples requêtes structurées (SQL). Néanmoins, nous utiliserons les métadonnées de l’image comme un descripteur sémantique de la lésion, parce que, dans notre cas, les métadonnées contiennent des termes sémantiques (TS) qui sont utilisés pour décrire les caractéristiques visuelles tirées de l’image par le radiologue pendant l’annotation. En effet, dans le cas étudié, les termes sémantiques ne sont pas considérés comme des métadonnées mais des caractéristiques visuelles directement liées au contenu de l’image et à la lésion. Ces termes sont 27
  37. 37. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence stockés dans le fichier d’annotation AIM de l’image (cf. section 4.2) et le descripteur sémantique est présenté par un ensemble TS. 4.3.5 Indexation sur la région d’intérêt L’indexation est la première partie de notre algorithme. Cette étape est une étape prélimi- naire qui ne se fait pas en temps réel : nous indexons une fois notre base et nous utilisons toujours cette même indexation pour faire des recherches de cas similaires. Cette indexation contiendra les métadonnées et les descripteurs (GLH, LBP, PHOG, TS) extraits des images. Les valeurs de ces descripteurs sont alors stockées dans un fichier index où chaque ligne représente les descripteurs d’une lésion dans une séquence particulière. 4.4 Recherche de cas similaires Une fois que l’indexation est terminée, nous utilisons cet index pour réaliser notre recherche d’ensemble d’images similaires, autrement dit recherche de cas similaires. Dans le cadre de ce stage, nous avons proposé différents types d’approches pour effectuer cette recherche : des approches mono- descripteur, multi-séquences et des approches multi-descripteurs, multi-séquences. Ces différentes approches nous permettront d’étudier plusieurs stratégies de recherche multi-séquences. 4.4.1 Approche mono-descripteur, multi-séquences L’approche mono-descripteur, multi-séquences, consiste à reconstruire des cas existants dans la base et de calculer une distance de similarité pour chacun des descripteurs de l’index avec les images requêtes (i.e. le cas requête). La figure 11 schématise cette approche. La première étape est en effet le palier indispensable de notre méthode pour pouvoir travailler sur des cas. Nous allons combiner les images de la base selon l’identifiant du patient. C’est-à-dire que les images appartenant à un patient formeront un cas. Ces cas contiendront donc 3 ou 4 images annotées de différentes séquences. Nous pouvons détecter à quel type de séquence ils appartiennent grâce aux annotations, parce que l’information de la séquence est un des termes sémantiques. Puis, nous accédons aux descripteurs extraits des ROIs des séquences de chaque cas grâce à l’index et nous extrayons les mêmes descripteurs des ROIs des séquences de la requête. Nous 28
  38. 38. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence calculons ensuite la similarité des séquences entre elles grâce à une mesure de similarité. Enfin, nous fusionnons ces mesures de similarité de chaque cas pour les différents descripteurs. Sur la Figure 11 cette approche mono-descripteur est représentée par un descripteur Desf (par exemple l’histogramme de niveaux de gris). La distance de similarité entre le Cas 1 et la requête se fait au niveau de tous les séquences parce que tous les deux sont composés de tous les séquences, c’est-à-dire ils n’ont pas de séquences manquante. Alors que le Cas 2 ne possède pas la séquence T1 FS, alors la distance de similarité est calculée seulement entre les séquences présentes dans les deux cas : T2, T1 et T1 FS Gd. Une fois que les distances sont calculées pour chaque séquence présente entre la requête et les cas, la moyenne des distances de similarité de toutes les séquences de tous les cas présentera la distance de similarité totale entre la requête R et un Casn. Ces mesures de similarité sont des distances calculées entre les histogrammes des descripteurs extraits des ROIs de la base avec les mêmes descripteurs extraits des ROIs des images requêtes. Par contre, nous calculons les distances uniquement entre les images appartenant au même type de séquence : c’est-à-dire les T2 avec les T2, les T1 avec les T1 et ainsi de suite. Pour obtenir cette distance de similarité, il existe plusieurs distances dans la littérature. 4.4.1.1 Distance Euclidienne La distance Euclidienne est la distance directe minimale entre deux objets, p et q, qui se trouvent dans un espace euclidien : dE(p, q) = (xq − xp)2 + (yq − yp)2 Nous pouvons aussi utiliser cette distance pour calculer la similarité entre deux histo- grammes, H et H , avec la formule suivante [11] : dE(H, H ) = N i=1 (Hi − Hi)2 29
  39. 39. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence où Hi représente la ième barre de l’histogramme H et Hi représente la ième barre de l’histo- gramme H 4.4.1.2 Distance de Manhattan La distance de Manhattan entre deux points est la distance du trajet vertical et/ou horizontal de longueur minimale entre ces deux points. Dans un espace à deux dimensions qui contient les points p et q, la distance de Manhattan peut être représentée de la manière suivante : dM (p, q) = |xq − xp| + |yq − yp| Pour la comparaison d’histogrammes, cette valeur peut être utilisée pour faire une étude de similarités [62] dM (H, H ) = N i=1 |Hi − Hi| 4.4.1.3 Distance de Tanimoto La distance de Tanimoto est une dérivée de la distance de Jaccard qui mesure la dissimilarité entre deux ensembles. Soit p et q deux points dans un espace à deux dimensions. La distance Jaccard entre ces deux points est représenté par dj(p, q) et la distance Tanimoto par dt(p, q) : dj(p, q) = |p ∪ q| − |p ∩ q| |p ∪ q| 30
  40. 40. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence dt(p, q) = p · q p 2 + q 2 − p · q Requête 𝐷𝑒𝑠𝑓 PACS . . . Cas 1 Cas 2 𝐷𝑒𝑠𝑓 Distance 𝐷𝑒𝑠𝑓 entre Requête 𝑅 et Cas 1 Distance 𝐷𝑒𝑠𝑓 entre Requête 𝑅 et Cas 2 𝑑 𝑇2 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠1) 𝑑 𝑇1 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠1) 𝑑 𝑇1𝐹𝑆 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠1) 𝑑 𝑇1𝐹𝑆𝐺𝑑 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠1) 𝑑 𝑇2 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠2) 𝑑 𝑇1 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠2) 𝑑 𝑇1𝐹𝑆𝐺𝑑 𝐷𝑒𝑠 𝑓 (𝑅, 𝐶𝑎𝑠2) Moyenne des distances Rang Cas Distance 1 2 3 4 ... 𝑑1 𝑑2 𝑑3 𝑑4 Résultat du premier niveau Figure 11 – Schéma de l’approche mono-descripteur, multi-séquences 31
  41. 41. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence 4.4.2 Approches multi-descripteurs, multi-séquences L’approche précédente ne comprend pas la fusion des caractéristiques quantitatives et séman- tiques des recherches multi-séquences. Les approches multi-descripteurs, multi-séquences consistent à agréger des séquences et des descripteurs. Autrement dit, notre contribution consiste à combiner les résultats de recherche obtenus par les différentes caractéristiques visuelles et par termes séman- tiques dans le but d’améliorer nos résultats. Pour cela, nous avons proposé différentes stratégies de consensus pour fusionner nos différents résultats de recherche de cas similaires. Pour une requête contenant 3 à 4 images d’un patient qui forment un cas, nous obtenons 4 ensembles différents de résultats par les différents descripteurs qu’on utilise : GLH, LBP, PHOG et TS (cf. Figure 11). Ces 4 résultats sont considérés comme les résultats de recherche du pre- mier niveau. C’est à partir de là que nous allons fusionner ces résultats pour faire une recherche multi-séquences en combinant ces différents descripteurs et obtenir des résultats de deuxième, puis troisième niveau avec différentes stratégies (cf. Figure 12). 4.4.2.1 Agrégation des informations multi-séquences en combinant les différents des- cripteurs Comme cela est présenté sur la Figure 12, les résultats du premier niveau présentent les pre- miers résultats que nous avons obtenus avec l’approche mono-descripteur abordée dans la section précédente 4.4.1 pour un descripteur précis. Pour cette approche multi-séquences, nous allons com- biner les résultats obtenus par les différents descripteurs. Nous commençons donc par effectuer une recherche mono-descripteur (cf. Section 4.4.2) pour chaque descripteur considéré. Nous obtenons 4 résultats de recherche du premier niveau. Nous proposons ensuite trois stratégies pour combiner les différents descripteurs. • Moyenne des distances de similarité : Chaque résultat du premier niveau est classé par ordre croissant selon les distances de simi- larité attribuées pour les cas existants dans la base selon le descripteur utilisé. Ces distances sont obtenues par la mesure de similarité entre le cas requête et les cas de la base. Pour pouvoir comparer ces distances, nous devons les normaliser. Après cela, nous avons pris la moyenne arithmétique et la moyenne harmonique des distances normalisées par cas et obtenu de nouveaux scores pour ces cas. Ce qui nous donne un résultat du deuxième niveau que vous pouvez voir en rouge sur la Figure 12. 32
  42. 42. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence Pour prendre les moyennes des distances de similarité, nous utilisons les formules suivantes : Moyenne de distance arithmétique entre un requête R et un cas p : distmoy_arit_dist(R, casp) = distGLH(R, casp) + distLBP (R, casp) + distP HOG(R, casp) + distT S(R, casp) nb_result Moyenne de distance harmonique d’un casp : distmoy_harm_dist(R, casp) = nb_result 1 distGLH (R,casp) + 1 distR,LBP (casp) + 1 distR,P HOG(casp) + 1 distT S (R,casp) • Moyenne des rangs : Cependant, les distances de similarité calculées entre les différents types de descripteurs ne sont pas forcément comparables donc nous avons proposé d’utiliser encore une fois nos 4 résultats de premier niveau, mais cette fois-ci, nous ne nous intéressons non pas aux distances de similarité, mais aux rangs des cas à travers les différents résultats. Ainsi, les formules que nous utilisons pour cette stratégie restent les mêmes que les formules utilisées dans le moyennage des distances de similarité, mais les rangs prennent les places des distances de similarité dans les séries de résultats ordonnés. Moyenne de rang arithmétique entre un requête R et un cas p : rangmoy_arit_rang(R, casp) = rangGLH(R, casp) + rangLBP (R, casp) + rangP HOG(R, casp) + rangT S(R, casp) nb_result Moyenne de rang harmonique d’un casp : rangmoy_harm_rang(R, casp) = nb_result 1 rangGLH (R,casp) + 1 rangR,LBP (casp) + 1 rangR,P HOG(casp) + 1 rangT S (R,casp) Cette stratégie qui nous donne encore un résultat du deuxième niveau est présentée en violet sur la Figure 12 : nous prenons la moyenne des rangs issus de tous les résultats du premier niveau. • Moyenne des rangs et des distances : 33
  43. 43. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence Cette dernière stratégie est une fusion des résultats non pas du premier niveau mais du deuxième niveau. Autrement dit, nous utiliserons non pas les 4 résultats de base que nous avions obtenus à partir des différents descripteurs, mais des résultats de nos deux stratégies de fusion expliquées dans les sections précédentes. Par conséquent, nous obtiendrons des résultats du troisième niveau (cf. Figure 12 en gris clair). C’est en effet une autre stratégie de fusion dérivée des stratégies précédentes, parce que nous combinons les distances de similarité et les rangs des résultats : nous prenons la moyenne arithmétique et harmonique des rangs et des distances de similarité des résultats du deuxième niveau. Cependant, comparer des rangs à des scores peut ne pas être très pertinent. C’est pour cette raison que nous avons décidé de prendre aussi les moyennes arithmétiques et harmoniques des rangs finaux et des rangs obtenus selon les scores finaux. Sur la Figure 12, nous pouvons visualiser les résultats du troisième niveau. Notre premier consensus est représenté en gris clair : nous prenons la moyenne entre les rangs moyennés obtenus à partir du résultat du deuxième niveau “Moyenne des rangs” (en violet) et les distances moyennées du “Moyenne des distances de similarité” (en rouge). Puis, notre deuxième consensus est représenté en jaune : nous prenons la moyenne entre les rangs du résultat du deuxième niveau “Moyenne des rangs” (en violet) et les rangs du “Moyenne des distances de similarité” (en rouge). 4.4.2.2 Agrégation des informations multi-descripteurs séquence par séquence Pour cette deuxième stratégie d’agrégation, nous n’allons pas utiliser les résultats du premier niveau. Nous avons décidé de ne pas combiner ensemble les distances de similarité de toutes les séquences d’un cas pour un descripteur mais de traiter chaque séquence séparément (cf. Figure 13). Nous allons utiliser encore les mêmes descripteurs et nous allons chercher des séquences similaires dans la base. Autrement dit, les recherches prendront en compte la séquence à laquelle les images de la base appartiennent et la recherche va être effectuée sur les images appartenant à la même séquence. Au final, nous aurons encore une liste de résultats pour chaque séquence du cas requête. Pour calculer la similarité afin de trouver ces listes de résultats, nous allons encore utiliser les mêmes principes évoqués auparavant : moyenne des distances de similarité et moyenne des rangs (cf. section 4.4.2). Mais cette fois-ci, nous allons prendre deux ensembles différents de résultats pour appliquer ces calculs. Dans un premier temps, nous allons prendre toutes les listes de résultats obtenus pour chacun 34
  44. 44. 4 Méthode proposée de recherche de cas similaires avec une requête multi-séquence des descripteurs d’une séquence. C’est-à-dire que nous aurons nbsequence ×nbdescripteur listes : soient 16 listes (4 séquences x 4 descripteurs) si toutes les séquences sont présentes dans la requête et 12 (3 séquences x 4 descripteurs) s’il y a une séquence manquante. Puis, nous prendrons la moyenne des rangs et des distances de similarité issues de ces listes. La Figure 13 représente cette dernière approche que nous proposons. Dans un premier temps, nous récupérons les distances de similarité pour chaque séquence séparément entre une requête R et tous les cas de notre base, ce qui nous donne 16 ensembles de résultats pour un exemple. Notre première stratégie est présentée en rouge avec un premier ensemble de résultats obtenus sur la Figure 13 : nous prenons la moyenne des rangs des résultats appartenant à cet ensemble. D’autre part, nous allons moyenner les nouveaux rangs obtenus pour chaque séquence. Nous aurons donc nbsequence listes de résultats. Nous prenons donc la moyenne des rangs de chaque ensemble de résultats appartenant aux différentes séquences représentées sur la Figure 13. Ceci va nous donner 4 (nombre de séquence présentes dans la requête de l’exemple) résultats. Enfin, la moyenne de ces résultats, représentée en violet sur la figure 13, nous donne un rang final que nous pourrons utiliser pour faire un classement. En conséquent, nous allons prendre soit la moyenne générale des rangs de toutes les listes de toutes les séquences, soit la moyenne des rangs des moyennes des listes issues de chaque sé- quence séparément. Finalement, nous allons procéder de même pour les moyennes des distances de similarité. 35
  45. 45. 4Méthodeproposéederecherchedecassimilairesavecunerequêtemulti-séquence Requête 𝐺𝐿𝐻 PACS . . . 𝐿𝐵𝑃 𝑃𝐻𝑂𝐺 𝑇𝑆 < 𝑥1, 𝑥2,.., 𝑥 𝑛> < 𝑥1, 𝑥2,.., 𝑥 𝑛> < 𝑥1, 𝑥2,.., 𝑥 𝑛> < 𝑥1, 𝑥2,.., 𝑥 𝑛> Cas 1 Cas 2 𝐺𝐿𝐻 𝐿𝐵𝑃 𝑃𝐻𝑂𝐺 𝑇𝑆 𝐺𝐿𝐻 𝐿𝐵𝑃 𝑃𝐻𝑂𝐺 𝑇𝑆 Distance pour GLH entre Requête 𝑅 et un cas Distance pour LBP entre Requête 𝑅 et un cas Distance pour PHOG entre Requête 𝑅 et un cas Distance pour TS entre Requête 𝑅 et un cas Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Résultats du premier niveau Moyenne des rangs Moyenne des distances de similarité Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Résultats du deuxième niveau Moyenne des rangs des deux moyennes Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Résultats du troisième niveau Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Moyenne des rangs moyennés des distances moyennées Figure 12 – Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des informations multi-séquences en combinant les différents descripteurs 36
  46. 46. 4Méthodeproposéederecherchedecassimilairesavecunerequêtemulti-séquence Requête 𝐺𝐿𝐻 𝐿𝐵𝑃 𝑃𝐻𝑂𝐺 𝑇𝑆 < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, 𝑥2, . . , 𝑥 𝑛> < 𝑥1, 𝑥2, . . , 𝑥 𝑛> PACS . . . Cas 1 Cas 2 𝐺𝐿𝐻 𝐿𝐵𝑃 𝑃𝐻𝑂𝐺 𝑇𝑆 𝐺𝐿𝐻 𝐿𝐵𝑃 𝑃𝐻𝑂𝐺 𝑇𝑆 Distance pour GLH entre Requête 𝑅 et un cas Distance pour LBP entre Requête 𝑅 et un cas Distance pour PHOG entre Requête 𝑅 et un cas Distance pour TS entre Requête 𝑅 et un cas Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Distance pour GLH entre Requête 𝑅 et un cas Distance pour LBP entre Requête 𝑅 et un cas Distance pour PHOG entre Requête 𝑅 et un cas Distance pour TS entre Requête 𝑅 et un cas Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Distance pour GLH entre Requête 𝑅 et un cas Distance pour LBP entre Requête 𝑅 et un cas Distance pour PHOG entre Requête 𝑅 et un cas Distance pour TS entre Requête 𝑅 et un cas Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Distance pour GLH entre Requête 𝑅 et un cas Distance pour LBP entre Requête 𝑅 et un cas Distance pour PHOG entre Requête 𝑅 et un cas Distance pour TS entre Requête 𝑅 et un cas Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... T2 T1 T1 FS T1 FS Gd Moyenne générale de touts les rangs Moyenne des moyennes des rangs Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Rang Cas Distance 1 2 ... Cas 1 Cas 2 ... 𝑑1 𝑑2 ... Moyenne des rangs issus de la séquence T2 Moyenne des rangs issus de la séquence T1 Moyenne des rangs issus de la séquence T1 FS Moyenne des rangs issus de la séquence T1 FS Gd Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Rang Cas Distance 1 2 3 ... 𝑑1 𝑑2 𝑑3 Figure 13 – Schéma de l’approche multi-descripteurs, multi-séquences avec l’agrégation des informations multi-descripteurs séquence par séquence 37
  47. 47. 5 Validation expérimentale Pour évaluer l’intérêt de notre approche de recherche de cas similaires, nous avons appliqué cette dernière sur les images médicales des masses ovariennes en format DICOM fournies par la médecin radiologue de l’HEGP Laure Founier. 5.1 Implémentation Pour l’annotation de notre base, nous utiliserons la plate-forme Web ePAD de l’université de Stanford, comme expliqué dans la section précédente (cf. Figure 6). Pour cela, nous téléchargeons nos images sur la plate-forme ePAD hébergée dans le serveur cloud de l’IDV. Nous créons un modèle d’annotation contenant les termes sémantiques prédéfinis par le docteur Laure Fournier à l’aide du logiciel AIM Template Builder 1 et nous annotons un cadre de chaque séquence d’un patient en précisant bien la région d’intérêt. Les cadres sont choisis selon la qualité d’apparence de la lésion dans l’ensemble de la séquence. A la fin, nous pourrons télécharger les images annotées pour avoir la version finale de notre base d’images médicales de masses ovariennes. Pour l’implémentation de notre méthode de CBIR, nous utiliserons une librairie de open- source de Java, Lucene Image REtrieval 2 (LIRE). Cette librairie permet d’extraire des descripteurs des images, de les indexer, de faire une requête simple sur ces image, et fournit une interface de programmation pour faire tout ceci. Afin de pouvoir extraire des caractéristiques visuelles sur les ROI, les descripteurs implémentés sur le projet LIRE ont été modifiés car l’implémentation de ces derniers se focalisait sur toute l’image. Dans un premier temps, nous avons implémenté un descripteur de couleur en niveaux de gris GLH. Nous avons fait en sorte que ce descripteur prenne en compte la ROI si les coordonnées sont présentes dans le fichier AIM de l’image en question (cf. Figure 7 pour voir un exemple de fichier AIM). Puis, nous avons adapté le projet à faire des extractions sur la ROI pour les descripteurs de texture LBP et PHOG que nous avons utilisés pour notre indexation. De plus, nous avons créé un descripteur de termes sémantiques au projet (nous accéderons encore aux informations des TS sur le fichier AIM de l’image). Après avoir adapté les descripteurs selon nos besoins, nous avons indexé notre base d’images selon ces informations. L’indexation du projet LIRE était déjà adaptée pour les images pour les 1. https://wiki.nci.nih.gov/display/AIM/AIM+Template+Builder+Documentation 2. http://www.lire-project.net/ 38
  48. 48. 5 Validation Expérimentale descripteurs implémentés. Les concepts fondamentaux dans Lucene sont index, document, champ et terme : un index contient des documents, un document contient des champs, les champs représentent des séquences nommées de termes (termes sémantiques) et enfin les termes sont des chaînes de caractères en octets (cf. Figure 14). Dans notre cas, un document est associé à une image de la base et les tableaux 2 et 3 contiennent les champs et les termes associés à ces champs. Figure 14 – Index de l’algorithme de Apache Lucene Figure 15 – Index de la base de masses ovariennes L’indexation consiste à extraire des caractéristiques visuelles sur les régions d’intérêt, qui sont 39
  49. 49. 5 Validation Expérimentale les masses ovariennes, des images DICOM et à binariser ces informations pour créer des documents. Nous pouvons ajouter d’autres champs dans notre document. Nous avons besoin des champs qui contiennent les informations du diagnostic du patient, de l’identifiant du patient et des termes sémantiques (TS) qui sont attribués au fichier AIM de l’image concernée. La visualisation de notre index pour une image est représentée sur la Figure 15. Une fois que nous avons notre indexation sur les ROI de notre base annotée, nous avons créé une autre branche dans le projet afin de faire des recherches non seulement sur une seule image requête mais sur une séquence d’images en requête. La difficulté dans cela était de faire plusieurs recherches et de les combiner. Nous avons ici implémenté l’approche de CBIR proposée en section 4. Pour visualiser les résultats, le projet LIRE fournit aussi une interface en Java. Vous pouvez consulter une capture d’écran de l’interface pour une autre base que la nôtre sur la Figure 16. Figure 16 – Interface Lucene avec l’exemple des lésions de l’abdomen 40
  50. 50. 5 Validation Expérimentale Par contre, cette interface n’était pas adaptée pour visualiser des recherches multi-images. Puisque nous avions un temps limité, nous avons décidé de ne pas travailler sur cette interface pour l’adapter à afficher des séquences d’image. Nous avons préféré générer des pages en format HTML avec des classes de tests qui permettent de visualiser les résultats. Sur la Figure 17, nous pouvons voir les résultats obtenus par le descripteur GLH pour le cas d’un endométriome et sur la Figure 18, nous pouvons accéder aux résultats obtenus pour un tératome à partir des différentes stratégies de fusion de caractéristiques visuelles. Enfin, sur la Figure 19, les résultats de notre dernière stratégie sont présentés pour un cyst en requête. Figure 17 – Résultats de GLH pour un endométriome présentés sur une page html 41
  51. 51. 5ValidationExpérimentale Figure 18 – Résultats des stratégies de fusion de caractéristiques pour un tératome présentés sur la page html 42
  52. 52. 5ValidationExpérimentale Figure 19 – Résultats des stratégies de fusion séquentielle de caractéristiques pour un cyst présentés sur la page html 43
  53. 53. 5 Validation Expérimentale Une fois que nous avons implémenté mes algorithmes, nous pouvons appliquer notre protocole expérimental, que nous allons expliquer dans la section suivante, afin d’évaluer nos résultats. 5.2 Protocole expérimental Les systèmes de recherche d’informations permettent de restituer des documents susceptibles d’être pertinents par rapport aux besoins de l’utilisateur. Notre méthode présente aussi un système de recherche d’informations dans le domaine de l’imagerie médicale : à partir d’un cas requête, nous recherchons des cas similaires dans notre base. Finalement, nous disposons de plusieurs ensembles de résultats issus de notre méthode. Afin d’évaluer ces résultats de recherche, il existe plusieurs mesures de performances. Normalized Discounted Cumulative Gain (NDCG)[26] et précision/rappel [36] sont les plus utilisées pour évaluer les systèmes de recherche d’informations. La première méthode, NDCG nécessite que le médecin radiologue fournisse un résultat de classement de référence pour chaque image requête potentielle. Malheureusement, cette méthode est très compliquée et il faut beaucoup de temps pour que les radiologues puissent définir les clas- sements : ils doivent évaluer manuellement toute la base selon différents critères. Conséquemment, nous ne possédons pas ces classements de similarité et nous ne pouvons pas évaluer nos résultats par cette méthode. Pour cette raison, nous utiliserons une méthode alternative pour mesurer la performance de nos résultats : la précision et le rappel. Ils sont calculés par les formules suivantes : précision = Nb. de cas pertinents retrouvés Nb. total de cas retrouvés rappel = Nb. de cas pertinents retrouvés Nb. total de cas pertinents dans la base En d’autres termes, la précision sert à quantifier les cas sélectionnés qui sont pertinents et le rappel est de quantifier les éléments pertinents qui sont sélectionnés. 44
  54. 54. 5 Validation Expérimentale Nous utilisons également le f-mesure (i.e. f-score) qui est la moyenne harmonique entre la précision et le rappel : f-mesure = 2 · précision · rappel précision + rappel Finalement, nous allons évaluer nos différentes stratégies abordées sur la section 4 avec la mesure de performance précision/rappel à six. Autrement dit, nous allons considérer un à un tous les 25 cas de notre base que nous allons considérer comme requête pour évaluer les différents méthodes de fusion et d’agrégation avec différents descripteurs et distances de similarité. Puisque nous n’avons que six cas en intersection de nombre de différents types de kystes, nous allons fixer le nombre total de cas retrouvé à six. 5.3 Analyse des résultats 5.3.1 Choix de la mesure de similarité sur les résultats mono-descripteur, multi- séquences Comme nous l’avons abordé dans les sections 4.4.1.1, 4.4.1.2 et 4.4.1.3, plusieurs mesures de similarité existent pour calculer la similarité entre un cas requête et les cas de notre base. Afin de choisir la distance la plus adaptée à notre recherche, il faut qu’on trouve la distance la plus adaptée pour chaque descripteur qu’on utilise pour notre système. Pour cela, nous allons évaluer les résultats du premier niveau issus de différents descripteurs par différentes distances de similarité présentées auparavant. Ces évaluations consisteront à calculer la précision, rappel et f-mesure (expliqué dans la section précédente 5.2) des listes de résultats. • Choix de distance de similarité pour l’histogramme de niveaux de gris : Pour l’histogramme de niveaux de gris, quand nous observons les valeurs d’évaluation pour chaque type de kyste, nous constatons que dans tous les cas, c’est la distance Tanimoto qui donne les meilleurs taux de précision, de rappel et de f-mesure (cf. Table 4). Quand nous observons globalement les résultats comme le graphe sur la Figure 20 nous les présente, nous pouvons dire que l’évaluation par les distances de Manhattan et Euclidienne, tout 45
  55. 55. 5 Validation Expérimentale en étant similaire, reste en dessous de l’évaluation par la distance de Tanimoto car la distance de Tanimoto permet de prendre en compte les corrélations entre les bins des histogrammes. TANIMOTO MANHATTAN EUCLIDIENNE Précision Rappel F-mesure Précision Rappel F-mesure Précision Rappel F-mesure Cyst (10 cas) 68,33% 45,56% 54,67% 38,33% 25,56% 30,67% 38,33% 25,56% 30,67% Endométriome (8 cas) 64,58% 55,36% 59,62% 79,17% 67,86% 73,08% 79,17% 67,86% 73,08% Tératome (7 cas) 64,58% 57,14% 57,14% 57,14% 57,14% 57,14% 57,14% 57,14% 57,14% TOTAL 64,58% 52,69% 57,14% 58,21% 50,19% 53,63% 58,21% 50,19% 53,63% Table 4 – Mesure de performance de GLH selon différentes distances de similarité Figure 20 – Mesures de performance globale avec GLH Finalement, nous décidons de fixer la distance de Tanimoto pour les recherches effectuées avec les GLH. • Choix de distance de similarité pour le motif de binaires locaux : De la même manière, nous observons les valeurs d’évaluation pour chaque type de kyste mais cette fois-ci pour le descripteur des motifs binaires locaux. Encore une fois, c’est la distance de Tanimoto qui donne une meilleure précision pour chaque diagnostic (cf. Table 5). 46
  56. 56. 5 Validation Expérimentale TANIMOTO MANHATTAN EUCLIDIENNE Précision Rappel F-mesure Précision Rappel F-mesure Précision Rappel F-mesure Cyst (10 cas) 66,67% 44,44% 53,33% 58,33% 38,89% 46,67% 41,67% 27,78% 33,33% Endométriome (8 cas) 35,42% 30,36% 32,69% 29,17% 25,00% 26,92% 33,33% 28,57% 30,77% Tératome (7 cas) 57,14% 57,14% 57,14% 50,00% 50,00% 50,00% 52,38% 52,38% 52,38% TOTAL 53,08% 43,98% 47,72% 45,83% 37,96% 41,20% 42,46% 36,24% 38,83% Table 5 – Mesure de performance de LBP selon différentes distances de similarité Avec la représentation globale sur la figure 21, nous constatons qu’avec presque 10% d’écart, la distance de Tanimoto présente une précision plus élevée que les distances de Manhattan et Euclidienne. Figure 21 – Mesures de performance globale avec LBP Nous avons encore décidé d’utiliser par la suite la distance de Tanimoto pour les recherches effectuées par les LBP. • Choix de distance de similarité pour la pyramide des histogrammes de gradients orientés : Pour la pyramide des histogrammes de gradients orientés, le choix de distances n’était pas évident. Quand nous avons observé les valeurs d’évaluation pour chaque type de kyste, nous avons remarqué que pour les endométriomes et les tératomes, c’est encore la distance Tanimoto qui satis- 47
  57. 57. 5 Validation Expérimentale fait la précision alors que pour les kystes simples, c’est la distance Manhattan (cf. Table 6). Cependant, notre base d’images contient majoritairement des cysts. Ceci explique le fait que la distance de Manhattan garde l’ancienne précision sur la vue globale présentée sur la Figure 22. TANIMOTO MANHATTAN EUCLIDIENNE Précision Rappel F-mesure Précision Rappel F-mesure Précision Rappel F-mesure Cyst (10 cas) 25,00% 16,67% 20,00% 66,67% 44,44% 53,33% 56,67% 37,78% 45,33% Endométriome (8 cas) 54,17% 46,43% 50,00% 47,92% 41,07% 44,23% 45,83% 39,29% 42,31% Tératome (7 cas) 42,86% 42,86% 42,86% 30,95% 30,95% 30,95% 38,10% 38,10% 38,10% TOTAL 40,67% 35,32% 37,62% 48,51% 38,82% 42,84% 46,87% 38,39% 41,91% Table 6 – Mesure de performance de PHOG selon différentes distances de similarité Figure 22 – Mesures de performance globale avec PHOG Nous sommes ainsi restés sur le choix de la distance qui présente la meilleure précision sur la totalité de notre base. C’est-à-dire que nous utiliserons la distance Manhattan pour les recherches qui s’effectueront avec les PHOG. • Choix de distance de similarité pour les termes sémantiques : Nos descripteurs de termes sémantiques sont représentés comme des ensembles de mots donc on ne peut pas comparer par les distances de similarité de Tanimoto, de Manhattan ou Euclidienne qui sont dédiées à comparer des vecteurs d’éléments. Nous utiliserons donc une distance ensembliste 48
  58. 58. 5 Validation Expérimentale d’intersection. Ainsi, pour pouvoir mesurer la similarité entre le descripteur sémantique du cas requête avec les descripteurs sémantiques des cas de la base, nous attribuons un score minimal pour le plus grand nombre de TS similaires et un score maximal pour le petit nombre de TS similaires entre les images requêtes et les images de la base. Puisque nos termes sémantiques semblent corrélés avec le diagnostic des séquences, les me- sures de performance représentées sur la Figure 23 donnent des résultats avec une pertinence maxi- male. Distance ensembliste d’intersection Précision Rappel F-mesure Cyst (10 cas) 100,00% 66,67% 72,00% Endométriome (8 cas) 100,00% 85,71% 92,31% Tératome (7 cas) 100,00% 100,00% 100,00% TOTAL 100,00% 84,13% 88,10% Table 7 – Mesure de performance de TS Figure 23 – Mesures de performance globale avec TS 49
  59. 59. 5 Validation Expérimentale 5.3.2 Mesures de performances des approches multi-descripteurs, multi-séquences Nous allons maintenant comparer les mesures de performance de toutes les stratégies pré- sentées dans la section 4.4.2 pour les deux approches multi-descripteurs, multi-séquences. 5.3.2.1 Mesure de performance des résultats de l’agrégation des informations multi- séquences en combinant les différents descripteurs Premièrement, nous allons mesurer la performance de notre approche dans laquelle nous avons agrégé les informations multi-séquences issues de la combinaison entre les différents descrip- teurs. Le graphe présenté sur la Figure 24 nous illustre les mesures de performance liée à notre approche multi-descripteurs, multi-séquences par l’agrégation des informations multi-séquences en combinant les différents descripteurs. On constate tout d’abord que la performance des moyennes arithmétiques est plus élevée que la performance des moyennes harmoniques pour chaque stratégie. Ensuite, nous remarquons que la stratégie de la moyenne des rangs est d’environ 20% plus perfor- mante que la moyenne des distances de similarité. Enfin, on peut voir qu’il n’y a pas trop d’intérêt à fusionner les rangs à partir du classement des distances de similarité puisque les résultats de perfor- mance restent toujours en dessous des performances obtenues en utilisant seulement le moyennage des rangs. Donc, selon les mesures de performances présentées sur ce graphe, nous pourrons dire que la meilleure stratégie est de prendre la moyenne arithmétique des rangs. 50
  60. 60. 5 Validation Expérimentale Figure 24 – Mesures de performance globale de l’approche multi-descripteurs, multi-séquences — agrégation des informations multi-séquences en combinant les différents descripteurs 5.3.2.2 Mesure de performance des résultats de l’agrégation des informations multi- descripteurs séquence par séquence Nous allons maintenant mesurer la performance de notre approche dans laquelle nous avons agrégé les informations multi-descripteurs issues de chaque différente séquence. L’application de la stratégie de la moyenne des distances a été abandonnée à cause de la faible performance observée. Le graphe présenté sur la Figure 25 montre les résultats des mesures de performance issues de cette deuxième approche multi-descripteurs, multi-séquences. De la même façon que la première approche, nous apercevons pour cette deuxième approche que les moyennes harmoniques sont moins performantes (environ de 5%) que les moyennes arithmétiques pour les deux stratégies (moyenne générale de tous les rangs et moyenne des moyennes des rangs). Nous distinguons aussi un léger écart d’environ 2% entre les deux stratégies : moyenne des moyennes des rangs et moyenne générale de tous les rangs. Même si l’écart est très petit, il n’est pas négligeable. Ainsi, selon les mesures de performance présentées sur ce graphe, nous pouvons dire que la meilleure stratégie pour cette deuxième approche est de prendre la moyenne arithmétique des 51
  61. 61. 5 Validation Expérimentale moyennes des rangs. Figure 25 – Mesures de performance globale de l’approche multi-descripteurs, multi-séquences — agrégation des informations multi-descripteurs séquence par séquence 5.3.2.3 Comparaison des approches multi-descripteurs, multi-séquences Nos deux approches multi-descripteurs, multi-séquences présentent des performances pro- metteuses pour faire une recherche de cas similaires pour des masses ovariennes : nous obtenons plus de 70% de précision pour certaines stratégies de consensus. Nous avons voulu aussi comparer les différentes stratégies de ces deux approches. Le graphe sur la Figure 26 illustre cette comparaison. La première approche est l’agrégation des informations multi-séquences en combinant les différents descripteurs et la deuxième est l’agrégation des infor- mations multi-descripteurs séquence par séquence. Nous avions vu précédemment que les meilleures performances étaient obtenues au niveau de la stratégie sur les rangs des ensembles de résultats. Donc, nous allons comparer les meilleures stratégies entre-elles. Dans un premier temps, pour la première approche, nous apercevons encore une fois que la moyenne des distances de similarité est très en dessous des stratégies des rangs des deux approches : la différence est d’environ 30%. 52

×