Recherche d’images similaires dans des bases
radiologiques :
Application aux séquences d’IRM des
masses ovariennes
Stage d...
Plan
1. Introduction
• Contexte et objectifs du stage
• Approches existantes
2. Méthode proposée de recherches multi-séque...
Interprétation des masses ovariennes
● Types de kystes :
● Types de sequence IRM :
• T2
• T1
• T1 Fat Sat
• T1 Fat Sat Gad...
Sujet du stage
● Fournir une aide aux radiologues pour l’interprétation de séquences d'images IRM pour
l’analyse des masse...
Objectifs du stage
● Méthodologique en Informatique (Analyse d’images)
• Développement d'une méthode de recherche d'images...
Objectifs du stage
● Création et annotation de la base d’images
Actuellement la base contient 25 cas annotés soit 90 image...
Approches existantes
• Recherche d'images par méta-données [1]
(nom de patient, date d’acquisition, sexe, age, etc..)
• Re...
Approches existantes
● Approches de fusion des caractéristiques visuelles et sémantiques
• Fusion des descripteurs avant l...
Problèmes des méthodes existantes
8/18
● Ils n’existe pas beaucoup de méthodes pour la recherche multi-images voir
aucun s...
Grandes étapes de la méthode proposée
9/18
Méthode proposée
● Indexation sur des ROIs : extraction des descripteurs
𝑡1, 𝑡2, … , 𝑡 𝑛
histogramme de
niveaux de gris (G...
Approche
mono-descripteur,
multi-séquences
11/18
Approche
multi-descripteurs,
multi-séquences
Agrégation des informations
multi-séquences en combinant
les différents descr...
Approche
multi-descripteurs,
multi-séquences
Agrégation des informations
multi-séquences en combinant
les différents descr...
Résultats
14/18
Résultats
14/18
Évaluation expérimentale
● Mesure de performance
● Étant un cas requête avec un certain diagnostic, on évalue le nombre de...
● Approche mono-descripteur, multi-séquences
63,35%
52,69%
57,14%58,21% 58,21%
50,19%
53,63%
0,00%
10,00%
20,00%
30,00%
40...
● Approche mono-descripteur, multi-séquences
53,08%
43,98%
47,72%
45,83%
37,96%
41,20%42,46%
36,24%
38,83%
0,00%
10,00%
20...
● Approche mono-descripteur, multi-séquences
40,67%
35,32%
37,62%
48,51%
38,82%
42,84%
46,87%
38,39%
41,91%
0,00%
10,00%
2...
● Approche multi-descripteurs, multi-séquences
71,94%
45,22%
55,02%
62,82%
43,12%
47,88%
59,87%
35,57%
44,22%
56,32%
32,75...
● Approche multi-descripteurs, multi-séquences
78,77%
76,87%
73,06%
70,82%
65,74%
64,21%
60,61% 59,32%
71,18%
69,50%
65,79...
Conclusion
● Bilan sur l’approche multi-descripteurs, multi-séquences
● Limites
● Données manquantes
● Termes sémantiques ...
Merci pour votre attention ...
Des questions ?
Prochain SlideShare
Chargement dans…5
×

LIPADE_Presentation

31 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
31
Sur SlideShare
0
Issues des intégrations
0
Intégrations
3
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

LIPADE_Presentation

  1. 1. Recherche d’images similaires dans des bases radiologiques : Application aux séquences d’IRM des masses ovariennes Stage de Recherche financé dans le cadre du projet interdisciplinaire "Imageries du Vivant" Encadrants : Correspondante de stage : Responsable de stage : Yankı SESYILMAZ Florence CLOPPET, Dr. Laure FOURNIER, Camille KURTZ Isabelle BLOCH Sévérine DUBUISSON 12 Septembre 2016
  2. 2. Plan 1. Introduction • Contexte et objectifs du stage • Approches existantes 2. Méthode proposée de recherches multi-séquences 3. Évaluation expérimentale 4. Conclusion et perspectives 2/18
  3. 3. Interprétation des masses ovariennes ● Types de kystes : ● Types de sequence IRM : • T2 • T1 • T1 Fat Sat • T1 Fat Sat Gadolinium ● Types de signal : Kystes simples Kystes dermoïdes Kystes hémorragiques T2 T1 T1 FS T1 FS Gd KYSTES SIMPLES Hyper Hypo Hypo Hypo KYSTES DERMOÏDES Variable Hyper Hypo Hypo KYSTES HÉMORRAGIQUES Variable Hyper Hyper Hyper Hyper Hypo Iso 3/18
  4. 4. Sujet du stage ● Fournir une aide aux radiologues pour l’interprétation de séquences d'images IRM pour l’analyse des masses ovariennes. ● Les difficultés : • Besoin de recherche multi-séquences • Besoin d'outils "objectifs" basés sur le contenu visuel des images • Taille importante des bases de données des images médicales • Fusion des caractéristiques qualitatives (sémantiques) et quantitatives des images ?? Cyste Endométriome Tératome 4/18
  5. 5. Objectifs du stage ● Méthodologique en Informatique (Analyse d’images) • Développement d'une méthode de recherche d'images par le contenu combinant descripteurs visuels et sémantiques. • Développement d'une méthode de recherche d'images par le contenu permettant des recherches multi-images (la requête est représentée par plusieurs séquences). ● Technologique • Implémentation dans la librairie open-source LIRE. (http://www.lire-project.net/) ● Vers une application pour des besoins cliniques • Validation de ces outils et méthodes à la recherche d’images similaires de masses ovariennes dans un PACS. 5/18
  6. 6. Objectifs du stage ● Création et annotation de la base d’images Actuellement la base contient 25 cas annotés soit 90 images au total (10 kystes simples, 8 endométriomes et 7 tératomes) 6/18
  7. 7. Approches existantes • Recherche d'images par méta-données [1] (nom de patient, date d’acquisition, sexe, age, etc..) • Recherche d'images" par le contenu (en anglais : Content Based Image Retrieval - CBIR) [2] [3] 7/18 [1] M. Möller, S. Regel, and M. Sintek. Radsem : Semantic annotation and retrieval for medical images. In Proceedings of the European Semantic Web Conference – ESWC, pages 21–35, 2009. [2] T. Kato. Database architecture for content-based image retrieval. In Proceedings of the Symposium on Electronic Imaging : Science and Technology – IS&T/SPIE, pages 112– 123, 1992. [3] H. Müller, N. Michoux, D. Bandon, and A. Geissbuhler. A review of content-based image retrieval systems in medical applications—clinical benefits and future directions. International Journal of Medical Informatics, 73(1) :1–23, 2004.
  8. 8. Approches existantes ● Approches de fusion des caractéristiques visuelles et sémantiques • Fusion des descripteurs avant la recherche [1] [2] • Fusion des résultats issus des recherches pour différentes caractéristiques visuelles [3] • Recherches successives [4] ● Approches de recherche multi-images • Pondération des images requêtes [5] • Combiner les mesures de similarité des images requêtes avec la base [6] 8/18 [1] T. Gevers and A. W. Smeulders. Pictoseek : Combining color and shape invariant features for image retrieval. IEEE Transactions on Image Processing, 9(1) :102–119, 2000. [2] M. Huang, H. Shu, Y. Ma, and Q. Gong. Content-based image retrieval technology using multifeature fusion. Optik-International Journal for Light and Electron Optics, 126(19) :2144–2148, 2015. [3] T. Gevers and A. W. Smeulders. Pictoseek : Combining color and shape invariant features for image retrieval. IEEE Transactions on Image Processing, 9(1) :102–119, 2000. [4] D. Zhang. Improving image retrieval performance by using both color and texture features. In Proceedings of the International IEEE Conference on Image and Graphics – ICIG, pages 172–175, 2004. [5] Y. Ishikawa, R. Subramanya, and C. Faloutsos. Mindreader : Querying databases through multiple examples. Computer Science Department, page 551, 1998. [6] X. Jin and J. C. French. Improving image retrieval effectiveness via multiple queries. Multimedia Tools and Applications, 26(2) :221–245, 2005.
  9. 9. Problèmes des méthodes existantes 8/18 ● Ils n’existe pas beaucoup de méthodes pour la recherche multi-images voir aucun système pour la recherche multi-séquences. ● Le domaine médical est très spécifique et un seul système ne peut pas convenir à toutes sortes d’images médicales. ● Nous ne voulons pas faire de la classification mais de la recherche pour aider les radiologues à diagnostiquer les cas rares.
  10. 10. Grandes étapes de la méthode proposée 9/18
  11. 11. Méthode proposée ● Indexation sur des ROIs : extraction des descripteurs 𝑡1, 𝑡2, … , 𝑡 𝑛 histogramme de niveaux de gris (GLH) motifs binaires locaux (LBP) pyramide d’histogrammes de gradients orientés (PHOG) termes sémantiques (TS) [1] A. S. M. Sohail, P. Bhattacharya, S. P. Mudur, S. Krishnamurthy, and L. Gilbert. Content based retrieval and classification of ultrasound medical images of ovarian cysts. In Proceedings of the Workshop on Artificial Neural Networks in Pattern Recognition – ANNPR, pages 173–184, 2010. 10/18
  12. 12. Approche mono-descripteur, multi-séquences 11/18
  13. 13. Approche multi-descripteurs, multi-séquences Agrégation des informations multi-séquences en combinant les différents descripteurs Descipteurs -> Séquences 12/18
  14. 14. Approche multi-descripteurs, multi-séquences Agrégation des informations multi-séquences en combinant les différents descripteurs Séquences -> Descipteurs 13/18
  15. 15. Résultats 14/18
  16. 16. Résultats 14/18
  17. 17. Évaluation expérimentale ● Mesure de performance ● Étant un cas requête avec un certain diagnostic, on évalue le nombre de cas retrouvés ayant le même diagnostic : Précision/Rappel/F-mesure 𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑁𝑏. 𝑑𝑒 𝑐𝑎𝑠 𝑝𝑒𝑟𝑡𝑖𝑛𝑒𝑛𝑡𝑠 𝑟𝑒𝑡𝑟𝑜𝑢𝑣é𝑠 𝑁𝑏. 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑐𝑎𝑠 𝑟𝑒𝑡𝑟𝑜𝑢𝑣é𝑠 𝑟𝑎𝑝𝑝𝑒𝑙 = 𝑁𝑏. 𝑑𝑒 𝑐𝑎𝑠 𝑝𝑒𝑟𝑡𝑖𝑛𝑒𝑛𝑡𝑠 𝑟𝑒𝑡𝑟𝑜𝑢𝑣é𝑠 𝑁𝑏. 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑐𝑎𝑠 𝑝𝑒𝑟𝑡𝑖𝑛𝑒𝑛𝑡𝑠 𝑑𝑎𝑛𝑠 𝑙𝑎 𝑏𝑎𝑠𝑒 𝑓𝑚𝑒𝑠𝑢𝑟𝑒 = 2 ∙ 𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 ∙ 𝑟𝑎𝑝𝑝𝑒𝑙 𝑝𝑟é𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑎𝑝𝑝𝑒𝑙 15/18
  18. 18. ● Approche mono-descripteur, multi-séquences 63,35% 52,69% 57,14%58,21% 58,21% 50,19% 53,63% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% Précision Rappel F-mesure Mesure de performance avec l'histogramme de niveaux de gris Tanimoto Manhattan Euclidienne 16/18 Évaluation expérimentale
  19. 19. ● Approche mono-descripteur, multi-séquences 53,08% 43,98% 47,72% 45,83% 37,96% 41,20%42,46% 36,24% 38,83% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% Précision Rappel F-mesure Mesure de performance avec les motifs binaires locaux Tanimoto Manhattan Euclidienne 16/18 Évaluation expérimentale
  20. 20. ● Approche mono-descripteur, multi-séquences 40,67% 35,32% 37,62% 48,51% 38,82% 42,84% 46,87% 38,39% 41,91% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% Précision Rappel F-mesure Mesure de performance avec la pyramide des histogrammes de gradients orientés Tanimoto Manhattan Euclidienne 16/18 Évaluation expérimentale
  21. 21. ● Approche multi-descripteurs, multi-séquences 71,94% 45,22% 55,02% 62,82% 43,12% 47,88% 59,87% 35,57% 44,22% 56,32% 32,75% 38,40% 64,91% 39,53% 48,68% 61,10% 37,13% 42,58% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% des rangs des distances de similarité des rangs de distance de similarité et des rangs des rangs des distances de similarité des rangs de distance de similarité et des rangs Moyenne arithmétique Moyenne harmonique Mesure de performance avec l’approche descripteurs -> séquence Précision Rappel F-mesure 17/18 Évaluation expérimentale
  22. 22. ● Approche multi-descripteurs, multi-séquences 78,77% 76,87% 73,06% 70,82% 65,74% 64,21% 60,61% 59,32% 71,18% 69,50% 65,79% 63,56% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% des moyennes des rangs générale de tous les rangs des moyennes des rangs générale de tous les rangs Moyenne aithmétique Moyenne hamonique Mesure de performance avec l’approche descripteurs -> séquence Précision Rappel F-mesure 17/18 Évaluation expérimentale
  23. 23. Conclusion ● Bilan sur l’approche multi-descripteurs, multi-séquences ● Limites ● Données manquantes ● Termes sémantiques doivent être saisis à la main ● Perspectives ● Automatisation de la détéction des ROIs et prédiction des termes sémantiques ● Pondérer les poids donnés aux descripteurs et aux séquences grâce à l’aide d'un mécanisme de retour de pertinence 18/18
  24. 24. Merci pour votre attention ... Des questions ?

×