1. Mesures de
dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
Mesures de dissimilarit´s locales et globales
e F. Morain-Nicolier
frederic.nicolier@univ-
entre images, sym´triques et asym´triques
e e reims.fr
http://pixel-shaker.fr
Journ´e th´matique du GRCE et du GDR - I3 th`me 6
e e e Plan
Caract´ristiques et similarit´s dans les images naturelles et les
e e Pr´sentation de la
e
Carte de Dissimilarit´
e
images de documents Locales
Mesure locale ⇒
mesure globale
Formulations finale -
F. Morain-Nicolier Exemples
Bilan - discussion
frederic.nicolier@univ-reims.fr
http://pixel-shaker.fr
CRESTIC - URCA/IUT Troyes
23 juin 2009
1

2. Mesures de
dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
Pr´sentation de la Carte de Dissimilarit´ Locales
e e reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Mesure locale ⇒ mesure globale Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Formulations finale - Exemples Bilan - discussion
Bilan - discussion
2

3. Mesures de
dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
Pr´sentation de la Carte de Dissimilarit´ Locales
e e reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Mesure locale ⇒ mesure globale Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Formulations finale - Exemples Bilan - discussion
Bilan - discussion
3

4. Mesures de
Carte de Dissimilarit´s Locales (CDL)
e dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
« historique » asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
Mise au point pour comparer des images binaires [Th`se E.
e reims.fr
http://pixel-shaker.fr
Baudrier]
Plan
Image binaire = ensemble de pixels ⇒ Distance de Hausdorff (DH) Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
La DH est un outil topologique qui mesure l’´loignement de
e Mesure locale ⇒
mesure globale
deux sous-ensemble d’un espace m´trique sous-jacent 1 :
e Formulations finale -
Exemples
Bilan - discussion
DH(A, B) = max(h(A, B), h(B, A)) (1)
avec h(A, B) = maxa∈A (minb∈B d(a, b)).
Alg. par croissance de fenˆtre : la taille de la fenˆtre croˆ
e e ıt
jusqu’` ˆtre suffisamment grande pour saisir convenablement
ae
les caract´ristiques locales.
e
1. D.P. Huttenlocher, W.J. Rucklidge, ”Comparing images using the haus-
4 dorff distance”, IEEE Transactions on Pattern Analysis and Machine Intelligence,
vol. 15, n. 9, pp. 850–863, 1993

5. Mesures de
Algorithmes dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
Alg. par croissance de fenˆtre :
e
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Pour chaque pixel p, faire
1. n := 1 Plan
Pr´sentation de la
e
2. tant que DHp,n (A, B) ≤ n et n ≤ DH(A, B), faire n := n + 1 Carte de Dissimilarit´
e
Locales
3. CDLp (A, B) = DHp,n−1 (A, B) Mesure locale ⇒
mesure globale
Formulations finale -
Cet algorithme illustre bien le comportement de la CDL, mais Exemples
n’est pas tr`s rapide (it´rations).
e e Bilan - discussion
Plus rapide 2 :
CDL(p) = |A(p) − B(p)| max(tdA (p), tdB (p)), (2)
tdX ´tant la transform´e en distance de l’image X .
e e
2. E. Baudrier, F. Nicolier, G. Millon, S. Ruan, ”Binary-image comparison
5 with local-dissimilarity quantification”, Pattern Recognition, vol. 41, n. 5, pp.
1461–1478, jan. 2008

6. Mesures de
Exemples et propri´t´s
ee dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Bilan - discussion
Propri´t´s :
ee
localisation, quantification, robustesse aux petites variations.
6

7. Mesures de
Exemples et propri´t´s (2)
ee dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Bilan - discussion
7

8. Mesures de
Applications dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
Recherche d’impressions similaires 3 asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Bilan - discussion
3. E. Baudrier, F. Nicolier, G. Millon, S. Ruan, ”Binary-image comparison
8 with local-dissimilarity quantification”, Pattern Recognition, vol. 41, n. 5, pp.
1461–1478, jan. 2008

9. Mesures de
Applications dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
´
Evolution de tumeurs 4 asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Bilan - discussion
4. F. Morain-Nicolier, S. Lebonvallet, E. Baudrier, S. Ruan, ”Hausdorff dis-
9 tance based 3D quantification of brain tumor evolution from MRI images.,” in
Conf Proc IEEE Eng Med Biol Soc, 2007, pp. 5597-5600.

10. Mesures de
Lin´arisation de la CDL
e dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
Nouvelle formulation r´cente 5 :
e http://pixel-shaker.fr
Plan
CDLA,B = BdtA + AdtB . (3) Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
⇒ ´limination des op´rateurs max et abs.
e e Mesure locale ⇒
mesure globale
Compl´tement ´quivalente.
e e Formulations finale -
Exemples
Il ne reste que des op´rations lin´aires ⇒ impl´mentation
e e e Bilan - discussion
rapide.
Une extension aux images en niv. de gris est possible par
l’extension de la transform´e en distance ([Toivanen] et de
e
[Levi et Montanari]).
10
5. GRETSI, sept. 2009

11. Mesures de
dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
Pr´sentation de la Carte de Dissimilarit´ Locales
e e reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Mesure locale ⇒ mesure globale Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Formulations finale - Exemples Bilan - discussion
Bilan - discussion
11

12. Mesures de
Agr´gation des valeurs de la CDL
e dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
Estimation globale de la ressemblance entre deux images : frederic.nicolier@univ-
reims.fr
calcul d’un scalaire. http://pixel-shaker.fr
1. Somme des valeurs. Plan
2. Somme des valeurs quadratiques (cf Borgefors 6 .) Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
DG(A, B) = CDLA,B (p). (4) mesure globale
p∈A Formulations finale -
Exemples
Bilan - discussion
En d´veloppant :
e
DG(A, B) = B(p)tdA (p) + A(p)tdB (p). (5)
p p
6. G. Borgefors, ”Hierarchical chamfer matching : a parametric edge mat-
12 ching Algorithm”, IEEE Transactions on Pattern Analysis and Machine Intelli-
gence, vol. 10, n. 6, pp. 849–865, 1988

13. Mesures de
Interpr´tation : lien
e dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
Chamfer Matching : F. Morain-Nicolier
frederic.nicolier@univ-
consiste ` cherche la minimisation d’une distance entre deux
a reims.fr
http://pixel-shaker.fr
ensembles de points de contours [Borgefors].
Plan
Pr´sentation de la
e
Translation d’un gabarit (binaire) sur une image (binaire). Carte de Dissimilarit´
e
Locales
Moyenne des distances de chaques pixels du gabarit translat´e Mesure locale ⇒
mesure globale
au pixel de l’image le plus proche. Pour une translation t
Formulations finale -
donn´e :
e Exemples
1
CS(I , Gt ) = Gt (p)tdI (p). (6) Bilan - discussion
N p
CS : Chamfer Score.
Ainsi :
DG(A, B) = B(p)tdA (p) + A(p)tdB (p) (7)
p p
∼ CS(A, B) + CS(B, A). (8)
13

14. Mesures de
Interpr´tation
e dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
CS mesure comment l’image est dissimilaire au gabarit. http://pixel-shaker.fr
DG mesure comment A est similaire ` B et comment B est
a Plan
similaire ` A.
a Pr´sentation de la
e
Carte de Dissimilarit´
e
L’introduction de pond´rations α, β ∈ [0, 1] conduit ` une
e a Locales
formulation flexible : Mesure locale ⇒
mesure globale
Formulations finale -
DG(A, B) = α B(p)tdA (p) + β A(p)tdB (p). (9) Exemples
p p Bilan - discussion
Une mesure sym´trique est obtenue avec α = β.
e
Des mesures asym´triques sont obtenues dans les autres cas.
e
(Chamfer Score : α = 1 et β = 0).
Possibilit´ de valeurs plus gradu´es.
e e
14

15. Mesures de
dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
Pr´sentation de la Carte de Dissimilarit´ Locales
e e reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Mesure locale ⇒ mesure globale Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Formulations finale - Exemples Bilan - discussion
Bilan - discussion
15

16. Mesures de
Equations finales dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
Carte de dissimilarit´s (local) :
e frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
CDL(A, B) = αB(p)tdA + βA(p)tdB . (10) Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Dissimilarit´ (global) :
e Locales
Mesure locale ⇒
mesure globale
DG(A, B) = α B(p)tdA (p) + β A(p)tdB (p). (11) Formulations finale -
Exemples
p p
Bilan - discussion
Possibilit´ de localiser un motif :
e
LI ,G = α(td2 G ) + β(I
I td2 ).
G (12)
( : intercorr´lation, autorisant une impl´mentation tr`s rapide
e e e
dans Fourier).
16

17. Mesures de
Exemples dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
Localisation d’un motif asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Bilan - discussion
17

18. Mesures de
Exemples dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
Localisation d’un motif (2) : ´tude de la robustesse
e asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Bilan - discussion
18

19. Mesures de
Exemples dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
Reconnaissance de symboles 7 asym´triques
e
F. Morain-Nicolier
1. I : symbole inconnu, Mi , i ∈ [1, N] mod`les de r´f´rence.
e ee frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
2. Pour chaque mod`le Mi :
e
calculer la dissimilarit´ (asym´trique) entre Mi et I .
e e Plan
Pr´sentation de la
e
3. Garder le mod`le avec la plus faible dissimilarit´.
e e Carte de Dissimilarit´
e
Locales
(reconnaissance robuste ` la mise ` l’´chelle et la rotation avec
a a e Mesure locale ⇒
mesure globale
passage au domaine log-polaire).
Formulations finale -
Exemples
R´sultats
e Bilan - discussion
rot/hom m1 m2 m3 m4 m5 m6
sans 100% 100% 100% 100% 100% 54%
avec 96% 40% 94% 70% 42% 12%
⇒ Bonnes performances sans connaissance a-priori, sans
extraction de primitive, avec une d´cision simple.
e
19
7. GREC, juil. 2009

20. Mesures de
dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
Pr´sentation de la Carte de Dissimilarit´ Locales
e e reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Mesure locale ⇒ mesure globale Locales
Mesure locale ⇒
mesure globale
Formulations finale -
Exemples
Formulations finale - Exemples Bilan - discussion
Bilan - discussion
20

21. Mesures de
Ce que nous avons obtenu dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
Une mesure flexible de la dissimilarit´ entre deux images :
e
frederic.nicolier@univ-
locale/globale, reims.fr
http://pixel-shaker.fr
sym´trique/asym´trique (avec graduation possible),
e e
permettant une impl´mentation tr`s rapide.
e e Plan
L’´ventuelle asym´trie est int´ressante puisqu’elle peut
e e e Pr´sentation de la
e
Carte de Dissimilarit´
e
permettre d’ˆtre en accord avec le jugement humain de la
e Locales
similarit´ [Tversky] 8 .
e Mesure locale ⇒
mesure globale
Formulations finale -
Tversky Exemples
s(X , Y ) = θc − αa − βb. (13) Bilan - discussion
(caract´ristiques : c communes, a dans X
e
uniquement, b dans Y uniquement)
DG
DG(A, B) = α BtdA + β AtdB . (14)
8. A. Tversky, ”Features of similarity” Psychological Review, vol. 84, n. 4,
,
21
pp. 327-352, 1977

22. Mesures de
Ce que nous avons obtenu dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
La (dis)similarit´ propos´e est une similarit´ structurelle qui
e e e
compare les informations Plan
Pr´sentation de la
e
sans a-prori Carte de Dissimilarit´
e
Locales
sans n´cessiter de pr´-traitement (segmentation) : robuste au
e e
Mesure locale ⇒
bruit (cf Hausdorff) mesure globale
sans extraction de primitives, donc pas de choix ` faire.
a Formulations finale -
Exemples
il s’agit d’une mesure non-s´mantique
e Bilan - discussion
qui reste riche en raison de la grande information port´e par
e
les images.
Un lien explicite entre le Chamfer Matching, la distance de
Hausdorff et DG.
22

23. Mesures de
Pour la suite dissimilarit´s locales et
e
globales entre images,
sym´triques et
e
asym´triques
e
F. Morain-Nicolier
frederic.nicolier@univ-
reims.fr
http://pixel-shaker.fr
Plan
Pr´sentation de la
e
Carte de Dissimilarit´
e
Mesure de similarit´ born´e ∈ [0, 1].
e e Locales
Mesure locale ⇒
Localisation de motifs/symboles avec rotation/homoth´tie.
e mesure globale
Formulations finale -
Extension compl`te aux images en niv. de gris (travail sur les
e Exemples
TD). Bilan - discussion
23