Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez

Búsqueda de Puntos
Correspondientes Mediante
Técnicas Globales
Victor Hugo Gonzalez

Ivan M. Cabezas, Ing.
Patricia Trujillo, Ph.D
Universidad del Valle, Cali – Colombia

Contenido

 Introducción

 Problema

 Propuesta

 Experimentación y Análisis de Resultados

 Conclusiones

BÚSQUEDA DE PUNTOS CORRESPONDIENTES MEDIANTE TÉCNICAS GLOBALES 2

Visión Estéreo
 Visión Estéreo: recuperación de la tercera dimensión con base en
imágenes

Escena

Directo

Cámaras

Inverso

Imágenes

Izq Der

Correspondencia

 Puntos Correspondientes: proyecciones de un punto particular de la escena,
sobre las imágenes
 Disparidad: desplazamiento entre puntos correspondientes

Correspondencia
Puntos Correspondientes


Problema de Correspondencia Estéreo

 P. C. E.: encontrar, de manera automática, parejas de puntos
correspondientes

Valor de Disparidad


Problemas Asociados a la Correspondencia

 Oclusión

??

 Ambigüedad

????


Proceso de Recuperación de Información 3D

 Proceso de estimación de disparidades

Entrada
Correspondencia
Extracción de
de Puntos
Puntos Iniciales
Iniciales
Izq Der

Calibración y
Rectificación

Salida
Estimación
Mapas de Refinamiento Densa de
Disparidad
Disparidad


Restricciones para acotar el problema

 Restricción Epipolar

 Restricción de Continuidad

 Restricción de Unicidad

 Restricción Bidireccional

 Información de la Escena

 Restricción de Orden


Restricciones para acotar el problema (cont)

 Restricción de Epipolar

 Restricción de Continuidad



 Restricción de Unicidad

 Restricción Bidireccional



 Información de la Escena

 Restricción de Orden


Motivación

 La solución del problema de correspondencia estéreo tiene
múltiples aplicaciones


Modelar el problema

 Problema de encontrar la ruta de costo mínimo en un grafo
dirigido

187 106 98 91

98

[6]

91

187 106
102

...... ...........
117

Iizq(0)‫ ‏‬Iizq(1)‫‏‬ Iizq(j)‫‏‬ Iizq(m)‫‏‬

[6] Middlebury University stereo vision web site,
http://vision.middlebury.edu/stereo, 2010


Cálculo de Matriz de Costo

91

[6] Ider(1)‫‏‬

106

Iizq(1)‫‏‬



j
2
C(0,0)
3
C(0,1)
50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,0) C(1,1)

60
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 0,0 , 𝐶 0,1 , 𝐶(1,0))
62 2‫‏‬

𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 = 𝐴𝐷 𝐼 𝑖𝑧𝑞 𝑦, 1 , 𝐼 𝑑𝑒𝑟 𝑦, 1

i 15 3 𝐶 1,1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

5
Ider 5
F


j
2 3
C(0,1)
50
C(0,2)
62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,1) C(1,2)

60 14
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,1 , 𝐶 0,1 , 𝐶(0,2))
62 2‫‏‬


i 15 3 𝐶 1, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50
C(0,2)
62
C(0,3)
15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,2) C(1,3)

60 14 3
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 0,3 , 𝐶 1,2 , 𝐶(0,2))
62 2‫‏‬


i 15 3 𝐶 1, 𝟑 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50 62
C(0,3)
15
C(0,4)
Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,3) C(1,4)

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 0,3 , 𝐶 1,3 , 𝐶(0,4))
62 2‫‏‬


i 15 3 𝐶 1, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,0) C(1,1)

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,0 , 𝐶 1,1 , 𝐶(2,0))
62 2‫‏‬

C(2,0) C(2,1)

i 15 3 14 𝐶 𝟐, 1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,1) C(1,2)

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,2 , 𝐶 1,1 , 𝐶(2,1))
62 2‫‏‬

C(2,1) C(2,2)

i 15 3 14 49 𝐶 𝟐, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,2) C(1,3)

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,2 , 𝐶 1,3 , 𝐶(2,2))
62 2‫‏‬

C(2,2) C(2,3)

i 15 3 14 49 50 𝐶 2,3 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

C(1,3) C(1,4)

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 1,3 , 𝐶 1,4 , 𝐶(2,3))
62 2‫‏‬

C(2,3) C(2,4)

i 15 3 14 49 50 3 𝐶 𝟐, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

7 4

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,0 , 𝐶 2,1 , 𝐶(3,0))
62 2‫‏‬

C(2,0) C(2,1)

i 15 3 14 49 50 3 𝐶 𝟑, 1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,0) C(3,1)

7 4 7

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,2 , 𝐶 2,1 , 𝐶(3,1))
62 2‫‏‬

C(2,1) C(2,2)

i 15 3 14 49 50 3 𝐶 𝟑, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,1) C(3,2)

7 4 7 50

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,2 , 𝐶 2,3 , 𝐶(3,2))
62 2‫‏‬

C(2,2) C(2,3)

i 15 3 14 49 50 3 𝐶 𝟑, 𝟑 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,2) C(3,3)

7 4 7 50 104

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 2,3 , 𝐶 2,4 , 𝐶(3,3))
62 2‫‏‬

C(2,3) C(2,4)

i 15 3 14 49 50 3 𝐶 𝟑, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,3) C(3,4)

7 4 7 50 104 11

Ider5 5
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 3,0 , 𝐶 3,1 , 𝐶(4,0))
62 2‫‏‬


i 15 3 14 49 50 3 𝐶 𝟒, 1 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,0) C(3,1)

7 4 7 50 104 11

C(4,0) C(4,1)

Ider5 5 6
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 4,1 , 𝐶 3,1 , 𝐶(3,2))
62 2‫‏‬


i 15 3 14 49 50 3 𝐶 𝟒, 𝟐 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,1) C(3,2)

7 4 7 50 104 11

C(4,1) C(4,2)

Ider5 5 6 51
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 4,2 , 𝐶 3,3 , 𝐶(3,2))
62 2‫‏‬


i 15 3 14 49 50 3 𝐶 𝟒, 𝟑 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,2) C(3,3)

7 4 7 50 104 11

C(4,2) C(4,3)

Ider5 5 6 51 107
F


j
2 3 50 62 15 Iizq
50 1 2‫‏‬ 3 4‫‏‬ 5‫‏‬

60 14 3 50
𝑚𝑖𝑛𝑖𝑚𝑜 = min( 𝐶 3,3 , 𝐶 3,4 , 𝐶(4,3))
62 2‫‏‬


i 15 3 14 49 50 3 𝐶 𝟒, 𝟒 = 𝑚𝑖𝑛𝑖𝑚𝑜 + 𝐷𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎

C(3,3) C(3,4)

7 4 7 50 104 11

C(4,3) C(4,4)

Ider5 5 6 51 107 21


Asignación de Disparidad

j
2 3 50 62 15 Iizq 𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑
𝑑= 𝑖− 𝑗
50 2‫‏‬ 3 4‫‏‬ 5‫‏‬ 𝑑 = 4−4

𝑀𝑎𝑝𝑎 𝐷𝑒𝑟𝑒𝑐ℎ𝑜
𝐷 𝑑 𝑦, 𝑖 = 𝑑
2‫‏‬ 60 14 3 50
62
𝐷 𝑖 𝑦, 4 = 0

𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜
𝐷 𝑑 𝑦, 𝑗 = 𝑑
i 15 3 14 49 50 3
𝐷 𝑖 𝑦, 4 = 0
C(3,3) C(3,4) 𝑚𝑖𝑛 = 𝑀𝑖𝑛𝑖𝑚𝑜 𝐶𝐷, 𝐶𝐻, 𝐶𝑉
𝑖−1
𝑖𝑓 𝑚𝑖𝑛 = 𝐶𝐷
7 4 7 50 104 11 𝑗−1
𝑖
𝑖𝑓 𝑚𝑖𝑛 = 𝐶𝐻
C(4,3) C(4,4)
𝑗−1
𝑖−1
𝑖𝑓 𝑚𝑖𝑛 = 𝐶𝑉
Ider5 5 6 51 107 21 𝑗



j
2 3 50 62 15 Iizq
𝑑 = 𝑑𝑖𝑠𝑝𝑎𝑟𝑖𝑑𝑎𝑑
50 2‫‏‬ 3 4‫‏‬ 5‫‏‬
𝑑= 𝑖− 𝑗
𝑑 = 3−4

2‫‏‬ 60 14 3 50
62
𝐷 𝑖 𝑦, 3 = 1
C(2,3) C(2,4)

i 15 3 14 49 50 3 𝑀𝑎𝑝𝑎 𝐼𝑧𝑞𝑢𝑖𝑒𝑟𝑑𝑜
C(3,3) C(3,4) 𝐷 𝑖 𝑦, 4 = 1

7 4 7 50 104 11 𝒎𝒊𝒏 = 𝑴𝒊𝒏𝒊𝒎𝒐 𝑪𝑫, 𝑪𝑯, 𝑪𝑽
𝒊− 𝟏
𝒊𝒇 𝒎𝒊𝒏 = 𝑪𝑽
𝒋

Ider5 5 6 51 107 21



j
2 3 50 62 15 Iizq
50 2‫‏‬ 3 4‫‏‬ 5‫‏‬
𝑑= 𝑖− 𝑗
𝑑 = 2−4
C(1,3) C(1,4)

2‫‏‬ 60 14 3 50
62
𝐷 𝑖 𝑦, 3 = 2
C(2,3) C(2,4)

𝐷 𝑖 𝑦, 4 = 2

𝒊− 𝟏
𝒊𝒇 𝒎𝒊𝒏 = 𝑪𝑫
𝒋− 𝟏

Ider5 5 6 51 107 21



j
2 3 50
C(3,3)
62
C(3,4)
15 Iizq
50 2‫‏‬ 3 4‫‏‬ 5‫‏‬
𝑑= 𝑖− 𝑗
𝑑 = 1−3
C(4,3) C(4,4)

2‫‏‬ 60 14 3 50
62
𝐷 𝑖 𝑦, 3 = 2

𝐷 𝑖 𝑦, 4 = 2

𝒊− 𝟏
𝒊𝒇 𝒎𝒊𝒏 = 𝑪𝑫
𝒋− 𝟏

Ider5 5 6 51 107 21



j
2 3 50
C(0,2)
62 15 Iizq
50 2‫‏‬ 3 4‫‏‬ 5‫‏‬
𝑑= 𝑖− 𝑗
𝑑 = 0−2

2‫‏‬ 60 14 3 50
62
𝐷 𝑖 𝑦, 3 = 2
diag arrb

izq Nij 𝐷 𝑖 𝑦, 4 = 2

7 4 7 50 104 11 𝑻𝒆𝒓𝒎𝒊𝒏𝒐 𝒅𝒆 𝒑𝒂𝒓𝒂𝒅𝒂
𝒊 == 𝟎 𝒐 𝒋 == 𝟎

Ider5 5 6 51 107 21


Representación de una Matriz de Costo

Línea de Búsqueda Izquierda

Imagen Izquierda

Línea de Búsqueda Derecha
[6]

Matriz de
costo M
Imagen Derecha


Contenido de la Matriz de Costos

Contenido de la
Matriz M


Objetivos del Trabajo de Grado

Objetivo General

Desarrollar un componente de Software que realice la búsqueda de puntos
correspondientes mediante programación dinámica

Objetivos Específicos

Seleccionar dos propuestas de estimación de puntos correspondientes
mediante programación dinámica

 Definir criterios de comparación entre las propuestas seleccionadas

Desarrollar un componente de software que implementen las propuestas
seleccionadas

 Evaluar y comparar los resultados arrojados por el componente de
software de acuerdo a los criterios seleccionados

Propuestas Implementadas

 Estimación de Disparidades
 DLS
 Simplificación de Forstmann [3]
 Búsqueda influenciada por líneas previas
 Esquema de pesos fijos en influencia de líneas
 ILS
Simplificación de Fielding [4]
Búsqueda independiente
 Esquema de oclusión basado en un costo fijo

[3] Forstmann, S., Ohya, J., Kanou, Y., Schmitt, A., Thuering S.: Real-time stereo by using dynamic programming
[4] Fielding, G., Kam, M.: Weighted Matching for Dense Stereo Correspondence, Pattern Recognition


Dependent Line Search (DLS)

Sven Forstmann DLS

Se tiene una matriz Construye A CD CV
de costo A(i,j)‫‏‬
G[i,j] guarda el A[i,j]= Mínimo (CD, CV, CH)
camino actual + Matching (Iizq, Ider) – G[i,j]‫‏‬ CH A[i,j]

Búsqueda del camino de costo
mínimo, iniciando en A[n,n] y F
retroceder hasta A[0,0] donde
i=j=n;
Construcción de mapa de Min (CD+peso1, CV+peso2,
Disparidad D(x,y) = d CH+peso3)
If Min = CD {i=i-1}
If Min = CV {j=j-1}
If Min = CH {i=i-1; j=j-1 }
La propuesta original usa pesos
adaptativos para influenciar la G[i,j] = constante I
búsqueda, esta propuesta se adapto
utilizando pesos fijos D (x,i) = |i-j| =d


DLS (cont)

Matching(i,j) = Metrica (AD
punto a punto)‫‏‬

CD= V(i-1,j-1) = 1
CV = V(i-1, j) = 25
CH= V(i, j-1) = 25

A[i,j] = Mínimo (CD, CV,
CH) + Matching(i,j)‫‏‬

Matriz de costo A[i,j]

 Se tiene como restricción el rango de disparidad

 La búsqueda se realiza por línea independiente y el camino tiende a ser influenciado


Independent Line Search (ILS)

Gabriel Fielding ILS

Crear Matriz V
Se tiene una matriz de costo
V(i,j)‫‏‬y Predecesores P(i,j) d Costo diagonal = CD= V(i-1,j-1) + c(i,j)‫‏‬ CD CV
Costo vertical = CV = V(i-1, j) + Co
= disparidad‫‏‬ Costo horizontal = CH = V(i, j-1) + Co
V(i,j) = Mínimo (CM, CV, CH)‫‏‬
CH V[i,j]
P(i,j) = 1 si CD es el min
2 si CV es el min
El valor de Co esta 3 si CH es el min
Definido por Fielding en
[3] pero en esta propuesta
es un valor fijo F

Construcción de mapa de Disparidad Se obtiene el camino
D(x,y), d= i-j, D(x,i)=d más corto siguiendo V,
Si hay pixeles ocluidos en el mapa Inicio en V[n,n] y
izquierdo d no se asigna retrocede hasta V[0,0]

I

ILS (cont)‫‏‬

Co=2
c(i,j)=Métrica (AD punto a
punto)‫‏‬

CD= V(i-1,j-1) + c(i,j) = 5+0 =5
Matriz de costo V(i,j)‫‏‬
CV = V(i-1, j) + Co =10+2 =12
CH= V(i, j-1) + Co =12+2 = 14

Se tiene como restricción el
rango de disparidad

 La búsqueda se realiza por
línea independiente
Matriz predecesora
P(i,j)‫‏‬  El camino tiende a ser
influenciado


Problema de Programación Dinámica

 La inconsistencia entre líneas genera artefactos

[6]

DP [6] SO [6] DLS [11] ILS [11]
[11] González, V., Cabezas, I.: Estimación de puntos correspondientes mediante programación dinámica, Congreso Multimedia 2009


Consecuencias de la Falta de Consistencia

 Reconstrucción de la imagen derecha a partir de la imagen
izquierda y del mapa de disparidad izquierdo

Imagen
Derecha

[6]

DP [6] SO [6] DLS [11] ILS [11]


Propuesta

 Double Search (DouS)
 Comprobación de consistencia

 Propagación de Disparidades
 Refinamiento de mapas de disparidad
 Propagación de disparidades verticalmente
 Remoción de valores con base en confiabilidad
 Propagación con base en oclusión y en continuidad
 Adaptado de I. Cabezas, V. Gonzalez [11], Birchfield [1] ,
I. Cabezas, M. Trujillo [2]

[1] Birchfield, S., Tomasi, C.: Depth Discontinuities by Pixel-to-Pixel Stereo, 1998
[2] Cabezas, I., Trujillo, M.: A Disparity Range Map in Stereo Vision, 2009
[11] Gonzalez, V.,Cabezas, I.: Estimación de puntos correspondientes mediante programación dinámica, Congreso Multimedia
2009.


Double Search (DouS)

Imagen de entrada, realizar la
búsqueda en los dos sentidos (a) Mid (b) Mdi (c)‫‏‬M’


DouS

Iizq Iizq

Ider Ider
Estimación de Derecha a Estimación de Izquierda a
Izquierda Mdi Derecha Mid
Los índices i, j de Mdi y Mid no cambian

Refinamiento de Mapas de Disparidad
(Refine)

Entrada
Remover Remover sección
discontinuidades de de estimaciones
una sola estimación no confiables

Propagación de
estimaciones
confiables

Salida
Propagación de
estimaciones en
los bordes


Propagación de Disparidades Verticalmente


Refinamiento (Refine)

 Remoción vertical de artefactos

Imagen de Entrada Imagen de Salida


Refinamiento II (Refine)

 Remoción de secciones de estimaciones no confiables

Fragmento Fragmento
de Entrada de Salida


Refinamiento III (Refine)

 Propagación de disparidades confiables en zonas de oclusión


Refinamiento IV (Refine)

 Propagación en los bordes de la imagen

Imagen Imagen
de de
Entrada Salida


Evaluación Cuantitativa

TSUKUBA

CONES

TEDDY

VENUS

[6]


Método de Evaluación

Aproximación
Mapa de
verdad

Porcentajes
de error
[7][8]

nonocc all disc

[7] Scharstein, D., Szeliski, R.: A Taxonomy and Evaluation of Dense Two Frames Stereo Correspondence Algorithms, Int. J. Computer Vision,
vol. 47, No 1, pp. 7- 42, 2002
[8] Scharstein, D., Szeliski, R.: High-accuracy stereo depth maps using structured light, Proc. IEEE CVPR, vol. 1, pp. 195-202, 2003


Evaluación Cuantitativa Utilizando DLS

Resultados de DLS utilizando 7 métricas diferentes para la imagen
Venus con una ventana de 3x3
SAD SSD Pixel to SAD -
SAD SSD Normalizado Normalizado
RTGPU
Pixel RTGPU
nonocc 6,91 12,39 17,17 23,56 11,54 17,01 6,43
Venus

DLS

All 8,52 13,89 18,6 24,87 13,06 18,43 8,05
disc 31,21 33,73 36,62 38,69 31,53 34,29 30,11

Venus
DLS refine
SAD 4,76 0,37
Resultados de DLS con 7 métricas
SSD 7,21 0,40
diferentes con base al rendimiento,
SAD-Normalizado 6,56 0,33 los tiempos se tomaron en segundos
SSD-Normalizado 7,36 0,40
Pixel to pixel 15,80 0,39
RTGPU 8,99 0,43
SAD-RTGPU 28,01 0,37


Evaluación del Refinamiento

 Evaluación de DLS e ILS, antes y después de aplicar la etapa de
refine
DLS DLS + refine ILS ILS + refine

Imagen nonocc all disc nonocc all disc nonocc all disc nonocc all disc
Venus 6,3 7,9 30,07 4,60 5,41 22,3 7,05 8,67 28,35 5,22 5,81 20,01


Comparación entre Estrategias de
Refinamiento

 Evaluación de DLS e ILS, antes y después de aplicar la etapa de
refine comparado con otras propuestas de refinamiento

DLS DLS+ refine DLS + Filtro Mediana DLS + Filtro Promedio

Venus 6,3 7,9 30,07 4,60 5,41 22,3 5,89 7,50 30,26 6,28 7,88 32,93

ILS ILS + refine ILS + Filtro Mediana ILS +Filtro Promedio

Venus 7,05 8,67 28,35 5,22 5,81 20,01 6,05 7,67 25,99 9,92 11,3 33,52


Mapas Estimados y Procesados

Imagen DLS DLS + refine ILS ILS + refine


Compatibilidad del Refinamiento con otras
propuestas

 Evaluación de DP[5], RealTimeGPU[10], TreeDP[9] y SO[7] antes
y después de aplicar la etapa de refinamiento

DP DP + refine SO SO + refine


Venus 10,1 11,0 21,0 7,88 8,34 17,8 9,44 10,9 21,9 7,36 8,35 18,7

TreeDP TreeDP + refine RealTimeGPU RealTGPU+refine


Venus 1,41 2,10 7,74 0,47 0,85 4,06 1,92 2,98 20,3 1,23 2,07 13,7


Mapas Estimados Por Otras Propuestas y
Procesados
DP DP + refine SO SO + refine TreeDP TreeDP + RTGPU RTGPU+
refine refine


Evaluación DouS + refine

 Evaluación de DLS e ILS, con y sin aplicar la estrategia DouS
junto con el refinamiento

DLS DLS + Dous + refine ILS ILS + Dous + refine

Imagen nonoc all disc nonocc all disc nonocc all disc nonocc all disc
c
Venus 6,91 8,52 31,21 2,29 3,16 15,55 6,92 8,56 29,12 5,26 6,1 21,14


Comparación de DouS + refine

 Comparación de propuestas basadas en programación dinámica para
las imágenes de Tsukuba, Venus, Teddy y Cones

Tsukuba Venus Teddy Cones
nonocc all disc nonocc all disc nonocc all disc nonocc all disc

TreDP [24] 1,99 2,84 9,96 1,41 2,10 7,74 15,9 23,9 27,1 10,0 18,3 18,9
SO [20] 5,08 7,22 12,2 9,44 10,9 21,9 19,9 28,2 26,3 13,0 22,8 22,3
DP [20] 4.12 5.04 12.0 10.1 11.0 21.0 14,0 21,6 20,6 10,5 19,1 21,1
DLS+DouS+refine 2,85 4,27 13,18 2,29 3,16 15,55 8,75 14,95 20,34 8,01 14,67 19,46
ILS+ DouS+refine 3,27 4,4 12,26 5,26 6,1 21,14 9,87 15,89 19,00 5,97 12,16 15,35


Mapas Estimados utilizando DouS y
Refinados

Imagen DLS DLS + refine ILS ILS + refine


Refinados (Imágenes Sin Ground Truth)

Imagen derecha Imagen derecha
Imagen DLS ILS
reconstruida DLS reconstruida ILS


Observaciones Finales

 El margen de error se reduce, al aplicar la etapa de refinamiento a los
mapas de disparidad

 La estrategia DouS ofrece una mejor estimación en áreas de oclusión y
discontinuidad pero el tiempo empleado se duplica

 Los resultados obtenidos utilizando la estrategia DouS junto con la
etapa de refinamiento superan a propuestas como DP [5], TreeDP [9] y
SO [7]

 Se lograron dos publicaciones, la primera denominada Estimación de
puntos correspondientes mediante programación dinámica, González
V., Cabezas I. [11] publicada en el Congreso Multimedia 2009.
Estimación y Refinamiento de Mapas de Disparidad, González V.,
Cabezas I. [12] publicado en el Quinto Congreso Colombiano de
Computación 2010


Gracias!!


GRACIAS!!


Referencias

[1] Birchfield, S., Tomasi, C.: Depth Discontinuities by Pixel-to-Pixel Stereo, Proc. IEEE Int. Conf. Computer Vision, pp. 1073-1080,
1998

[2] Cabezas, I., Trujillo, M.: A Disparity Range Map in Stereo Vision, Proc. Latin American Conference on Networked and
Electronic Media, 2009

[3] Fielding, G., Kam, M.: Weighted Matching for Dense Stereo Correspondence, Pattern Recognition, Vol 33, pp. 1513- 1524, 2000

[4] Forstmann, S., Ohya, J., Kanou, Y., Schmitt, A., Thuering S.: Real-time stereo by using dynamic programming. CVPR 2004
Workshop on real-time 3D sensors and their use, 2004

[5] Intille S.S., Bobick A.F.: Incorporating Intensity Edges in the Recovery of Occlusion Regions, Proc. Int. Conf. Pattern
Recognition, vol. 1, pp. 674-677, 1994

[6] Middlebury University stereo vision web site, http://vision.middlebury.edu/stereo, 2010

[7] Scharstein, D., Szeliski, R.: A Taxonomy and Evaluation of Dense Two Frames Stereo Correspondence Algorithms, Int. J.
Computer Vision, vol. 47, No 1, pp. 7- 42, 2002

[8] Scharstein, D., Szeliski, R.: High-accuracy stereo depth maps using structured light, Proc. IEEE CVPR, vol. 1, pp. 195-202, 2003

[9] Veskler, O.: Stereo Correspondence by Dynamic Programing on a Tree, CVPR, pp. 384-390, 2005

[10] Wang, L., Liao, M., Gong , M., Yang R. and Nister D.: High-quality Real-time Stereo using Adaptive Cost Aggregation and
Dynamic Programming, 3DPVT 2006

[11] González, V., Cabezas, I.: Estimación de puntos correspondientes mediante programación dinámica, Congreso Multimedia
2009

[12] González, V., Cabezas, I.: Estimación y Refinamiento de Mapas de Disparidad, En revision Quinto Congreso Colombiano de
Computacion 2010


Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez

Similaire à Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez (20)

Plus de Multimedia and Vision Laboratory at Universidad del Valle

Plus de Multimedia and Vision Laboratory at Universidad del Valle (16)

Dernier

Dernier (20)

Búsqueda de Puntos Correspondientes Mediante Técnicas Globales by Gonzalez