El documento describe diferentes técnicas de modelado basado en imágenes (IBR), incluyendo IBR puro que usa solo imágenes para renderizar escenas sin modelado 3D, e IBR híbrido que usa imágenes para guiar la reconstrucción de modelos 3D. Se detallan métodos como panoramas cilíndricos, mosaicos concéntricos, puntadas plenópticas, campos de luz, texturas de relieve, reconstrucción con profundidad y optimización no lineal. El IBR ha sido usado en películ

1. Modelado basado en imágenes Mario Rodríguez Martín

3. Clasificación

5. Pure IBR: Cylindrical panoramas (IBR puro: Panoramas cilíndricos) Proporciona una orientación horizontal desde un punto. Se realiza con cámaras panorámicas especiales. El espectador puede rotar, pero no moverse. Por lo tanto, no sirve para crear entornos virtuales. Con (x, y) se obtienen directamente (u, v).

6. Pure IBR: Concentric mosaics (IBR puro: Mosaicos concéntricos) Es una generalización de los panoramas cilíndricos que permite al espectador explorar una región circular. Se obtienen efectos luminosos. Se utilizan varias cámaras slit que giran de forma concéntrica tomando imágenes parciales que luego se combinarán para conseguir nuevas vistas completas.

7. Pure IBR: Plenoptic stitching (IBR puro: Puntadas plenópticas) Permite explorar entornos de distintos tamaños y formas. Se obtienen las imágenes con una cámara que se mueve por una cuadrícula. La posición y orientación de la cámara se almacena y sincroniza junto con el fotograma de vídeo. Reconstruye la imagen basándose en la posición en la cuadrícula del observador.

8. Pure IBR: Light field and lumigraph (IBR puro: Campo de luz) Es una función que describe para cualquier punto dado la radiación percibida en una dirección en concreto en un espacio abierto (equivale a la función plenótica).

9. Pure IBR: Light field and lumigraph (II) (IBR puro: Campo de luz) Los rayos de luz son almacenados mediante sus intersecciones con dos planos paralelos: plano focal (u, v) y plano de cámara (s, t). Los dos planos son discretizados con un número finito de rayos. A partir de las imágenes obtenidas se consiguen las nuevas vistas. Ejemplo : El rayo de luz (u 0 , v 0 , s 0 , t 0 ) es interpolado desde los 16 rayos de luz conectando los puntos discretos del sólido en los dos planos.

10. Hybrid IBR: Images with depth (IBR híbrido: Imágenes con profundidad) Las muestras tomadas se juntan como planos perpendiculares (caras de un cubo) con lo que se consigue simular el volumen. Cada rayo representa varias muestras, dependiendo de la profundidad.

11. Hybrid IBR: Image-based objects (IBR híbrido: Objetos basados en imágenes) Permite observar la escena desde distintas perspectivas. Se construye adquiriendo múltiples vistas del objeto que se registran y muestrean desde un centro de proyección hasta formar un paralelepípedo. El uso de paralelepípedos permite que la representación se descomponga en regiones parametrizadas por planos, lo que facilita su implementación. Suponiendo una esfera y un rayo que incide en ella y pasa por su centro, intersecta en dos puntos siendo el más cercano el epipolo positivo y el más lejano el negativo. F indica el epipolo positivo y K el negativo.

12. Hybrid IBR: Relief textures (IBR híbrido: Texturas en relieve) Pipeline para las texturas en relieve. Las texturas en relieve son proyecciones paralelas de imágenes con profundidad. Aplicando unas ecuaciones de una dimensión a una imagen ( pre-warping ) se obtienen las texturas en relieve ( warped textures ) de una manera eficiente en hardware y software. Las transformaciones aplicadas son sólo movimientos horizontales y verticales de los texels en el espacio de texturas. El pre-warping depende de la posición relativa del espectador respecto al polígono que será mapeado. Esto garantiza el efecto final de 3D. El último paso es realizar el mapeo de texturas de la imagen dentro del polígono.

13. Hybrid IBR: Relief textures (II) (IBR híbrido: Texturas en relieve)

15. IBM puro: Projective method & Photo3D Photo3D PROJECTIVE METHOD Estas técnicas se aprovechan de las propiedades proyectivas de la escena para reconstruir modelos geométricos a través de un conjunto de fotografías. Se suele utilizar para superficies planas por la dificultad de reconstruir formas arbitrarias. PHOTO3D Es un soporte para generar modelos 3D completos a partir de múltiples fotografías o modelos incompletos a partir de una sola. Asume que los parámetros intrínsecos de la cámara (distancia focal, radio de acción, etc.) no cambian.

16. IBM puro: PhotoModeler & PhotoBuilder PhotoModeler PHOTOMODELER Es un soporte comercial para generar modelos 3D a partir de pares de fotografías junto con los parámetros intrínsecos de la cámara. Se suele emplear en la reconstrucción de escenas de accidentes, arquitectura, arqueología, etc. PHOTOBUILDER Asume la existencia de líneas perpendiculares y paralelas en los elemento que van a ser reconstruidos. Sigue unos pasos: se seleccionan los bordes de las imágenes (paralelos entre ellos en 3D), se recuperan los puntos que se han eliminado y se usan para crear las matrices de proyección. El modelo final se obtiene por triangulación.

18. IBM híbrido: Optimizaciones Non-linear optimization approaches Minimiza la cantidad de disparidades entre la proyección de los ejes del modelo y los ejes reales. Se consigue automáticamente ajustando los parámetros del modelo y la posición y orientación de las cámaras. Reconstruction from range and color images Si las fotografías se combinan con capturas por láser se pueden reconstruir modelos con formas arbitrarias. Una ventaja de esta aproximación es la relativa independencia de las muestras geométricas y la rápida adquisición de las mismas. Podrían aparecer agujeros en el modelo final debido a que las muestras tienen limitaciones y no son completas.

19. Aplicaciones del IBMR The Campanile Movie The Campanile Movie es un cortometraje dirigido por Paul Debevec en 1997 que usa las técnicas de modelado y renderización basado en imágenes. http :// www.youtube.com / watch?v = W46ab0XjlBw

20. Aplicaciones del IBMR (II) Grand Theft Auto IV

21. Aplicaciones del IBMR (III) Spider-Man