Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Новые тенденции в области автостереоскопических дисплеев, съемки и отображения 3D видео

1 244 vues

Publié le

Publié dans : Technologie
  • Soyez le premier à commenter

Новые тенденции в области автостереоскопических дисплеев, съемки и отображения 3D видео

  1. 1. Новые тенденции в области автостереоскопических дисплеев, съемки и отображения 3D видео Матюнин Сергей Video Group CS MSU Graphics & Media Lab
  2. 2. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 2
  3. 3. Only for Maxus  Введение Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, CS MSU Graphics & Media Lab (Video Group) 2005. 3
  4. 4. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 4
  5. 5. Only for Maxus  Автостереоскопический дисплей Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, CS MSU Graphics & Media Lab (Video Group) 2005. 5
  6. 6. Only for Maxus  Автостереоскопический дисплей 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 6
  7. 7. Only for Maxus  Автостереоскопический дисплей Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, CS MSU Graphics & Media Lab (Video Group) 2005. 7
  8. 8. Only for Maxus  Автостереоскопический дисплей Альтернативы: Volumetric 3D Displays and Application Infrastructure. Gregg E. Favalora. IEEE CS MSU Graphics & Media Lab (Video Group) Computer Society Press. 2005. 8
  9. 9. Only for Maxus  Автостереоскопический дисплей Альтернативы: CS MSU Graphics & Media Lab (Video Group) 9
  10. 10. Only for Maxus  3D видео Применение  3D TV, 3D фильмы  Игры  Реклама  Телеконференции  Визуализация данных  Образование  Наука  Медицина CS MSU Graphics & Media Lab (Video Group) 10
  11. 11. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 11
  12. 12. Only for Maxus  Система обработки 3D видео CS MSU Graphics & Media Lab (Video Group) 12
  13. 13. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 13
  14. 14. Only for Maxus  Съемка 3D video Проблемы  Геометрическая калибровка  Отслеживание объектов  Цветовая калибровка A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 14
  15. 15. Only for Maxus  Съемка 3D video Цветовая калибровка  Баланс белого  Нормализация яркости A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 15
  16. 16. Only for Maxus  Съемка 3D video Цветовая калибровка  Ищем в соседних видах одинаковые фрагменты. Например, с помощью сегментации по цвету  Минимизируем разницу между гистограммами соседних видов  Проблема: артефакты (границы и текстуры)  Решение: сгладить разность медианным фильтром (3x3)  Проблема: может меняться освещение и свойства матрицы камеры.  Решение: делать калибровку еще раз A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 16
  17. 17. Only for Maxus  Цветовая калибровка Результаты A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 17
  18. 18. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 18
  19. 19. Only for Maxus  Multi-view video coding Задача  Кодировщик: из N синхронизированных потоков видео сгенерировать сжатый выходной поток  Декодер: из сжатого потока получить N потоков видео  Прямое решение: кодировать/декодирова ть каждый видео поток отдельно Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 19
  20. 20. Only for Maxus  Multi-view video coding Задача  Множество камер производят большой объем данных для обработки  Камеры снимают одну и ту же сцену. Между видами есть сильная зависимость. Можно использовать это для межвидового предсказания. Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 20
  21. 21. Only for Maxus  Multi-view video coding Требования к MVC  Произвольный доступ по времени для каждого вида  Произвольный доступ к видам  Масштабируемость (разрешение, качество, количество видов)  Непрерывность качества между видами  Способность передавать параметры съемки  Устойчивость к несбалансированному по цветности видео Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 21
  22. 22. Only for Maxus  Multi-view video coding ME в H.264/AVC Минимизация функционала: MV: где - текущий кадр - предыдущий декодированный кадр - блок изображения - кол-во бит для передачи MV Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 22
  23. 23. Only for Maxus  Multi-view video coding ME для MVC H.264/AVC settings:  Disabled intra prediction modes for the P pictures  Fixed MC block size of 16x16  Search range of ±32 pixels Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 23
  24. 24. Only for Maxus  Multi-view video coding Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 24
  25. 25. Only for Maxus  Multi-view video coding Multi-view key frame encoding Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 25
  26. 26. Only for Maxus  Multi-view video coding Промежуточные кадры Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 26
  27. 27. Only for Maxus  Multi-view video coding Адаптация стандартного кодека Можно декодировать стандартным декодером Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 27
  28. 28. Only for Maxus  Multi-view video coding Расположение камер Prediction structures for a camera array Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 28
  29. 29. Only for Maxus  Multi-view video coding Тестирование  8 multi-view видеопоследовательностей  От 5 до 16 видов  Расположение камер: линейное, по дуге, в массиве  Разрешение 640x480 или 1024x768 samples  15, 25, 30 fps.  Для каждой последовательности использовались 3 битрейта Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 29
  30. 30. Only for Maxus  Multi-view video coding Объективное сравнение KS_IPP/KS_PIP/KS_IBP – key picture inter-view  Anchor – IBBP MPEG coding prediction  Simulcast – coding with AS_IPP/AS_IBP – inter-view prediction for both key hierarchical B pictures and non-key pictures. Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 30
  31. 31. Only for Maxus  Multi-view video coding Субъективное сравнение Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 31
  32. 32. Only for Maxus  Multi-view video coding Выводы  Использование MC между видами дает значительный выигрыш  Чем выше битрейт, тем меньше разница  Метод не требует значительных изменений кодека H.264/AVC Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 32
  33. 33. Only for Maxus  Multi-view video coding Влияние расположения камер Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 33
  34. 34. Only for Maxus  Multi-view video coding Влияние расположения камер Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 34
  35. 35. Only for Maxus  Multi-view video coding Выводы  Если камеры располагать ближе, то средний для вида битрейт сходится к одному значению.  Если камеры далеко, то выигрыш незначителен. Можно улучшить с помощью межвидовой интерполяции основанной на карте глубины. Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 35
  36. 36. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 36
  37. 37. Only for Maxus  3D TV System  Первая 3D TV система с 16 независимыми видами высокого разрешения и автостереоскопическим дисплеем  Передача в реальном времени  Дисплей только с горизонтальным параллаксом  Каждый поток сжимается и передается независимо 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 37
  38. 38. Only for Maxus  3D TV System Схема 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 38
  39. 39. Only for Maxus  3D TV System Съемка видео 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 39
  40. 40. Only for Maxus  3D TV System Отображение видео  16 проекторов NEC LT-170  Разрешение – 1024x768 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 40
  41. 41. Only for Maxus  3D TV System Отображение видео 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 41
  42. 42. Only for Maxus  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 42
  43. 43. Only for Maxus  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 43
  44. 44. Only for Maxus  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 44
  45. 45. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 45
  46. 46. Only for Maxus  TransCAIP  TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display.  Цели:  Разработать систему 3D телевидения  Использовать горизонтальный и вертикальный параллакс  Разработать метод обработки данных с асинхронных устройств в реальном времени  Реализовать на одном ПК используя GPGPU  Реализовать управление параметрами 3D визуализации TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 46
  47. 47. Only for Maxus  TransCAIP Съемка  64 камеры  Разрешение 320x240 TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 47
  48. 48. Only for Maxus  TransCAIP Отображение  60 видов  256x192 пикселя  Вертикальный и горизонтальный параллакс TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 48
  49. 49. Only for Maxus  TransCAIP Оборудование TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 49
  50. 50. Only for Maxus  TransCAIP Алгоритм TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 50
  51. 51. Only for Maxus  TransCAIP Управление фокусом TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 51
  52. 52. Only for Maxus  TransCAIP Управление глубиной TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 52
  53. 53. Only for Maxus  TransCAIP Результат TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 53
  54. 54. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 54
  55. 55. Only for Maxus  Выводы  3D системы – перспективное направление  Auto stereoscopic 3D display – будущая массовая технология  Области исследования  Съемка  Кодирование  Передача  Фильтрация  Визуализация CS MSU Graphics & Media Lab (Video Group) 55
  56. 56. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 56
  57. 57. Only for Maxus  Список материалов  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004  TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display. Yuichi Taguchi Takafumi Koike, Keita Takahashi, Takeshi Naemura. The University of Tokyo, Hitachi, Ltd. ACM SIGGRAPH 2008.  Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007.  A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang Li.13th annual ACM international conference on Multimedia. 2005.  Volumetric 3D Displays and Application Infrastructure. Gregg E. Favalora. IEEE Computer Society Press. 2005.  Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, 2005. CS MSU Graphics & Media Lab (Video Group) 57
  58. 58. Only for Maxus  Вопросы ? CS MSU Graphics & Media Lab (Video Group) 58

×