コンピューテーショナルフォトグラフィ
•
11 j'aime•12,472 vues
コンピューテーショナルフォトグラフィの話．加工されたカメラによるコンピューテーショナルフォトグラフィの話は少なめ．フィルタリング，主にバイラテラルフィルタによる画像処理の話が中心．
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à コンピューテーショナルフォトグラフィ
Similaire à コンピューテーショナルフォトグラフィ (20)
Plus de Norishige Fukushima
Plus de Norishige Fukushima (13)
コンピューテーショナルフォトグラフィ
- 1. コンピューテーショナル フォトグラフィ Computational Photography Computational Photography 名古屋工業大学 福嶋慶繁 Twitter: fukushima1981
- 2. 目次 • コンピューテーショナルフォトグラフィについて ピ グ • バイラテラルフィルタ • 光線空間（Light Field） • コンピューテーショナルカメラ
- 4. 素朴な疑問 フィルタリングやノイズ除去をしただけで コンピューテーショナルフォトグラフィと コンピ テ ショナルフォトグラフィと いっていいのか？
- 5. パノラマ画像は コンピューテーショナル ンピ テ シ ナル フォトグラフィか？ グ
- 8. ここでの定義 普通のカメラの限界を超える写真を コンピュータやハードウェアをうまく使うことで 取れるようにする方法 カメラへの影響 ぼけ，ノイズ，ダイナミックレンジ，画角，解像度，視点， 画質へ影響する装置 シャッター速度，レンズ口径，開口，CCDサイズ，露光時間，カメラ位置・方向 シャッタ 速度 レンズ口径 開口 CCDサイズ 露光時間 カメラ位置・方向
- 9. 画像処理→CP 画像かどうか怪しい 絞り，開口，露光をコード化する レンズアレイを使う 異なるセンサを使う 赤外光を使う フラッシュを複数使う，強度を変える フラッシ を複数使う，強度を変える 複数のカメラ（カメラアレイ） 撮影状況（ゲイン，露光等）を変えて複数撮影 撮影状況（ゲイン 露光等）を変えて複数撮影 動画でインプットする（ハンディカメラなど） 普通のカメラ＋画像処理 人が見てきれいな画像
- 10. Bilateral Filterによる Bilateral Filterによる コンピューテーショナルフォトグラフィ
- 11. コンピューテーショナルフォトグラフィ Szeliski本だと．．． S li ki本だと • パノラマ • ハイダイナミックレンジ画像 • 超解像 • カラリゼーション • マッティング • インペイント • ノンフォトリアリスティックレンダリング ダ グ – 輪郭強調 – stylize • ジョイントフィルタリング – フラッシュフォトグラフィ
- 12. それぞれ別の項目のようだが．．． ぞ が う軸 切る る Bilateral Filterという軸で切ることができる ※注意書き Bilateral Filterでも解けるというだけでそれぞれ適切 な方法があります．
- 13. 目次 • 基本編 – Bilateral Filterってなに？ • 応用編 – Joint Bilateral Filter – 奥行き推定 – 背景差分 – 超解像 • 高速化編 – バイラテラルフィルタの高速化 – 高速な非線形フィルタ：Guided Filter
- 15. バイラテラルフィルタ（Bilateral Filter） バイラテラルフィルタ（Bilateral Filter） ガウシアン：位置が遠いほど低い重みが与えられるフィルタ バイラテラル： 位置が遠いほど＆色が違うほど 低い重みが与えられるフィルタ ※エッジを保持したままノイズ除去が可能
- 16. バイラテラルフィルタのカーネル
- 17. デモ • カーネルの表示 ネ 表 • フィルタした画像の表示 • 信号のノイズが減ることを示す • ノイズを消すために，σcを広く取るとエッジが ぼける
- 18. 応用編
- 19. Joint Bilateral Filter Joint Bilateral Filter • フラッシュ画像＋フラッシュしてない画像 像 な 像 ノイズの少ないが色がおかしい画像＋ノイズ イ 少な 色 お 画像 イ の多いが画像で色が正しい
- 20. Flash / No‐Flash Photo Improvement Flash / No Flash Photo Improvement Merge best features: warm, cozy candle light (no‐flash) g , y g ( ) low‐noise, detailed flash image
- 21. ‘Cross’ or ‘Joint’ Bilateral Idea: Cross or Joint Bilateral Idea: Noisy but Strong… Noisy but Strong… Range filter preserves signal g p g Use stronger signal’s range filter Noisy and Weak… weights…
- 22. エッジキープ力 エ ジキ プ力 と ノイズ除去力 はトレードオフ！ はトレ ドオフ！
- 23. ジョイントバイラテラルフィルタ カーネルの計算を ノイズの少ない画像 で行い，対象をフィルタリングする (|Jp － J q |) I q 別名：クロスバイラテラルフィルタ
- 24. Overview Basic approach of both flash/noflash papers Basic approach of both flash/noflash papers Remove noise + details Remove noise + details from image A, Keep as image A Lighting No‐flash ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ Obtain noise free details Obtain noise‐free details from image B, Discard Image B Lighting Result
- 25. Petschnigg: Detail Transfer Results Petschnigg: Detail Transfer Results • Lamp made of hay: No Flash Flash Detail Transfer
- 29. ジョイントバイラテラルフィルタの ア リケ シ アプリケーション
- 30. Matting
- 31. • ジョイントバイラテラルフィルタ フラッシュ画像を用いた低照度画像のノイズ除去など画像ペアの画質改善 原画像上での色の遠い点の重みづけが減るため に用いられるフィルタ．参照画像をフィルタリングの重みの決定に用いる 原画像のエッジ部分がマスク画像上で保持される • 原画像を参照画像とし その画素値に基づいて重みを決定したフィルタリン 原画像を参照画像とし，その画素値に基づいて重みを決定したフィルタリン グを背景差分により生成したマスク画像に対して行う 距離による重み 画素値による重み R(u) ： フィルタリングの重みを決定する参照画像（原画像）の画素値 X(u) ： フ ルタリングを行う画像（マスク画像）の画素値 ( ) フィルタリングを行う画像（マスク画像）の画素値 Gd・Gr ： 分散σd・σｒのガウス関数， Zu ： 正規化項， W(u) ： uの近傍ウィンドウ マスク画像 原画像 結果画像
- 32. フィルタ処理の比較 （a）メディアンフィルタのみ （b）ジョイントバイラテラルフィルタ後 物体の境界部分を高精度に検出
- 35. Saliency Map Refinement Saliency Map Refinement • http://pub.ne.jp/akisato/?entry_id=3970170
- 36. Haze removing(霞除去) Haze removing(霞除去) “Single image haze removal using dark channel prior” CVPR2009 入力画像 伝達マップ（最適化前） 霞除去（最適化前） 参考：ヒストグラム平坦化 伝達マップ（最適化後） 霞除去（最適化後）
- 37. … ～マップと付くものなら 付 何でもOK
- 38. Joint Bilateral Up‐Sampling Joint Bilateral Up Sampling
- 39. 奥行き画像超解像：従来研究（１） 原画像の位置・色 の重み付き平均 J. Kopf et al.: Joint bilateral upsampling ACM Trans. on Graphics, J Kopf et al : “Joint bilateral upsampling”, ACM Trans on Graphics vol. 26, no. 3, p. 96, Jul. 2007.
- 40. 超解像結果（入力） 入力画像 入力奥行き画像 8倍超解像
- 41. 超解像結果（最近傍） 入力画像
- 42. 超解像結果（提案） 入力画像
- 43. カラリゼーションの高速化 • 疎なものはJBU出来ない！ 疎なも 来な • 小さな解像度でまず普通のカラリゼ ション 小さな解像度でまず普通のカラリゼーション • そしてＪＢＵ • その他もろもろ～Ｍａｐの計算が高速化可能
- 44. 超解像 ｖｓ アップサンプル 超解像とは 像 – アップサンプル • 適切なエッジ – ノイズリダクシ ン ノイズリダクション • ガウス，インパルスのノイズの除去 –ぼ ぼけ除去 • レンズ，CCDサンプリング，モーション，フォグなど を同時に達成するもの
- 45. Iterative back Super Resolution Iterative back Super Resolution
- 46. 高速化編
- 47. Bilateral Filterの高速化 Bilateral Filterの高速化 • CHEN, J., PARIS, S., AND DURAND, F. 2007. g g p g Real‐time edge‐aware image processing with the bilateral grid. ACM TOG 26, 3,103. • CRIMINISI A SHARP T ROTHER C AND CRIMINISI, A., SHARP, T., ROTHER, C., AND P’EREZ, P. 2010. Geodesic image and video editing. ACM TOG 29, 5, 134.
- 48. Separable bilateral filtering for fast video preprocessing • バ バイラテラルフィルタのカーネルを縦横1画素 タ ネ を縦横 素 の幅に分離して二度適用する近似 ＊ T. Pham,and L. J. Van Vliet, Separable bilateral filtering for fast video preprocessing. Proc. IEEE ICME, 0, 4 pp. 2005.
- 49. Real‐time O(1) bilateral filtering Real time O(1) bilateral filtering 階 を 階 減色 • 256階調をｎ階調（２，４，８，１６・・・）に減色し， 間は線形補間することで高速化 • カラーに弱い（256x256x256=65536色．．．） • 色空間を 色空間をR+G+B=768色の空間に潰して計算 色の空間に潰して計算 （発展：ドメイントランスフォーム？） ※ F. Porikli, Constant time O(1) bilateral filtering. In CVPR,1–8, 2008 の発展版 Q. Yang, K. H. Tan, and N. Ahuja, Real‐time O(1) bilateral filtering, In CVPR, 557–564. 2009
- 50. Guided Filter • 早い，Haloが起きにくい • カーネルの計算方法に カ ネルの計算方法に 高速化が存在 i,jが違うサイドにいればｗ＝ １‐σ/σ（最大の場合）＝０ 同じサイドにいればｗ＝１＋x 式の意味：i,jの画素含む領域の平均の全てを使う． 式の意味 i jの画素含む領域の平均の全てを使う 直接のカーネル計算は，バイラテラルよりも重い
- 54. その他の非線形フィルタ
- 55. Non Local Means Filter Non Local Means Filter 入力画像とサポートウィンドウ １．カーネル中心（赤色）の周りにテンプレート画像（５ｘ５）を作成し， ２．サポートウィンドウ（１３ｘ１３）の範囲をテンプレートマッチング． サポ トウ ドウ（ ） 範囲を プ ト チ グ ３．類似度をサポートウィンドウの重みとして重み付きフィルタリングを行う．
- 57. Anisotropic diffusion Anisotropic diffusion • Anisotropic diffusion – PERONA, P., AND MALIK, J. 1990. Scale‐space and , , , p edge detection using anisotropic diffusion. IEEE TPAMI 12, 7, 629–639. , , – TVノルム最小化を行うようなフィルタ – イタレ ションが必要 イタレーションが必要
- 58. 光線空間 Light Field g
- 59. 光線空間 • 自由視点 像 自由視点画像 • 可変焦点画像 • レンズも，ピンホールもコーデット • Coded aperture/exposure/shatter/senserに 続く
- 60. 基本原理 本 次 超 積分 • EPI（本当は4次元超平面）の断面，積分で – 自由視点，自由焦点 を実現
- 62. 自由視点
- 63. 自由焦点
- 64. Example using 45 cameras [Vaish CVPR 2004]
- 66. Light field photography using a handheld plenoptic camera Ren Ng, Marc Levoy, Mathieu Brédif, Ren Ng Marc Levoy Mathieu Brédif Gene Duval, Mark Horowitz and Pat Hanrahan (Proc. SIGGRAPH 2005 (Proc. SIGGRAPH 2005 and TR 2005‐02)
- 68. Conventional versus light field camera g uv‐plane st‐plane
- 69. Conventional versus light field camera g st‐plane uv‐plane
- 70. Prototype camera Contax medium format camera Kodak 16‐megapixel sensor Adaptive Optics microlens array Adaptive Optics microlens array 125μ square‐sided microlenses square‐sided microlenses 4000 × 4000 pixels ÷ 292 × 292 lenses = 14 × 14 pixels per lens
- 71. Mechanical design Mechanical design • microlenses float 500μ above sensor microlenses float 500μ above sensor • focused using 3 precision screws
- 73. Digitally stopping‐down Digitally stopping down Σ Σ • stopping down = summing only the central portion of each microlens
- 74. Digital refocusing Digital refocusing Σ Σ • refocusing = summing windows extracted from several microlenses
- 75. Example of digital refocusing Example of digital refocusing
- 76. Extending the depth of field conventional photograph, conventional photograph conventional photograph, conventional photograph light field, main lens at f / 4, light field main lens at f / 4 main lens at f / 4 main lens at f / 22 after all‐focus algorithm [Agarwala 2004]
- 77. Digitally moving the observer Digitally moving the observer Σ Σ • moving the observer = moving the window we extract from the microlenses
- 78. Example of moving the observer Example of moving the observer
- 79. Moving backward and forward Moving backward and forward
- 80. Camera Array
- 81. Stanford multi camera array Stanford multi‐camera array • 640 × 480 pixels × 30 fps × 128 cameras 30 fps × 128 cameras • synchronized timing • continuous streaming continuous streaming • flexible arrangement
- 82. Ways to use large camera arrays Ways to use large camera arrays • widely spaced light field capture • tightly packed high‐performance imaging • intermediate spacing synthetic aperture photography intermediate spacing synthetic aperture photography
- 83. カメラアレイ，レンズアレイ カメラアレイ レンズアレイ • Computational Photography – Image based rendering g g – Light field辺 – 光線空間 – カメラアレイ，レンズアレイ