20160612 関東cv勉強会 sumisumithパート

5. ライトフィールドの特性と解析
5.1 エピポーラ画像(EPI)
5.2 ライトフィールドのフーリエ変換
5.3 空間周波数領域におけるレンズのぼけ
2016/06/12
@sumisumith

Computer Vision and Image Media 5 – Section 2Computer Vision and Image Media 4 – Section 2
自己紹介
Page 1
これ↓を作った人です（ニコニコ技術部で、最高3位）
動画リンク：http://www.nicovideo.jp/watch/sm23048131

目次
 出落ちの自己紹介
 導入
 5. ライトフィールドの特性と解析
 5.1 エピポーラ画像(EPI)
 5.2 ライトフィールドのフーリエ変換
 5.3 空間周波数領域におけるレンズのぼけ
Page 2

Computational Photograpy
“Computational photography extends digital photography by providing
the capability to record much more information and by offering the
possibility of processing this information afterward.”
--Oliver Bimber--
- 従来のデジタル写真技術の限界をコンピュータ処理により
補間・拡張する技術分野
- 出力結果は通常の写真、但し従来技術では得られなかったもの
- CG, CV, 応用光学など様々な分野と関連
- 新しい研究分野のため、正確で完全な定義や分類はない
Page 3
参照：IEEE Computer, Vol.39, Issue 8 (2006)

Computational Photography とは？
Page 4
 Sheer K. Nayar (Columbia Univ.)による定義
参照：http://www1.cs.columbia.edu/CAVE/projects/what_is/

Computational Camera とは？
Page 5
 Sheer K. Nayar (Columbia Univ.)による定義
参照：http://www1.cs.columbia.edu/CAVE/projects/what_is/
CV4本の2章で
語られているのは
ここ

目次
 出落ちの自己紹介
 導入
Page 6
ひと言でいうと、、、
エピポーラ情報はやっぱり使える
フーリエ変換はやっぱり使える

ライトフィールドの特性と解析
 4節まで、で、ライトフィールドの取り込み方と、
その表現法について紹介
→４D の表現を変えて、
２D として、ライトフィールドを表現できる
Page 7
4D的な表現 2D的表現
u
x
1
2
3
4
5
),,,( yx
),( ux

ライトフィールドの特性と解析
 5節では、ライトフィールドの特性と解析を紹介
 全てのライトフィールド情報が必要か？
→否、冗長
 ライトフィールドカメラの幾何特徴を良く内包している
エピポーラ画像(EPI)
を用いることで、冗長性を減らせる
Page 8
EPIのイメージ
平行
移動
参照論文：Efficient Fourier-Based Approach for Detecting Orientations and Occlusions
in Epipolar Plane Images for 3D Scene Modeling, Z. Zhu, 2005

エピポーラ画像(EPI)のイメージ
Page 9
参照論文：Epipolar-Plane Image Analysis An Approach to Determining Structure from Motion, R.C.Bollesら,1987
写真を用いた
分かりやすい
イメージ図
ちょっとずつ
ずれている→

エピポーラ画像(EPI) [っぽいLumigraph] のイメージ
Page 10
参照論文：The Lumigraph, S. J. Gortlerら, 1996
写真を用いた
分かりやすい
イメージ図
ちょっと
ずれている→

エピポーラ幾何のおさらい
 2つのカメラで同一の物体を撮像したとき、
カメラAの投影中心から物体のある特徴点への光線は、
カメラBでは、直線＝エピポーラ線として得られる
Page 11
Camera BCamera A
OA
エピポーラ線
参照：http://www.slideshare.net/sumisumith/20150328-cv-sumisumithv13-46524314

 サイコロの「１の目」を特徴点として、
エピポーラ線が、水平に全視点でつながっているとする
 ステレオカメラのイメージに近い(平行等位)
Page 12
水平移動する場合のステレオ
ライトフィールドカメラのうち、
一組のステレオカメラセットの
模式図のイメージ

 エピポーラ画像は、画像間の対応点を、引き伸ばしたよう
な画像になる
Page 13
ステレオ配置の場合の、EPIの考え方
角度変化
位置変化
ステレオカメラが
大量に並んでいると
思えば、理解しやすいかも
※ y は変わらない状況

 座標系で表現すると、エピポーラ線が乗った
2次元平面上で直線として表現できる
Page 14
ライトフィールドカメラから作られるEPI
ステレオカメラのように、
エピポーラ線がすべて平行であれば
平行線の縞模様状になる
ステレオカメラが
大量に並んでいると
思えば、理解しやすいかも
u
x
ux 

 平面全体に(エピポーラ)直線の束があるだけ
→周波数成分に変換すれば、表現の簡単化(圧縮)が可能
Page 15

ライトフィールドのフーリエ変換
 エピポーラ線の集合として、EPI画像は得られるので、
2次元FFTをかけると、直交方向にスペクトルとして得られる
Page 16

ライトフィールドのフーリエ変換
 EPIに、ぼけフィルタをかけて、FFTすると、高周波成分が消される
→ノイズ成分が減る
Page 17
ぼけフィルタ

空間周波数領域におけるレンズのぼけ
 EPIにぼけフィルタをかけることは、
フーリエ変換された画像に対しての、ローパスフィルタ効果がある
 窓的にフィルタをかけることで、ノイズ状の高周波成分が消えて、
主要なエピポーラ方向の推定ができる
- 主なエピポーラ方向が決定され、第2位のエピポーラ方向検出もすることで、
オクルージョン部
側面部
などを発見できる
Page 18
② Efficient Fourier-Based Approach for Detecting Orientations and
Occlusions in Epipolar Plane Images for 3D Scene Modeling
① CV4本で紹介されている話

空間周波数領域におけるレンズのぼけ①
 空間周波数領域では、どのように「ぼけ」が観察されるか？
Page 19
• ピントが合っている場合
• ライトフィールドの空間周波数のうち、上のみを取り込み
• ピントが合っているので、高周波成分（細かい模様）まで取り込める
x~
注目プレーン

 空間周波数領域では、どのように「ぼけ」が観察されるか？
空間周波数領域におけるレンズのぼけ①
Page 20
• ピントがはずれている場合
• 空間周波数成分は、斜め線方向に伸びた分布となる
• 低周波は取れるが、高周波成分が取り込めない
→ローパスフィルタ
注目プレーン

空間周波数領域におけるレンズのぼけ②
 車にカメラを付けて移動（たくさんカメラを並べるのと、ほぼ等価）の
状況で撮影されたライトフィールド画像を想定
Page 21

Page 22
EPIが生成される様子
オクルージョン部や側面部で、EPI上で変化が起きる

Page 23
ベタが1番、
破線が2番、
に強い方向成分
結果が異なるポイント
 ガウシアン(ぼけ)フィルタ後のEPIを、フーリエ変換すると、主方向が取れる例
時間

あとは
Page 24
残りの重要な部分は、綺麗に、
@tomoaki_teshima さん
が、まとめてくれます (^ω^)
おまけ

(おまけ)商業利用：最近のLytro
 Lytro Cinemaを用いた、映画 Life 2016/04 公開！
（米のみと思われる）
Page 25
参照：http://japanese.engadget.com/2016/04/12/7-40k-lytro-cinema-3d/

(おまけ)商業利用？：Raskerらの研究開発
 ハンディに簡単に扱える医療用３Dデバイスの応用
Page 26
参照：http://cameraculture.media.mit.edu/handheld-3d-imager-to-visualize-features-in-the-throat-like-tonsils/

(おまけ)今の先端研究：有名な方々
 Sheer K. Nayar
- Columbia Univ., Computer Science Dept.
- Computer Vision Laboratory (CAVE) の偉い人
- Research Interests
- 賢いビジョンセンサ
- 物理ベースのモデルデザイン
- シーン補間アルゴリズム開発
 Ramesh Raskar
- MIT, Media Lab
- 元MERL (Mitsubishi Electric Research Laboratories)
- Research Interests
- Computational Light Transport
- コンピューテショナルフォトグラフィ
- HCIにおける逆問題
Page 27
参照：http://www.cs.columbia.edu/~nayar/
参照： http://web.media.mit.edu/~raskar/
http://cameraculture.media.mit.edu/

(おまけ)最新の動向(Nayer)
 Nayerさんの論文
Towards Flexible Sheet Cameras : Deformable Lens Arrays with
Intrinsic Optical Adaptation
Page 28

(おまけ)最新の動向(Nayer)
 フレキシブルなマイクロレンズアレイシートを開発
回折限界を超えた画像撮影が可能に
Page 29

(おまけ)最新の動向(Rasker)
 検眼、個人の目の特性にあわせたディスプレイのフォーカス位置調整
Page 30
参照：https://www.cgarts.or.jp/report/rep_kr/rep0413-3.html

(おまけ)最新の動向(日浦ら)
 Active oneshot scan for wide depth range
using a light-field projector
based on coded aperture, ICCV2015
川崎、日浦ら
 ライトフィールド技術をプロジェクタに応用
アパーチャコードの考えで被写界深度の限界を超えて、パターン符号化を行う
符号化情報をベースに3D計測を試みている
Page 31

(おまけ)最新の動向(日浦ら)
 Active oneshot scan for wide depth range
using a light-field projector
based on coded aperture, ICCV2015
川崎、日浦ら
 ライトフィールド技術をプロジェクタに応用
アパーチャコードの考えで被写界深度の限界を超えて、パターン符号化を行う
符号化情報をベースに3D計測を試みている
Page 32

まとめ
- 画像のステレオ特徴をよく現しているエピポーラ特性を
利用したEPIを利用するのが効率よい
- ライトフィールド画像を、効率よく表現するために、
フーリエ変換が有効
- EPIのぼけは、遮蔽やシーン情報の解析等に役立つキーポイント
 おまけ
- 商業利用も出てきた
- CPの応用技術もよく研究されており、まだまだ発展中
Page 33

Computer Vision and Image Media 5 – Section 2 Page 34
ありがとうございました (^ω^)
@sumisumith

20160612 関東cv勉強会 sumisumithパート

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 20160612 関東cv勉強会 sumisumithパート

Similaire à 20160612 関東cv勉強会 sumisumithパート (20)

20160612 関東cv勉強会 sumisumithパート