関東CV勉強会

1. Camouflaging an Object from
Many Viewpoints
Andrew Owens1, Connelly Barnes2, Alex Flint3,
Hanumant Singh4, and William Freeman1
1MIT CSAIL, 2University of Virginia / Adobe, 3Flyby Media, 4Woods Hole Oceanographic Inst
Presenter: @miyabiarts
関東CV勉強会 CVPR論文紹介 （26, July 2014）

2. Camouflage
Disruptive ColorationMasquerade
Optical CamouflageBackground matching

3. Motivation
• 単一の視点に対して隠れることは比較的容易
• 複数の視点は困難

4. Goal
• 複数視点から3Dオブジェクトをカモフラージュ

5. Application: Public Art
http://joshuacallaghan.com/Tianmu.htm

6. Significance of camouflage research
• カモフラージュとは物体検出の逆問題
• 物体検出：境界や注目領域に基づき検出
• カモフラージュ：境界や注目領域を隠す
• 検出困難な物体とは何か？
• より高精度な物体検出への知見を得る

7. CV Dazzle
http://cvdazzle.com/

8. Goal
• 複数視点から3Dオブジェクトをカモフラージュ

9. Contribution
• 3Dオブジェクトのためのカモフラージュアルゴ
リズムの提案
• 37シーンへの適用と比較実験
• 知覚実験によるカモフラージュ手法の比較

10. Algorithm
• Background matching
• Two Stage Algorithm
• Stage1: Capture images of object
• Stage2: Camouflage object

11. Stage 1: Capture Images of Object
• 複数視点（10-25）から撮影
• カモフラージュ対象の物体（背景・遮蔽なし）
• 背景

12. Stage 1: Capture Images of Object
• 撮影した物体をSfMで3Dモデル化
• テクスチャは除去
• 背景に対するカメラ位置・姿勢を推定
• Target: シンプルなものに限定
• 直方体
• 影やライティングの影響を受けない

13. Stage2: Camouflage Object
• 複数視点の画像からテクスチャを生成

14. Methods
• Naïve model
• mean color
• Projection from viewpoint
• Random/Greedy
• MRF (Proposed)
• Interior/Boundary MRF

15. Naïve model: mean color
• 視点ごとに背景をテクスチャ上に射影
• テクセルの値を平均化
Viewpoint 1 Viewpoint 2

16. Naïve model: mean color
• 全体的にぼける
• 目立った領域となりやすい
Viewpoint 1 Viewpoint 2

17. Projection from viewpoint
• 視点ごとに見えている面に射影
• 全ての面が埋まるまで繰り返す
Viewpoint 1 Viewpoint 2

18. Random/Greedy
• Random
• ランダムに視点の順番を選択
• Greedy

19. Random
• ある視点からはうまく隠される
• 別の視点からはおかしなものとなる
Viewpoint 1 Viewpoint 2

20. Random
• テクスチャの伸縮・歪みが大きい
• 不連続な境界が発生
Viewpoint 1 Viewpoint 2

21. Random/Greedy
• Random
• ランダムに視点の順番を選択
• Greedy
• 面に対して正対する角度以下の視点を採用
• 本論文では70°以下

22. Greedy
• テクスチャの歪みが比較的小さい
Viewpoint 1 Viewpoint 2

23. Greedy
• 不連続な境界が発生
Viewpoint 1 Viewpoint 2

24. MRF (Proposed)
• エネルギー最小化によりテクスチャを生成
• 遮蔽・視点の安定性・内部の連続性をエネルギー化
• テクスチャ座標上にグリッドを定義

25. MRF Formulation
Data Smoothing

26. MRF (Proposed)
• Interior MRF
• 内部の連続性を重視
• Boundary MRF
• 面ごとの連続性を重視
• データコストは共通

27. Data cost term
Data
Occlusion Viewpoint Stability

28. Data cost term
Occlusion Viewpoint Stability

29. Interior MRF
• Smoothing cost term

30. Interior MRF
• 内部のテクスチャが連続
• 全ての視点から平均的によく隠れる
Viewpoint 1 Viewpoint 2

31. Boundary MRF
• 面ごとに同じラベルを割り当て
• ある視点から見たときの完成度を重視
• Projectionに近い結果となる

32. Boundary MRF
• 面内部のテクスチャの伸縮・歪みが少ない
• 面の境界で不連続なテクスチャが発生
Viewpoint 1 Viewpoint 2

33. Psychophysical study design
• Amazon Mechanical Turk
• ディスプレイにカモフラージュされた物体を表示
• 物体が存在するかどうか？
• 画像内のどこにいるか？
• Work
• http://camo-exp.appspot.com/game

34. Evaluation metrics
• Confusion rate
• 存在するかどうかの判断時間[s]
• Time to find
• 画像内の場所を見つけ出すまでの時間[s]

35. Experiment
• 37シーン（多視点撮影）を対象
• カモフラージュする物体は直方体

36. Results

37. Results
• MRFが優位に性能が高い

38. Greedy vs Boundary MRF

39. Interior MRF vs Boundary MRF

40. Results from multi viewpoints
• Boundary MRF
https://www.youtube.com/watch?v=NNlE_hzqdss

41. Conclusion
• 複数視点から3Dオブジェクトをカモフラージュ
する手法を提案
• MRFの結果は良好
• 色々なカモフラージュ方法を試してみたい