KantoCV/Selective Search for Object Recognition
•Télécharger en tant que PPTX, PDF•
22 j'aime•40,614 vues
第29回関東CV勉強会「有名論文読み会」 J. Uijlings et al., “Selective Search for Object Recognition,” IJCV 2013
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (11)
KantoCV/Selective Search for Object Recognition
- 1. Selective Search for Object Recognition J. Uijlings et al., IJCV 2013 2015.5.30 #cvsaisentan @sakanazensen
- 2. Self introduction • @sakanazensen（魚の人） • 某英語なIT企業の2年目戦士 • 名古屋大M卒 – Semi-supervisedな歩行者検出 – 元nagoyacvの中の人 • 生息範囲：CVやAgileなど
- 3. 今日紹介する論文 • Selective Search for Object Recognition • Jasper R. R. Uijlingsら（アムステルダム大学） • International Journal of Computer Vision (2013) • Segmentation As Selective Search for Object Recognition • ICCV2011 • オリジナル
- 4. • Exhaustive Searchが一般的 画像からの物体検出 Classifier 25,132win/imgはつらい (640x480/OpenCVデフォルト) detection window
- 5. やりたいこと • 何かありげな領域を推定 • 後続の処理はそこだけに集中できる！ • より高度な識別(分類)手法が適用できる！ ✓class-independent ✓high-recall ✓任意の位置・大きさ ✓高効率 “Object Hypotheses”
- 6. 従来の似た研究 • どちらかと言うとSegmentationの研究 • Carreiraら[1]、Endresら[2] • 前景背景のセグメンテーション • “Objectness”[3] • 学習ベース+ランダム探索 [1] J. Carreira et at;, “Constrained parametric min-cuts for automatic object segmentation,” CVPR, 2010 [2] I. Endres et al., ”Category independent object proposals,” ECCV, 2010 [3] B. Alexe et al., “What is an object?,” CVPR, 2010
- 7. この研究のアプローチ • ボトムアップ型の階層的セグメンテーション • あらゆる位置・スケール（＋構造）に対応 • セグメンテーション結果からObject Hypotheses生成
- 8. 主要なReferrer • DCNNベース物体検出などの前段に利用[4] • また、Objectness[3]と共によく引用されてる印象 [4] R. Girshick et al., “Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation,” CVPR2014
- 12. Selective Search全体の流れ (1) 初期セグメンテーション𝑅 = 𝑟1, … , 𝑟𝑛 (2a) 各小領域の特徴𝐹 = {𝑓1, … , 𝑓𝑛} (2b) 隣接小領域の類似度𝑆 = {𝑠 𝑟𝑖, 𝑟𝑗 , … } (3) while 𝑆 ≠ 𝜙 • 𝑠(𝑟𝑖, 𝑟𝑗) = max(𝑆) • 𝑟𝑡 = 𝑟𝑖⋃𝑟𝑗 • 𝑆から𝑟𝑖と𝑟𝑗に絡むものを全て消す • 𝑆 = 𝑆 ∪ 𝑠(𝑟𝑡, 𝑟𝑥 , … }, 𝑅 = 𝑅 ∪ 𝑟𝑡 (4) 𝑅からObject hypothesesを生成
- 13. 1. 初期セグメンテーション𝑅 • Efficient Graph-Based Image Segmentation[5] • 高速！ • （他手法でもOK） 𝑘 = 50 𝑘 = 200 𝑘 = 500 [5] P. Felzenszwalb et al, “Efficient Graph-Based Image Segmentation”, IJCV2004
- 14. • 色特徴 • テクスチャ特徴 • 小領域の面積 • 小領域の外接矩形 2a. 各小領域の特徴𝐹抽出 𝑓𝑖 𝑓𝑗 𝑓𝑘 … 𝐹 = 𝑓1, … , 𝑓𝑛
- 15. 2a. 特徴量の設計 • ミソ：線形性（加法性） • 最初に求めるだけでOK！ |𝑟1|𝑓1⨁|𝑟2|𝑓2 𝑟1 + 𝑟2 = 𝑓1,2 𝑟1 𝑟2 𝑟1,2 陽に求めなくていい！
- 16. 2b. 特徴量と類似度𝑆 • 色特徴（正規化色ヒストグラム） • 25次元×3チャネル=75次元 • 類似度𝑆color: intersection • マージ: 線形和 • テクスチャ特徴 • SIFT descriptorのような正規化勾配ヒストグラム • 80次元×3チャネル=240次元※ • 類似度𝑆texture: intersection • マージ: 線形和 ※8方向☓10binとのこと。原著には詳細の言及なし
- 17. 2b. 特徴量と類似度𝑆 • 面積 • スカラ • 類似度𝑆size = 1 − 𝑟 𝑖 +|𝑟 𝑗| |img| • 外接矩形 • 4次元 • 類似度𝑆fill = 1 − |boundingbox(𝑟 𝑖∪𝑟 𝑗)|− 𝑟 𝑖 −|𝑟 𝑗| |img| highlow highlow 包含関係にある領域を 積極的に統合する 小さい領域を 先に統合させる
- 19. 4. Object hypothesesの生成 𝑅内の全要素の外接矩形 各階層・各小領域の 外接矩形を算出 = • Object hypotheses = 小領域の外接矩形
- 20. 4. Object hypothesesの生成 • 数が多い&ゴミも多い 重み付き乱択で捨てる 𝑟𝑘の重み𝑣 𝑘 = rand 0, 1 × 𝑟𝑘の深さ deeper layer shallower layer
- 21. 4. Object hypothesesの生成 • 数が多い&ゴミも多い 重み付き乱択で捨てる 重みでソートして 上から一定数採用 (´ºωº｀ )えっ、それでいいんだ… Hypothesisの質と量のtrade-offに落とし込める！
- 22. Diversification いろんなパラメータでやりまくる（！） 色空間 類似度 𝑘 # Fast HSV, Lab 𝑆color, 𝑆texture, 𝑆size, 𝑆fill , 𝑆texture, 𝑆size, 𝑆fill 50, 100 8通り Quality HSV, Lab, rgI, H, I 𝑆color, 𝑆texture, 𝑆size, 𝑆fill , 𝑆texture, 𝑆size, 𝑆fill , 𝑆fill , 𝑆size 50, 100, 150, 300 80通り • 結果が偏らないよう、多様なObject hypotheses が必要…
- 23. Output • 各パラメータ組合せでの出力を統合 • ゴミも含んでいます • けど物体らしきものはなるべくカバーします
- 25. 例：一般的な学習 Ground Truth SVM Classifier Pos Neg FPs=Hard Negs Negativeは（通常） ランダムに切り出し Try detection Retrain
- 26. 例：Selective Searchを活用して学習 Ground Truth SVM Classifier Pos Try detection (based on object hypotheses) FPs=Hard Negs Selective Search Pos領域に少し重なる hypothesesを切り出す Neg Retrain
- 27. Experiments
- 28. Object hypothesisの例 • Best Overwrap（真値とのAND面積比） .874 .884 .863 .882 .873
- 29. Object hypothesisの評価 • 評価指標 Recall 0~1 出てきてほしい物体総数のうち 実際出せた割合 MABO Mean Average Best Overwrap 0~1 クラスごとのBest Overwrapの平均 （Recallの連続版的な雰囲気）
- 31. Diversificationすると良くなる いろんなパラメータでやりまくる！ 実際の効果は # combination # hypotheses MABO Time Single 1パターン 362 .693 0.71s Fast 8パターン 2,147 .799 3.79s Quality 80パターン 10,108 .878 17.15s
- 32. 多クラスObject Recognition精度評価 • ILSVRC2011 (Localization) [6] ※Xerox Research Centre Europeの誤植？ Method Error ratio (Flat) Error ratio (Hierarchical) Proposed .425 .285 ISI Lab (University of Tokyo)※ .565 .410 [6] Olga Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” arXiv:1409.0575, 2014
- 33. 原著でのその他の実験 • 各特徴量/色空間の寄与 • 階層的処理の効果 • 物体クラスごとのObject hypothesisの評価 • …
- 34. 実装してみた！
- 35. • オリジナル実装（ICCV版+IJCV版） • http://koen.me/research/selectivesearch/ • MATLAB • pcodeばっかりで読めない…… • 魚実装 • ほぼPure python • fork it! belltailjp/selective_search_py.git
- 37. 個人的なイメージ • 意外と力技 • 多様な結果を出したい→よろしいならば80通りのパラメータだ • Object Hypothesisの切り捨ての辺りは工夫の余地ありそう？ • 手法はシンプル・明快で実装も容易 • 速度的には検出ガチ勢にはまだ辛い • 10−1~101sec/imgのオーダー
Notes de l'éditeur
- 異なるパラメータのセットで（これを原著ではstrategyと呼んでいる）、同じ所に集中して出るなら、やはりそこはconfidentだとみなせる。
- 異なるパラメータのセットで（これを原著ではstrategyと呼んでいる）、同じ所に集中して出るなら、やはりそこはconfidentだとみなせる。
- 異なるパラメータのセットで（これを原著ではstrategyと呼んでいる）、同じ所に集中して出るなら、やはりそこはconfidentだとみなせる。