Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 20101023 cvsaisentan tsubosaka
Similaire à 20101023 cvsaisentan tsubosaka (10)
Plus de 正志 坪坂
Plus de 正志 坪坂 (20)
20101023 cvsaisentan tsubosaka
- 1. 「コンピュータビジョン最先端ガイド 2」勉強会 第一章 2.3 SIFTの拡張 坪坂 正志
- 2. SIFTの拡張 • 2.3.1 PCA-SIFT – SIFTで検出したキーポイントの勾配情報をPCAを用い低次 元に射影する – 高速なマッチング、高いマッチング精度 • 2.3.2 GLOH – Gradient Location and Orientation Histogram – SIFTの特徴量記述を拡張 – よりロバストな特徴量が得られる • 2.3.3 SURF – Speeded Up Robust Features – キーポイント検出、スケール検出の部分を近似 – 高速に特徴量を記述することができる
- 3. PCA-SIFT • キーポイントの検出はSIFTと同じ 1. キーポイントのスケールに対応した領域を 41×41の画像にリサンプリングする 2. リサンプリングした画像の水平・垂直方向の勾 配を算出し、39×39×2=3042次元の特徴量を 得る 3. 3042次元の特徴量をPCAを適用し、36次元に圧 縮する – 射影行列はあらかじめ学習画像を用いて算出して おく
- 4. SIFTとの比較 • PCA-SIFTの方が特徴量の次元が低いため高 速にマッチングが行える • また画像の変化に対してロバスト 特徴量記述[秒] マッチング[秒] マッチング精度[秒] SIFT 1.59 2.20 43 PCA-SIFT 1.64 0.58 68
- 5. GLOH [Mikolajczyk and Schmid 2005] • SIFTをよりロバスト性を高めるように拡張 • キーポイントの検出はSIFTと同じ • 特徴量の記述が異なる
- 8. SURF • Speeded Up Robust Features • キーポイントとスケールの検出を高速化 • SIFTでは𝜎の異なるDoG(Difference-of-Gaussian)画像を計 算していた • Hessian-Laplace検出器を近似したBoxフィルタを用いるこ とで高速化
- 9. SURFのフロー 1. キーポイントの 位置とスケールの検出 2. キーポイントの オリエンテーションの決定 回転不変性が 必要 YES 3. キーポイントから 特徴量(64次元ベクトル)の作成 NO(U-SURF)
- 10. Hessian-Laplace検出器 • 𝐿 𝑥𝑥(𝐱, 𝜎)は画像𝑰中の点𝐱におけるガウシアン二 次微分 𝜕2 𝜕𝑥2 𝑔(𝜎)の畳み込み結果,他も同様 • 上のヘッセ行列の行列式 を各スケールの画像に対して求め、極大値を検出 𝐇 𝐱, 𝜎 = 𝐿 𝑥𝑥(𝐱, 𝜎) 𝐿 𝑥𝑦(𝐱, 𝜎) 𝐿 𝑥𝑦(𝐱, 𝜎) 𝐿 𝑦𝑦(𝐱, 𝜎) Det 𝐇 = 𝐿 𝑥𝑥 𝐱, 𝜎 ⋅ 𝐿 𝑦𝑦 𝐱, 𝜎 − 𝐿 𝑥𝑦 𝐱, 𝜎 2
- 12. Boxフィルタによる近似 • ガウシアンフィルタと二次微分フィルタをかけた 結果をBoxフィルタによって近似 – Boxフィルタによる出力の値は積分画像を使って高速 に計算可能 • 近似値を𝐷 𝑥𝑥, 𝐷 𝑥𝑦, 𝐷 𝑦𝑦としたとき近似Hessian- Laplace検出器の出力は以下の式で定義される [Bay+ 2008]より 𝐿 𝑦𝑦 𝐿 𝑥𝑦 𝐷 𝑦𝑦 𝐷 𝑥𝑦 Det 𝐇 𝐚𝐩𝐩𝐫𝐨𝐱 = 𝐷 𝑥𝑥 𝐱, 𝜎 ⋅ 𝐷 𝑦𝑦 𝐱, 𝜎 − (𝐷 𝑥𝑦 𝐱, 𝜎 ⋅ 0.9)2
- 13. 積分画像(1/2) • 指定された矩形領域の輝度の合計を高速に求めたい • 画像の左上(原点)から画像中のすべての点に対し、その点 を右下とした矩形領域の輝度の合計を計算しておく – これは画像サイズに比例する計算量でできる – 前処理として一回だけ行えばよい (0,0) (0,y) (x,0) (x,y) ∑輝度値
- 14. 積分画像(2/2) (0,0) (0,y) (x,0) (x,y) C BA D • 下のDの部分の領域の輝度値の合計を計算するのはO(1)で できる – D = (A + B + C + D) – (A + B) – (A + C) + A • 領域のサイズによらない
- 15. サブピクセル推定 • キーポイント𝐱 = (𝑥, 𝑦, 𝜎)に対して、そのサブ ピクセルを推定 • 𝒙と𝒙のいずれかの要素の差が0.5を超える場 合は候補から除外 𝒙 = − 𝜕2 𝐻−1 𝜕𝒙2 𝜕𝐻 𝜕𝒙
- 16. キーポイントのオリエンテーション • キーポイントを中心とした半径6s (s : スケー ル)の領域に対して、x,y方向それぞれのHaar- like(サイズ4s×4s)を計算 – Haar-likeの値はキーポイントを中心としたσ=2sの ガウシアンフィルタを用い重みをかける x,y方向のHaar-like特徴量を ガウス重みづけしてプロット dy dx
- 17. キーポイントのオリエンテーション • 大きさ𝜋/3の窓の中にある点を加算して、ノル ムが最も大きくなるベクトルの方向をキーポイ ントのオリエンテーションとして採用 [Evans 2009]より
- 18. キーポイントのオリエンテーション • 回転に対する不変性を犠牲にしてよいならば オリエンテーションを決定する部分はスキップ してもよい – 実験によると±15°までの回転に対してはロバ スト[Bay+ 2008]
- 19. Haar-like特徴量 • 2つの領域の輝度差 – (矩形の黒領域の輝度の合計) – (白領域の輝度 の合計) – これは積分画像を使って高速に計算できる
- 20. 特徴量記述 • キーポイントを中心に20s×20sの領域を4×4 のグリッド領域に分割する – 各領域ごとに4次元ベクトルを求め、合計で4 * 4 * 4 = 64次元の特徴ベクトルを得る キーポイント オリエンテーション
- 21. 領域ごとの特徴量 • 各グリッド領域ごとに、Haar-like(2s×2s)を計 算し、輝度勾配を求める • 𝑣 = (∑𝑑 𝑥, ∑𝑑 𝑦, ∑ 𝑑 𝑥 , ∑ 𝑑 𝑦 )を計算
- 22. SIFTとの比較 処理時間[ms] マッチング精度[%] SIFT 1036 78.1 SURF 354 82.6 U-SURF 255 83.8 • U-SURF,SURF,SIFTの順に高速 • U-SURF,SURF,SIFTの順に精度が高かった – (藤吉先生コメント) SURFについてはアルゴリズム 的に SURFが高精度である理由はないので別の 実験結果では違う結果が出得る
- 23. 参考文献 • PCA-SIFT – [Ke and Sukthankar 2004] Y. Ke and R. Sukthankar. PCA-SIFT : A more distinctive representation for local image descriptors, In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 506—513 • GLOH – [Mikolajczyk and Schmid 2005] K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors, IEEE Transactions on Pattern Analysis and Machine Intelligence,27,10,pp. 1615--1630 • SURF – [Bay+ 2008] H. Bay, T. Tuytelaars, and L. V. Gool. SURF: speeded up robust features, Computer Vision and Image Understanding(CVIU), 110, 3, pp. 346—359 – [Evans 2009] C. Evans : Notes on the OpenSURF Library, CSTR-09-001, University of Bristol