【社内勉強会用】Sift特徴量について ※間違っている部分があるかもしれません

1. 2015/3/12
【社内勉強会用】

2.  SIFT：Scale-Invariant Feature Transform
 特徴点の検出と特徴量の記述を行う
 特徴
◦ 拡大縮小に強い
◦ 回転に強い
◦ 照明変化に強い
 用例
◦ 異なる画像間でのマッチング
 パノラマ画像の自動作成とか
◦ 一般物体認識

3.  ざっくり言うと以下の過程をふむ
１．特徴点の検出
１－１．特徴点となる候補点の探索
１－２．候補点の絞り込み
２．特徴量の記述
２－１．各特徴点の勾配を検出
２－２．各特徴点の勾配方向ヒストグラムを計算

4.  「第1 段階のキーポイント検出では，DoG 処理を
用いてスケールスペースにおける極値探索をする
ことで，キーポイントの位置とスケールを決定す
る」
（中部大学 藤吉先生 談）

5.  「スケールスペース」って何？
◦ 2次元（x, y）である画像に、「スケール」という次元
を加えて、3次元で画像を理解してみようという考え

6.  「スケール」っていう次元は、具体的にどーやっ
て追加するのか
↓
 画像(x,y)を、ある量σだけ
平滑化した(x,y,σ)を考える
 「平滑化」とは、いわゆる
“ぼかした”画像にすること
スケールσ

7.  「平滑化」ってどーやるの？
↓
平滑化の方法自体はいろいろあるけど、SIFTでは
「ガウシアンフィルタ」を使用する
・フィルタの式
𝑓𝑓 𝑥𝑥, 𝑦𝑦 =
1
2𝜋𝜋𝜎𝜎2 exp(−
𝑥𝑥2+𝑦𝑦2
2𝜎𝜎2 )
(3次元目のパラメータがσとなる）

8.  基本的な考え方
注目画素の周辺要素の画素に、適当な倍率を掛け
た値の合計を、フィルタ適用後の値とする
（例）
（２，２）座標の４で
フィルタ計算する時。
6×(-1)+1×(-1)+6×(-1)
+5×(-1)+4×( 8)+3×(-1)
+2×(-1)+2×(-1)+1×(-1)
=6

9.  ガウシアンフィルタでは、注目要素周りの倍率を
以下の式によって決定する。
（（x,y)は注目画素からの距離）
◦ 𝑓𝑓 𝑥𝑥, 𝑦𝑦 =
1
2𝜋𝜋𝜎𝜎2 exp(−
𝑥𝑥2+𝑦𝑦2
2𝜎𝜎2 )
◦ 普通は適用に離散化して使うらしい ⇒
◦ フィルタイメージ
これが各要素毎に適用される
σ大 σ小

10.  ガウス窓と計算量
◦ ガウシアンフィルタは真上から見ると、実質的な適用範
囲は円形になり、それをガウス窓と言ったりする
◦ σが大きくなると、ガウス窓が大きくなり、適用範囲も
大きくなり、計算量も大きくなる
 SIFTではこれを回避する
ための工夫がされてますが
割愛します・・・
スケールσ

11.  特徴点の（候補点）探索
↓
 スケール方向の差分画像（DoG画像）において、
極値をとる点を特徴点とする
（DoG：Difference-of-Gaussian）
DoG画像

12.  DoG画像における極値の検出
DoG画像
ある点(図中のX)において、
スケールを含めた近傍26点
のいずれよりも大きい（or
小さい）
↓
Xを特徴点（の候補）とする

13.  なぜ、前述の方法で、「特徴点」が探せるのか
↓
「特徴点として適した点では、スケールスペースに
おいてDoGフィルタの結果が極値を持つ」から・・・
よくわからないけど
差分が極値（最大or最小）となる
⇒変化量が大きい
⇒情報量が多い
ってことみたい

14.  なぜ、拡大・縮小に強いのか
↓
同じ画像であれば、拡大・縮小しても、
同じ点でDog画像が極値を持つから・・・
なお、そのときのσは、拡大率・縮小率に比例する

15. この点が極値を示した
とき、
DoG画像
2倍した画像でもこの点が極値
を示す.
また、その時のガウス窓のサ
イズ（σ）も2倍となる
：ガウス窓
2倍に拡大

16.  サブピクセル位置推定
特徴点をピクセル単位（整数単位）じゃなくて、
もっと細かく出す（補正する）
 ダメな候補点を除外
ダメな候補点たち
◦ エッジ上の点
◦ 極値をとりはしたものの、値自体が小さい点

17.  サブピクセル位置推定
◦ 候補点の周りでDoG関数をテイラー展開
◦ 出てきた関数の導関数＝０となる点を求めて、それを特
徴点とする
◎要するに、DoG画像の出力値は、(x,y,σ)を変数とする
関数なので、それを特徴点周りで近似してやり、
その近似式の導関数とかを使って、極値をとる点を算出し
直すってことだと思う

18.  エッジ上の点を除外
◦ ヘッセ行列とハリスのコーナー検出の原理を用いて、
エッジ上の点を除外
 詳細は割愛・・・
 DoG出力値が小さいものを除外
◦ 閾値以下だったら除外
◦ 閾値は、0.03が良いらしい（値は0～1に正規化済み）

19.  特徴点の周りで輝度勾配ヒストグラムを作成
 方向・強度の計算はHOG特徴量と（ほぼ）同じ
 方向は36方向
◎ポイント
強度は、特徴点のスケールの
ガウシアンフィルタで重み付け
↓
・このスケールのみ強調されるので
スケール変化に強くなる
・特徴点に近いほど強調される

20.  求めたヒストグラムにて、強度が最大値の80％を
超える方向を、この特徴点の方向と定める
（複数出てくるときもある）

21.  特徴点の方向を基準の方向として、再度 輝度勾
配ヒストグラムを作成する（回転に強い）
 このとき、対象領域をHOGで言うところの4×4ブ
ロックに分割し、各ブロックごとにヒストグラム
を作成する
 方向は8方向（45度ずつ）とする
 4×4×8＝128次元の特徴量となる
 あと、正規化もする（照明変化に強い）

22. ⇒
基準方向に
回転
⇒
ブロック毎に勾
配（8方向）・
強度を算出
⇒
⇒
ヒストグラ
ム作成
（4×4×8
=128次元)

23.  各画像で抽出した特徴点同士で、総当たり比較う
 比較方法はユークリッド距離を使う
 dが最も小さい点同士を対応点とする
 場合によっては制約をつけたりもする
◦ （例）最小のdと2番目に小さいdを比較して、2倍以上差
がないとダメ

24.  あらかじめ特徴点を抽出しておいたテンプレート
画像を用意
 対象画像とテンプレート画像で対応点探索
 対応点の位置・スケール・方向を比較して、最も
近いテンプレート画像を決定する

25.  位置情報は無視して、画像を特徴量の集合とみな
し、Bag-of-Keypointsを使って分類する
 Bag-of-KeypointsはBag-of-Wordsの画像版
 特徴量の頻度で画像を分類する

26.  色情報使ってない
 SURFはSIFTの特徴点検出処理を軽量化したものら
しい（その分精度は落ちる）
 SURFはOpenCVにあるらしい

27.  http://www.hci.iis.u-tokyo.ac.jp/~ysato/class14/supplements/sift_tutorial-
Fujiyoshi.pdf
 http://www.isl.titech.ac.jp/~nagahashilab/member/longb/iip/LectureNotes/sif
t_image.pdf
 http://www.kki.yamanashi.ac.jp/~ohbuchi/courses/2013/sm2013/pdf/sm13_lect03
_20131028all.pdf
 http://d.hatena.ne.jp/colorcle/20091021/1256138848
 http://www.ic.is.tohoku.ac.jp/~swk/lecture/ic2009/kagami_ic20090630.pdf

28.  以下に、デモようのツール（siftDemoV4）が置い
てあったので触ってみた
◦ http://www.cs.ubc.ca/~lowe/keypoints/
 使い方
◦ コマンドプロンプトから実行
 入力画像の特徴点をテキストにはく
 siftWin32.exe <source.pgm >resultkey.txt
 入力画像に特徴点を追記した画像を作成する
 siftWin32.exe -display <source.pgm >result.pgm
※画像形式は.pgm限定

29.  DoG画像のヘッセ行列
H =
Dxx Dxy
Dxy Dyy
を考えた時、その固有値は主曲率に比例する
 主曲率：曲面上のある点における最大曲率と最小
曲率（厳密には違うけど雰囲気的にはそんな感じ・・・
 二つの主曲率の差が大きい⇒ある方向の変化は大
きいけど、別の方向の変化は小さい⇒エッジの可
能性が高い
 Hの固有値の大小＝主曲率の大小から、コーナー
（エッジじゃない部分）を検出する

30. 車 顔猫
↓SIFT特徴量抽出
一つ一つが
128次元のベクトル
⇒⇒⇒
クラスタリング
↓代表ベクトル作成
車 顔猫
各代表ベクトルに最
も近い特徴量の出現
頻度から、それぞれ
の画像を表すヒスト
グラムを作成

31.  分類したい画像のSIFT特徴量を抽出
↓
 前述の方法で、各代表ベクトルのヒストグラムを
作成
↓
 学習画像のどのヒストグラムに近いかを判定