Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
1
画像局所特徴量と特定物体認識
- SIFTと最近のアプローチ -
http://mprg.jp/tutorials
機械知覚&ロボティクス研究グループ(中部大学)
中部
工学
助手
中部大学
工学部 情報工学科
講師
大学
部 ロボット理工...
概要
1. SIFT(Scale-Invariant Feature Transform)
2. SIFTアプローチの高精度化
- PCA-SIFT
- GLOH(Gradient Location and Orientation)
3. SI...
1. SIFT(Scale-Invariant Feature Transform)
3
ステレオ画像
4
Related Work
特徴点検出 スケール選択 回転に不変
頑健性の向上 背景の影響
を低減
1988
Harris, Stephens:
Harris Corner
Detector
1994
Lindeberg:
Scale-space...
SIFT: Scale-Invariant Feature Transform
• 誰が考えたのか?
‒ British Columbia大学のDavid Lowe
‒ 1999年発表 (2004年journal)
• どんなアイデア?
‒ 特...
SIFTの使用例:イメージモザイキング
http://www.cs.ubc.ca/ mbrown/autostitch/autostitch.html
7
SIFTアルゴリズム
• SIFTの処理は大きく分けて2段階
1. キーポイント検出
2. 特徴記述
スケールとキーポイント検出
キーポイントのローカライズ
Difference-of-Gaussian処理
キーポイントの絞り込み
サブピクセル位...
Laplacian-of-Gaussianによるスケール探索 [Lindeberg, 94]
スケールσを変化させたLoGオペレータを適用
LoGオペレータ
€
LoG = f (σ) = −
x2
+ y2
− 2σ2
2πσ6
exp −
...
LoGフィルタの問題点
解決策:
Difference-of-Gaussian(DoG) [Lowe, 99]
DoGでLoGと同じような効果が得られるのか?
LoGによるスケール探索:
1. 特徴点の検出
2. スケール探索
計算コストが高い
...
拡散方程式:変位の時間tに関する偏微分と空間xに関する

二階偏微分が比例
DoGとLoGの関係
€
∂G
∂σ
= σ∇2
G
€
σ∇2
G : ガウス関数の2階微分(LoG)
€
∂G
∂σ
≈
G(x,y,kσ) − G(x,y,σ)
...
Difference-of-Gaussian(DoG)
• 異なる の平滑化画像の差分によりDoG画像を生成
€
σ
€
L(x,y,σ) = G(x,y,σ)∗ I(x,y)
€
D(x,y,σ) = L(x,y,kσ) − L(x,y,σ)€...
DoGによるスケールスペース構築
€
σ0
€
kσ0
€
k2
σ0
€
k4
σ0
平滑化画像 DoG画像
ー
スケール
€
k3
σ0
ー
ー
ー
13
画像のダウンサンプリングを併用
 の変化の連続性を保持した平滑化画像の生成を実現
DoGの問題点
ガウシアンウィンドウのサイズが

大きくなる
の値が増加σ
・処理できない端領域の発生
・計算コストの増加
平滑化画像
ガウシアンウィンドウ
k
...
σの連続性を保持した平滑化処理 (1/3)
入力画像
€
σ0
€
L1(σ0)
€
L1(kσ0)
1オクターブ目
テ
1/2の画像サイズに

ダウンサンプリング
€
L1(2σ0) ≈ L2(σ0)
€
L1(2σ0)
で平滑化
€
σ0
...
テ
σの連続性を保持した平滑化処理 (2/3)
入力画像
€
σ0
€
L1(σ0)
€
L1(kσ0)
1オクターブ目
€
L1(2σ0) ≈ L2(σ0)
€
L2(σ0)
€
L1(2σ0)
L3(σ0)
で平滑化σ0
1/4の画像サイズ...
σの連続性を保持した平滑化処理 (3/3)
入力画像
€
σ0
€
L1(σ0)
€
L1(kσ0)
1オクターブ目
€
L1(2σ0) ≈ L2(σ0)
€
L2(σ0)
€
L1(2σ0)
L3(σ0)
€
L2(kσ0)
€
L2(2σ0...
平滑化画像生成例
€
σ0
€
2σ0
2σ0
€
4σ0
4σ0 8σ0
18
DoG画像からの極値検出
• DoG画像から極値(極大値or極小値)を検出
‒ 注目画素のDoG値を画像スケール空間の26近傍と比較
DoG画像
3枚1組
平滑化画像
σ0
€
kσ0
€
k2
σ0
スケール
€
k3
σ0
ー
ー
ー
19
DoGによるスケール探索
×
2
10
DoG出力
原画像
σ0=4
σ1=6
12
41
σ2=10
53
47
σ3=16
100
3
σ4=25
103
ガウシアンフィルタ出力
最大
20
極値の性質
200 200
Scale(σ)
極値σ1=5
DoG
400 400
極値σ2=10
Scale(σ)
DoG
σ2=2σ1
スケールに対する不変性を得る 21
SIFTアルゴリズム
1. キーポイント検出
2. 特徴記述
スケールとキーポイント検出
キーポイントのローカライズ
オリエンテーションの算出
特徴量の記述
22
キーポイントのローカライズ
• キーポイントに向かない点
‒ エッジ上の点
‒ DoG出力の小さい点
開口問題
ノイズの影響を受け易い
→主曲率とコントラストにより削除
キーポイント候補点
(キーポイント数:1895点)
コントラストによる候補...
主曲率によるエッジ上のキーポイント削除
• エッジ上に存在するキーポイント候補点を削除
€
D:DoG画像
€
α:第1固有値
€
β:第2固有値
€
H =
Dxx Dxy
Dxy Dyy
"
#
$
%
&
'ヘッセ行列 から主曲率を算出
...
比率による固有値の表現
€
Tr(H)2
Det(H)
=
(α + β)2
αβ
=
(γβ + β)2
γβ2
=
(γ +1)2
γ
€
Tr(H) = α + β = Dxx + Dyy
€
Det(H) = αβ = DxxDyy −...
固有値の比率によるしきい値処理
€
Tr(H)2
Det(H)
<
(γth +1)2
γth
しきい値: により決定
€
γth
しきい値以上 比率が大きい:エッジ上の点
しきい値未満 比率が小さい:キーポイント候補点
γth
=10のとき:...
キーポイントのサブピクセル位置推定
€
D(x) = D +
∂D
∂x
T
x +
1
2
xT ∂2
D
∂x2
x
€
∂D
∂x
+
∂2
D
∂x2
ˆx = 0
€
∂2
D
∂x2
ˆx = −
∂D
∂x
ある点 でのDoG関数...
• キーポイント候補点のサブピクセル位置でのDoG出力値を再計算
コントラストによるしきい値処理
€
D(ˆx) = D +
1
2
∂D
∂x
T
ˆx
€
D(ˆx)DoG出力値の絶対値 がしきい値未満(ローコントラスト)
→ノイズの影響を...
SIFTアルゴリズム
1. キーポイント検出
2. 特徴記述
スケールとキーポイント検出
キーポイントのローカライズ
オリエンテーションの算出
特徴量の記述
29
• キーポイントのオリエンテーション
‒ オリエンテーションの向きに正規化を行うことで回転に不変な
特徴量を算出
オリエンテーションの算出
€
m(u,v) = (L(u +1,v) − L(u −1,v))2
+ (L(u,v +1) − L...
勾配方向
勾配方向ヒストグラムの作成
1
0
h
0 35勾配方向(36bin)
×
• 勾配情報から勾配方向ヒストグラムを作成
‒ 全方向を36方向に離散化
‒ キーポイントの持つスケールに対応する領域から勾配を算出
‒ ガウス窓と勾配強度か...
オリエンテーションの割り当て
• 勾配方向ヒストグラムからキーポイントの代表的な

オリエンテーションを算出
‒ ヒストグラムの最大値から80%以上
1
0
h
0 35勾配方向(36bin)
0.8
peak
キーポイントへ割り当てる
32
オリエンテーションが複数の場合
• 1つのキーポイントに複数のオリエンテーションが

割り当てられる
‒ 例:コーナー上の点
1
0
0 35
勾配方向(36bin)
0.8
peak1 peak2
2方向が割り当てられる
33
SIFTアルゴリズム
1. キーポイント検出
2. 特徴記述
スケールとキーポイント検出
キーポイントのローカライズ
オリエンテーションの算出
特徴量の記述
34
特徴量の記述:記述領域の方向の正規化
• 特徴量を記述する領域をキーポイントが持つオリエンテーショ
ンに合わせて回転させる
回転に対する不変性を得る
キーポイントのオリエンテーション
特徴量記述領域
35
特徴量の記述:特徴ベクトル算出
特徴ベクトルを算出:
周辺領域を一辺4ブロックの計16ブロックに分割
ブロックごとに8方向(45度ずつ)の勾配方向ヒストグラム作成
4分割
4分割
8方向
ガウス窓
4ブロック 4ブロック 8方向=128次元
ヒ...
特徴ベクトルの正規化
• 128次元の各特徴ベクトルの長さをベクトルの総和で正規化
照明変化に頑健な特徴量を得る
37
SIFT特徴量の不変性を得る過程
1. キーポイント検出
2. 特徴記述
・スケールとキーポイント検出
・キーポイントのローカライズ
・オリエンテーションの算出
・特徴量の記述
→スケール変化に対する不変性
→ノイズに対する頑健性
→回転に対す...
SIFTの対応点探索による画像のマッチング
• 異なる画像間で抽出されたキーポイントの特徴量を

比較することで画像間の対応点探索が可能
‒ 128次元のSIFT特徴量間のユークリッド距離dを算出
画像I1 画像I2
:キーポイント
:キーポイ...
SIFTの対応点探索による画像のマッチング
40
• 画像間のユニークな点を対応付け
‒ ソーティング後,距離が1番小さい点 と2番目に小さい点 を比較d1 d2
:最も距離が小さい点
:2番目に距離が小さい点
d1
d2
上記の式が成り立つ点...
SIFTの対応点探索による画像のマッチング
41
d1 < d2 0.6の場合
対応点数 :少
誤対応点数:少
対応点数 :多
誤対応点数:多
の場合d1 < d2 0.9
対応点探索結果
スケール変化に影響を受けずに対応点の検出が可能
キーポイント

998点
キーポイント

3349点
対応点57点
42
画像の変化に対するSIFT特徴量
• 参照用画像と変化を与えた画像のSIFT特徴量を比較
参照用画像
回転
スケール変化
輝度変化アフィン変化
43
検証1:回転
参照用画像とのユークリッド距離:42.6
回転:45度
44
検証2:スケール変化
参照用画像とのユークリッド距離:27.3
拡大:2.0倍 45
検証3:輝度変化
参照用画像とのユークリッド距離:7.8
露光量:-3 46
検証4:アフィン変化
参照用画像とのユークリッド距離:149.1
視点の変化
テ
テ
47
回転 スケール変化
輝度変化 アフィン変化
48
画像の変化 ユークリッド距離 対応点数
輝度変化 7.8 118
スケール変化 27.3 102
回転 42.6 183
アフィン変化 149.1 24
検証結果
• アフィン変化のSIFT特徴量への影響
‒ 画像に歪みの変化が含まれるためスケ...
SIFTの応用分野
• scholar.google.com1でSIFT論文2の引用件数を調査
‒ 引用総数:911件3
• SIFTを用いたアプリケーションに関する論文数:291件
• 応用分野は4つに大別可能
1 http://schola...
対応点探索による画像マッチング
51
特定画像を用いたSIFTによる物体認識
1. テンプレートと入力画像の対応点
探索
2. テンプレートから検出された対応
点の位置・スケール・方向を一般
化ハフ変換により投票
3. 3点以上の投票点から入力画像と
テンプレート間のアフィンパラメ...
SIFTを用いた交通道路標識の認識 [高木 07]
• 対応点のスケールとオリエンテーションの投票処理も利用
1. SIFT特徴量算出
2. 標識パターンと入力画像の対応点探索
3. 標識パターンの中心位置座標に投票

(対応点のスケール,オリ...
SIFTを用いた交通道路標識の認識
高木 et al., 電学論C 09 54
Autostitchによるモザイク画像生成
http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html
55
Bag-of-Keypointsによる画像分類
• Bag-of-Keypointsのアプローチ
‒ 位置情報を無視した一般物体認識・画像分類手法
‒ 文書分類手法であるBag-of-Wordsを画像に適用
Bag-of-Words:
文章を単...
• Bag-of-Keypoints : SIFT + SVM

→ 顔
→ バイク
→
→
→
→
入力画像
入力画像
特徴抽出
特徴抽出
ベクトル量子化ヒストグラム
ベクトル量子化ヒストグラム
[G. Csurka et al., Visu...
Bag-of-featuresの流れ
出力:顔
学習 識別
58
まとめ:SIFT
• Scale-Invariant Feature Transform(SIFT)
‒ 画像の回転・スケール変化に不変,照明変化に頑健な

特徴点の検出,特徴量の記述をする手法
• SIFTのアプリケーションへの利用
‒ 対応...
2. SIFTアプローチの高精度化
‒ PCA-SIFT
‒ GLOH(Gradient Location and Orientation Histogram)
60
PCA-SIFT [Ke 04]
• SIFTで検出した局所領域の勾配情報に対して主成分分析

(PCA)を適用
‒ キーポイント検出はSIFTと同じ
‒ 特徴ベクトルは36次元(実験から決定)
‒ SIFT特徴の頑健性の向上
PCA
36次元...
SIFT vs PCA-SIFT
• マッチング性能
• マッチング速度
SIFT
4/10 correct
PCA-SIFT
9/10 correct
PCA-SIFT
10/10 correct
SIFT
6/10 correct
SIFT...
GLOH [Mikolajczyk 05]
• SIFT
‒ キーポイント周辺領域を正方形のグリッドに分割(4 4=16領域)
‒ それぞれのグリッド内で8方向の勾配方向ヒストグラム
• 128次元の特徴量(4 4 8 = 128)
• GLO...
特徴量記述子
SIFT GLOH
周辺領域を対数極座標

(log-polar)に変換
半径方向に3分割
角度方向に8分割
PCAにより128に次元圧縮
正方形のグリッド(4×4)
各グリッドで8方向の勾配
方向ヒストグラム
128次元の特徴量...
特徴量の評価実験
• マッチング性能
Descriptor recall 1-precision correct matches
SIFT 0.24 0.56 177
PCA-SIFT 0.19 0.65 139
GLOH 0.25 0.52 ...
まとめ:PCA-SIFTとGLOH
• PCA-SIFT
‒ SIFTで検出した局所領域の勾配情報に対して主成分分析を適用
• SIFT特徴の頑健性の向上
• 次元圧縮によるマッチングの高速化
• GLOH
‒ 特徴量記述
• キーポイント周辺...
3. SIFTアプローチの高速化
‒ SURF (Speeded Up Robust Features)
67
SIFTアプローチの高速化
• アルゴリズムの改良
‒ SURF(Speeded Up Robust Features) [H. Bay et al., ECCV 06]
‒ Box filter [M. Grabner et al., ACCV...
SURF(Speeded Up Robust Features)の処理の流れ
1. キーポイント検出
‒ キーポイント(特徴点)の検出
‒ スケール探索
2. 記述
‒ オリエンテーション
‒ 特徴量の記述
69
SURF(Speeded Up Robust Features)
1. SURFのキーポイント検出
2. SURFの記述
70
処理の流れ
1. 近似ヘッセ行列の算出
‒ Box filterによる近似
‒ Integral Imageによる高速化
2. スケールスペースの構築
3. 極値探索によるキーポイント検出
入力画像 キーポイント極値探索近似ヘッセ行列の算出
•b...
• 2次微分の集合
• Lはガウシアンの各方向の2次微分を画像Iに畳み込んだ
応答値
ヘッセ行列
H(x, ) =
Lxx(x, ) Lxy(x, )
Lxy(x, ) Lyy(x, )
⇥
LyyLxx Lxy
Lxx(x, ) = I(x)...
• エッジの種類
‒ xy方向の両方の輝度差が大きいが極性が違う
‒ xy方向の片方が輝度差が大きい
‒ xy方向の両方の輝度差が大きい
• 判別式
エッジの種類と判別式
ガウシアンの2次微分は計算コストが高いため判別に時間が掛かる
det(H...
Boxフィルタによる近似
• 実際に利用する判別式
Lyy
w:近似誤差修正
det(Happrox) = DxxDyy (wDxy)2
Lxx Lxy
-21 1
Dxx Dyy Dxy
74
近似誤差修正
• 例えば...
‒ ガウシアンの2次微分のスケールσが1.2
‒ box filterのサイズが9
|A|F =
⌅
⇤
⇤
⇥
m
i=1
n
j=1
|aij|2
w =
|Lxy(1.2)|F |Dyy(9)|F
|Lyy(...
• 矩形領域の輝度値の和を高速に算出可能
• 利点
‒ 領域の数が多い場合
‒ 領域が重なり合う場合
O
積分画像:Integral Image
A
B
C
D
S
I(i, j)
(i, j)
S = -B-C+DA
76
det(Happrox(x, 2))
• スケールσを増加し,複数の近似ヘッセ行列を作成
‒ スケールσ : 1.2, 2.0, 2.8, 3.6
‒ フィルタサイズ : 9 x 9, 15 x 15, 21 x 21, 27 x 27
スケー...
オクターブ
• SIFT:画像のピラミッドを作成
‒ フィルタのサイズが大きくなるにつれて処理時間が増加
• SURF:ピラミッドではなくフィルタサイズを変化
‒ Integral Imageを使用することにより算出時間は一定
‒ 処理時間がフ...
極値探索
キーポイント検出例
• 26近傍で極値ならキーポイント(位置とスケール)
Scale
SIFTと同様の極値探索
79
SURF(Speeded Up Robust Features)
1. SURFのキーポイント検出
2. SURFの記述
80
オリエンテーションの算出
• キーポイントを中心とした6s(σ=2s)の領域から算出
‒ Haar-Waveletを使用
• 各方向における応答値の和を算出してベクトルとして表現
• 和を算出する領域は60度の範囲
• 最大のベクトルをキーポイ...
1. 記述範囲として20sの領域を選択
2. 領域を4 4(=16)ブロックに分割
3. 記述範囲をオリエンテーション方向に回転
方向の正規化
20s
20s
82
特徴ベクトル算出
• 1つのブロックを4分割
• 分割した同じサイズのHaar-Waveletを作成
‒ 応答値よりΣdx,Σdy,Σ¦dx¦,Σ¦dy¦を算出

→ 16分割×4次元=64次元
83
速度とマッチングの比較
Detector しきい値 特徴点数 処理時間
Fast-Hessian
Hessian-Laplace
Harris-Laplace
DoG
600
1000
2500
default
1418
1979
1664
1...
まとめ:SURF
• SIFTの精度を維持したまま高速マッチングが可能
‒ Integral Imageの利用
‒ Hessian行列算出にbox filtersの利用
85
SURF(PC)SIFT(PC)
速度の比較1
86
速度の比較2
SIFTGPUSURF(PC)
87
まとめ:速度の比較
ハード 手法 処理時間(FPS)
PC
PC
GPU1(GeForce GT220 )
GPU2(Tesla C1060)
SIFT
SURF
SiftGPU
SiftGPU
1
9
16
22
SIFTとSURFの処理速度...
公開されているソースコード
• SIFT(実行形式ファイル):Lowe
‒ http://www.cs.ubc.ca/ lowe/keypoints/
• SIFT(C++):Vedaldi
‒ http://vision.ucla.edu/ ...
SIFTのハードウェア化
全体を制御 (Linux)
解析結果を表示
画像入力
SIFTアルゴリズム
論理回路を実装
デモ・アプリケーション (画像検索)
USBカメラから画像を入力し,その中からテンプレート画像に
存在する特徴点・特徴量データ...
FPGA-SIFT
• 標識画像検索アプリケーション(8FPS)
VGA(640 480)画像から2,000点を125msで抽出
91
4. SIFT以降のアプローチ
‒ キーポイント検出:FAST
‒ 特徴量記述:BRIEF, BRISK, ORB, CARD
92
SIFT以降のアプローチ
93
キーポイント検出
• SIFT(DoG) [ICCV1999]
‒ DoG画像からの極値探索による

キーポイント(位置とスケール)検出
• SURF [ECCV2006]
‒ 近似Hessian-Laplaceによる

キーポイント (位置と...
Harrisのコーナー検出
• ヘッセ行列を用いたコーナー検出
€
H =
Ix
2
IxIy
IxIy Iy
2
"
#
$
%
&
'ヘッセ行列
第一固有値 : α
第二固有値 : β
Edge
EdgeFlat
Corner R 0 (α...
FAST: Features from Accelerated Segment Test [Rosten 10]
• 注目画素 p の周辺の円周上の16画素を観測
注目画素 p がコーナーである条件
p の輝度値と比較して円周上の輝度値が連続し...
決定木を用いたFASTのコーナー検出
• 学習画像の画素を特徴ベクトル化
‒ 注目画素 p 周囲の円周上の輝度値を3値化
注目画素 p の輝度値
円周上の輝度値
しきい値
97
決定木の学習
• 決定木の構築
‒ 特徴ベクトルによる3分木の学習
2
darker
学習画像
分岐ノード
特徴ベクトルによる分岐
末端ノード:最も到達したクラスを保存
コーナー画像
非コーナー画像
98
決定木によるコーナー検出
• 決画像の各画素を入試てコーナーを判定
‒ 末端ノードに保存されたクラスに分類
99
• SIFT(DoG), SURF, FASTの検出時間の比較
キーポイント検出
100
FASTにおける問題点
• 人工物からのコーナー検出









• テクスチャが複雑な自然画像からのコーナー検出

101
Harrisのコーナー検出結果 FASTのコーナー検出結果
Harrisのコーナー検出結果 FASTのコーナー検...
コーナー周辺領域のアピアランスの傾向
• FASTによって検出される点
102
コーナーらしい点 コーナーらしくない点
• 周囲{20, 16, 12}画素を参照するため3つの決定木を学習
‒ 決定木をカスケード状に並べて高速化
Cascaded FAST [長谷川 13]
103
周囲12画素を
参照する決定木
オリエンテーション

の類似性
オリエンテーショ...
Step1. 3値化した輝度の連続性による条件
• 周囲{20, 16, 12}画素をBrighter, Similar, Darkerに分類
‒ BrighterまたはDarkerがそれぞれ{11, 9, 6}画素以上

連続する場合に注目画...
Step2. オリエンテーションの算出
• 周囲の画素の始点から終点までの角度を2等分する方向を
オリエンテーションとする
105
周囲20画素のオリエンテーション周囲16画素のオリエンテーション周囲12画素のオリエンテーション
始点
終点
0...
• 周囲{16, 12}画素のオリエンテーション間の角度αと

周囲{20, 16}画素のオリエンテーション間の角度βを算出
‒ αとβがそれぞれしきい値以下の場合に注目画素を

コーナーとする
Step3. オリエンテーションの類似性による条...
コーナー検出結果
107
FAST Cascaded FAST Harris
(コーナー数:22612)
(コーナー数:19961)
(コーナー数:1447)
(コーナー数:1501)
(コーナー数:1200)
(コーナー数:1300)
スケールとオリエンテーションの獲得
• スケール
‒ 画像ピラミッドからコーナーを検出した際の画像解像度を利用

• オリエンテーション
‒ 周囲{20, 16, 12}画素のオリエンテーションを利用

→実験より周囲20画素のオリエンテーショ...
キーポイント検出例
109
SIFT以降のアプローチ
110
バイナリコードの利点
• バイナリコードで特徴記述
‒ SIFT:128次元 8bit (unsigned char)
‒ 数十∼数百個程度の0と1の列から成る短いバイナリコードで

表現
• メリット
‒ 大幅な省メモリ化が可能
‒ ハミング...
112
BRIEF [Calonder, 10]
• バイナリコードの生成アルゴリズム
‒ パッチをガウシアンフィルタにより平滑化
‒ ランダムに選択されたペア(2点)の画素値の大小関係からバイナ
リ列を生成
ガウシアン分布に基づきペアを決定
...
• ペアの選び方
• キーポイント検出
‒ 画像ピラミッドを利用したスケールを獲得
‒ パッチのオリエンテーションはそれぞれの工夫あり
直接的にバイナリ化:BRISK, ORB
BRISK [Leutenegger 11]
規則的に選択
ORB...
BRISK [Leutenegger 11]
• 規則的な位置から2種類のペアを選択
114
長距離ペア

(オリエンテーションの算出に使用)
短距離ペア

(特徴量記述に使用)
• 長距離ペアの平均ベクトルをオリエンテーションとして
算出
• 短距離ペアの輝度の大小関係から特徴量記述
BRISKによる特徴量記述
115
長距離ペアのベクトル
方向:輝度が暗い→輝度が明るい
長さ:輝度差
短距離ペア
オリエンテーション方...
ORB [Rublee 11]
• パッチ内のモーメントによりオリエンテーションを算出
• 学習により良いペアを選択
1. ビットの分散が大きい
2. ペア同士の相関が低い
116
パッチ
• パッチの画素値に関する0, 1次モーメントから重心を

算出





• パッチの中心と重心位置との方向をオリエンテーション
として算出
ORBにおけるオリエンテーション
117
パッチ
O
C
OC
パッチの中心
OC
C
O
パッチの...
b1
b2
b3
b4
b5
b6
b7
b8
1. 各バイナリコードのビットの分散が大きくなるように

選択
ORBにおけるペアの選択方法
118
k5
k4
k3
k2
k1 0 0 0 1 0 0 1 0
1 0 1 0 1 1 0 1
...
2. バイナリコードのビット間の相関が小さくなるように

選択
0 0 0 1 0 0 1 0
1 0 1 0 1 1 0 1
1 0 1 0 0 0 1 1
0 0 1 0 1 1 0 1
1 0 1 0 1 0 1 0
ORBにおけるペアの...
ORBにおけるペアの選択方法
• Greedy Algorithmによりペアの位置を決定
‒ 学習画像から300,000点のキーポイントを抽出
‒ 各キーポイントのパッチ内の全てのペア(205,590通り)を観測
‒ ビットの分散が最大かつビッ...
間接的にバイナリ化:CARD [Ambai 11]
• 勾配情報からバイナリコードを生成
‒ LUTによる勾配特徴の高速計算
‒ 特徴ベクトルのバイナリ変換を高速化
相当し,QLPQM
L1
P}QQ が量子化レベルの変換に相当する
(10)式...
2画像間の対応付けによる速度の比較
• OpenCV 2.4.3を使用
122
ソースコード&アプリの公開
• FAST:Features from Accelerated Segment Test
- OpenCV
- iOSアプリ:FAST Corner
• BRIEF:Binary Robust Independen...
解説記事:局所勾配特徴抽出技術-SIFT以降のアプローチ-
画像技術の最前線
局所勾配特徴抽出技術*
―SIFT 以降のアプローチ―
Gradient-based Image Local Features
藤吉弘亘**
安倍 満***
Hiro...
まとめ:SIFT以降のアプローチ
• キーポイント検出(FAST, Cascaded FAST)
‒ 決定木による高速なコーナー検出を実現
• 特徴量記述(BRIEF, BRISK, ORB, CARD)
‒ バイナリコードによる特徴記述
‒ ...
参考文献1
•1. SIFT(Scale-Invariant Feature Transform)
- [Lowe 04] David G.Lowe, Distinctive image features from scale-invarian...
参考文献2
•2. SIFTアプローチの高精度化
- [Ke 04] Yan Ke, Rahul Sukthankar, PCA-SIFT: A more distinctive
representation for local image d...
参考文献3
•4. SIFT以降のアプローチ
- [Rosten 10] E. Rosten, R. Porter, T. Drummond, Faster and Better: A
Machine Learning Approach To ...
Prochain SlideShare
Chargement dans…5
×
Prochain SlideShare
Sift特徴量について
Suivant
Télécharger pour lire hors ligne et voir en mode plein écran

52

Partager

Télécharger pour lire hors ligne

画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -

Télécharger pour lire hors ligne

画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -

  1. 1. 1 画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ - http://mprg.jp/tutorials 機械知覚&ロボティクス研究グループ(中部大学) 中部 工学 助手 中部大学 工学部 情報工学科 講師 大学 部 ロボット理工学科 中部大学 工学部 ロボット理工学科 助手 山内 悠嗣 機械知覚&ロボティクスグル 487-8501 愛知県春日井市松本町120 Tel 0568-51-8249 Fax 0568-51-9409 yuu@vision.cs.chubu.ac.jp http://vision.cs.chubu.ac.jp MACHINE PERCEPTION AND 中部大学 工学部 情報工学科 講師 山下 隆義 機械知覚&ロボティクスグループ 487-8501 愛知県春日井市松本町1200 Tel 0568-51-9670 Fax 0568-51-1540 yamashita@cs.chubu.ac.jp http://vision.cs.chubu.ac.jp 博士(工学) MACHINE PERCEPTION AND ROBOTICS GROUP 中部大学 工学部 ロボット理工学科 教授 藤吉 弘亘 機械知覚&ロボティクスグループ 487-8501 愛知県春日井市松本町1200 Tel 0568-51-9096 Fax 0568-51-9409 hf@cs.chubu.ac.jp http://vision.cs.chubu.ac.jp 博士(工学) MACHINE PERCEPTION AND ROBOTICS GROUP
  2. 2. 概要 1. SIFT(Scale-Invariant Feature Transform) 2. SIFTアプローチの高精度化 - PCA-SIFT - GLOH(Gradient Location and Orientation) 3. SIFTアプローチの高速化 - SURF(Speeded Up Robust Features) 4. SIFT以降のアプローチ - FAST, Cascaded FAST, BRIEF, BRISK, ORB, CARD 2
  3. 3. 1. SIFT(Scale-Invariant Feature Transform) 3
  4. 4. ステレオ画像 4
  5. 5. Related Work 特徴点検出 スケール選択 回転に不変 頑健性の向上 背景の影響 を低減 1988 Harris, Stephens: Harris Corner Detector 1994 Lindeberg: Scale-space theory 1997 Schmid, Mohr: Local grayvalue invariant 1999 Lowe: SIFT 2004 Ke, Sukthankar: PCA-SIFT 2005 Stein, Herbert: BSIFT 5 回転・スケール変化 照明変化等に頑健
  6. 6. SIFT: Scale-Invariant Feature Transform • 誰が考えたのか? ‒ British Columbia大学のDavid Lowe ‒ 1999年発表 (2004年journal) • どんなアイデア? ‒ 特徴点(キーポイント)の検出と特徴量の記述 ‒ 回転・スケール変化に不変,照明変化に頑健な特徴量 6
  7. 7. SIFTの使用例:イメージモザイキング http://www.cs.ubc.ca/ mbrown/autostitch/autostitch.html 7
  8. 8. SIFTアルゴリズム • SIFTの処理は大きく分けて2段階 1. キーポイント検出 2. 特徴記述 スケールとキーポイント検出 キーポイントのローカライズ Difference-of-Gaussian処理 キーポイントの絞り込み サブピクセル位置推定 オリエンテーションの算出 特徴量の記述 画像の勾配強度と方向算出 勾配方向ヒストグラム作成 8
  9. 9. Laplacian-of-Gaussianによるスケール探索 [Lindeberg, 94] スケールσを変化させたLoGオペレータを適用 LoGオペレータ € LoG = f (σ) = − x2 + y2 − 2σ2 2πσ6 exp − x2 + y2 2σ2 % & ' ( ) *LoGオペレータ: € x,y € σ : スケール : 注目画素からの距離 スケール σ LoG出力値 極大位置→特徴点のスケール スケール探索 σ=3σ=6σ=9 9
  10. 10. LoGフィルタの問題点 解決策: Difference-of-Gaussian(DoG) [Lowe, 99] DoGでLoGと同じような効果が得られるのか? LoGによるスケール探索: 1. 特徴点の検出 2. スケール探索 計算コストが高い 特徴点の検出とスケール探索を同時に行う 計算コストを抑えることが可能 10
  11. 11. 拡散方程式:変位の時間tに関する偏微分と空間xに関する
 二階偏微分が比例 DoGとLoGの関係 € ∂G ∂σ = σ∇2 G € σ∇2 G : ガウス関数の2階微分(LoG) € ∂G ∂σ ≈ G(x,y,kσ) − G(x,y,σ) kσ −σ € σ∇2 G = ∂G ∂σ ≈ G(x,y,kσ) − G(x,y,σ) kσ −σ € (k −1)σ2 ∇2 G ≈ G(x,y,kσ) − G(x,y,σ) LoG DoG DoGはLoGの近似となる € ∂G(x,σ) ∂σ = k ∂2 G(x,σ) ∂x2 € G : ガウス関数 € x = (x,y)T 拡散方程式より: € ∂u(x,t) ∂t = k ∂2 u(x,t) ∂x2 11
  12. 12. Difference-of-Gaussian(DoG) • 異なる の平滑化画像の差分によりDoG画像を生成 € σ € L(x,y,σ) = G(x,y,σ)∗ I(x,y) € D(x,y,σ) = L(x,y,kσ) − L(x,y,σ)€ L(x,y,σ) € I(x,y) € G(x,y,σ) € D(x,y,σ) € k :入力画像 :ガウス関数 :DoG画像 :増加率 ー :平滑化画像 € σ0 € kσ0 平滑化画像 DoG画像入力画像 LoG画像 € G(x,y,σ) = 1 2πσ2 exp − x2 + y2 2σ2 % & ' ( ) * 12
  13. 13. DoGによるスケールスペース構築 € σ0 € kσ0 € k2 σ0 € k4 σ0 平滑化画像 DoG画像 ー スケール € k3 σ0 ー ー ー 13
  14. 14. 画像のダウンサンプリングを併用  の変化の連続性を保持した平滑化画像の生成を実現 DoGの問題点 ガウシアンウィンドウのサイズが
 大きくなる の値が増加σ ・処理できない端領域の発生 ・計算コストの増加 平滑化画像 ガウシアンウィンドウ k k k 解決策: σ 14
  15. 15. σの連続性を保持した平滑化処理 (1/3) 入力画像 € σ0 € L1(σ0) € L1(kσ0) 1オクターブ目 テ 1/2の画像サイズに
 ダウンサンプリング € L1(2σ0) ≈ L2(σ0) € L1(2σ0) で平滑化 € σ0 € L2(σ0) 15
  16. 16. テ σの連続性を保持した平滑化処理 (2/3) 入力画像 € σ0 € L1(σ0) € L1(kσ0) 1オクターブ目 € L1(2σ0) ≈ L2(σ0) € L2(σ0) € L1(2σ0) L3(σ0) で平滑化σ0 1/4の画像サイズに
 ダウンサンプリング € L2(kσ0) € L2(2σ0) 2オクターブ目 L3(σ0) ≈ L2(2σ0) ≈ L1(4σ0) 16
  17. 17. σの連続性を保持した平滑化処理 (3/3) 入力画像 € σ0 € L1(σ0) € L1(kσ0) 1オクターブ目 € L1(2σ0) ≈ L2(σ0) € L2(σ0) € L1(2σ0) L3(σ0) € L2(kσ0) € L2(2σ0) 2オクターブ目 L3(σ0) ≈ L2(2σ0) ≈ L1(4σ0) L3(kσ0)L3(2σ0) € σ0 8σ0 € 4σ0 € 2σ0 € 2σ0 4σ0 17
  18. 18. 平滑化画像生成例 € σ0 € 2σ0 2σ0 € 4σ0 4σ0 8σ0 18
  19. 19. DoG画像からの極値検出 • DoG画像から極値(極大値or極小値)を検出 ‒ 注目画素のDoG値を画像スケール空間の26近傍と比較 DoG画像 3枚1組 平滑化画像 σ0 € kσ0 € k2 σ0 スケール € k3 σ0 ー ー ー 19
  20. 20. DoGによるスケール探索 × 2 10 DoG出力 原画像 σ0=4 σ1=6 12 41 σ2=10 53 47 σ3=16 100 3 σ4=25 103 ガウシアンフィルタ出力 最大 20
  21. 21. 極値の性質 200 200 Scale(σ) 極値σ1=5 DoG 400 400 極値σ2=10 Scale(σ) DoG σ2=2σ1 スケールに対する不変性を得る 21
  22. 22. SIFTアルゴリズム 1. キーポイント検出 2. 特徴記述 スケールとキーポイント検出 キーポイントのローカライズ オリエンテーションの算出 特徴量の記述 22
  23. 23. キーポイントのローカライズ • キーポイントに向かない点 ‒ エッジ上の点 ‒ DoG出力の小さい点 開口問題 ノイズの影響を受け易い →主曲率とコントラストにより削除 キーポイント候補点 (キーポイント数:1895点) コントラストによる候補点削除 (キーポイント数:421点) 主曲率による候補点削除 (キーポイント数:1197点) 23
  24. 24. 主曲率によるエッジ上のキーポイント削除 • エッジ上に存在するキーポイント候補点を削除 € D:DoG画像 € α:第1固有値 € β:第2固有値 € H = Dxx Dxy Dxy Dyy " # $ % & 'ヘッセ行列 から主曲率を算出 Edge EdgeFlat Corner α € β 2つの固有値α, βの関係からエッジ上の点を判別可能 α, βともに小さい:フラット α, βともに大きい:コーナー α>>β or β>>α :エッジ 24
  25. 25. 比率による固有値の表現 € Tr(H)2 Det(H) = (α + β)2 αβ = (γβ + β)2 γβ2 = (γ +1)2 γ € Tr(H) = α + β = Dxx + Dyy € Det(H) = αβ = DxxDyy − (Dxy )2 対角成分の和: 行列式: € γ:第1固有値と第2固有値の比率 € α = γβ 固有値の比率により決定 固有値を求めずにエッジ上の点を判別可能 € (α > β) 25
  26. 26. 固有値の比率によるしきい値処理 € Tr(H)2 Det(H) < (γth +1)2 γth しきい値: により決定 € γth しきい値以上 比率が大きい:エッジ上の点 しきい値未満 比率が小さい:キーポイント候補点 γth =10のとき:しきい値=12.1 キーポイント候補1895点 キーポイント候補1197点 26
  27. 27. キーポイントのサブピクセル位置推定 € D(x) = D + ∂D ∂x T x + 1 2 xT ∂2 D ∂x2 x € ∂D ∂x + ∂2 D ∂x2 ˆx = 0 € ∂2 D ∂x2 ˆx = − ∂D ∂x ある点 でのDoG関数 をテイラー展開 € x = (x,y,σ)T € D(x) x に関する導関数を求め0とする € ˆx € (x,y,σ)T :サブピクセル位置 変形 サブピクセル位置 ˆx = x y σ # $ % % % & ' ( ( ( = − ∂2 D ∂x2 ∂2 D ∂xy ∂2 D ∂xσ ∂2 D ∂xy ∂2 D ∂y2 ∂2 D ∂yσ ∂2 D ∂xσ ∂2 D ∂yσ ∂2 D ∂σ2 # $ % % % % % % % & ' ( ( ( ( ( ( ( −1 ∂D ∂x ∂D ∂y ∂D ∂σ # $ % % % % % % & ' ( ( ( ( ( ( • 3次元空間におけるパラボラフィッティング 27
  28. 28. • キーポイント候補点のサブピクセル位置でのDoG出力値を再計算 コントラストによるしきい値処理 € D(ˆx) = D + 1 2 ∂D ∂x T ˆx € D(ˆx)DoG出力値の絶対値 がしきい値未満(ローコントラスト) →ノイズの影響を受けやすいため削除 しきい値=0.03のとき(※ DoG出力値は0∼1) キーポイント候補1197点 キーポイント候補421点 28
  29. 29. SIFTアルゴリズム 1. キーポイント検出 2. 特徴記述 スケールとキーポイント検出 キーポイントのローカライズ オリエンテーションの算出 特徴量の記述 29
  30. 30. • キーポイントのオリエンテーション ‒ オリエンテーションの向きに正規化を行うことで回転に不変な 特徴量を算出 オリエンテーションの算出 € m(u,v) = (L(u +1,v) − L(u −1,v))2 + (L(u,v +1) − L(u,v −1))2 θ(u,v) = tan−1 L(u,v +1) − L(u,v −1) L(u +1,v) − L(u −1,v) $ % & ' ( ) キーポイントが検出された平滑化画像 の勾配強度 と
 勾配方向 を算出 € m(u,v) € θ(u,v) € L(u,v) 平滑化画像L(u, v) 30
  31. 31. 勾配方向 勾配方向ヒストグラムの作成 1 0 h 0 35勾配方向(36bin) × • 勾配情報から勾配方向ヒストグラムを作成 ‒ 全方向を36方向に離散化 ‒ キーポイントの持つスケールに対応する領域から勾配を算出 ‒ ガウス窓と勾配強度から重みをヒストグラムに加算 € m(u,v) = (L(u +1,v) − L(u −1,v))2 + (L(u,v +1) − L(u,v −1))2 θ(u,v) = tan−1 L(u,v +1) − L(u,v −1) L(u +1,v) − L(u −1,v) $ % & ' ( ) 勾配強度      = 重み ガウス窓 勾配方向ヒストグラム m(u,v) 31
  32. 32. オリエンテーションの割り当て • 勾配方向ヒストグラムからキーポイントの代表的な
 オリエンテーションを算出 ‒ ヒストグラムの最大値から80%以上 1 0 h 0 35勾配方向(36bin) 0.8 peak キーポイントへ割り当てる 32
  33. 33. オリエンテーションが複数の場合 • 1つのキーポイントに複数のオリエンテーションが
 割り当てられる ‒ 例:コーナー上の点 1 0 0 35 勾配方向(36bin) 0.8 peak1 peak2 2方向が割り当てられる 33
  34. 34. SIFTアルゴリズム 1. キーポイント検出 2. 特徴記述 スケールとキーポイント検出 キーポイントのローカライズ オリエンテーションの算出 特徴量の記述 34
  35. 35. 特徴量の記述:記述領域の方向の正規化 • 特徴量を記述する領域をキーポイントが持つオリエンテーショ ンに合わせて回転させる 回転に対する不変性を得る キーポイントのオリエンテーション 特徴量記述領域 35
  36. 36. 特徴量の記述:特徴ベクトル算出 特徴ベクトルを算出: 周辺領域を一辺4ブロックの計16ブロックに分割 ブロックごとに8方向(45度ずつ)の勾配方向ヒストグラム作成 4分割 4分割 8方向 ガウス窓 4ブロック 4ブロック 8方向=128次元 ヒストグラムの各方向が特徴ベクトルとなる 36
  37. 37. 特徴ベクトルの正規化 • 128次元の各特徴ベクトルの長さをベクトルの総和で正規化 照明変化に頑健な特徴量を得る 37
  38. 38. SIFT特徴量の不変性を得る過程 1. キーポイント検出 2. 特徴記述 ・スケールとキーポイント検出 ・キーポイントのローカライズ ・オリエンテーションの算出 ・特徴量の記述 →スケール変化に対する不変性 →ノイズに対する頑健性 →回転に対する不変性 →照明変化に対する頑健性 38
  39. 39. SIFTの対応点探索による画像のマッチング • 異なる画像間で抽出されたキーポイントの特徴量を
 比較することで画像間の対応点探索が可能 ‒ 128次元のSIFT特徴量間のユークリッド距離dを算出 画像I1 画像I2 :キーポイント :キーポイントの特徴量 d:68 d:47 d:54 d:12 39 k vkd(vkI1 , vkI2 ) = ⌅ ⇤ ⇤ ⇥ 128 i=1 (vkI1 i vkI2 i )2
  40. 40. SIFTの対応点探索による画像のマッチング 40 • 画像間のユニークな点を対応付け ‒ ソーティング後,距離が1番小さい点 と2番目に小さい点 を比較d1 d2 :最も距離が小さい点 :2番目に距離が小さい点 d1 d2 上記の式が成り立つ点→対応点 d1 < d2 0.6 画像I1 画像I2 d:68 d:47 d:54 d:12 12 < 47 × 0.6
  41. 41. SIFTの対応点探索による画像のマッチング 41 d1 < d2 0.6の場合 対応点数 :少 誤対応点数:少 対応点数 :多 誤対応点数:多 の場合d1 < d2 0.9
  42. 42. 対応点探索結果 スケール変化に影響を受けずに対応点の検出が可能 キーポイント
 998点 キーポイント
 3349点 対応点57点 42
  43. 43. 画像の変化に対するSIFT特徴量 • 参照用画像と変化を与えた画像のSIFT特徴量を比較 参照用画像 回転 スケール変化 輝度変化アフィン変化 43
  44. 44. 検証1:回転 参照用画像とのユークリッド距離:42.6 回転:45度 44
  45. 45. 検証2:スケール変化 参照用画像とのユークリッド距離:27.3 拡大:2.0倍 45
  46. 46. 検証3:輝度変化 参照用画像とのユークリッド距離:7.8 露光量:-3 46
  47. 47. 検証4:アフィン変化 参照用画像とのユークリッド距離:149.1 視点の変化 テ テ 47
  48. 48. 回転 スケール変化 輝度変化 アフィン変化 48
  49. 49. 画像の変化 ユークリッド距離 対応点数 輝度変化 7.8 118 スケール変化 27.3 102 回転 42.6 183 アフィン変化 149.1 24 検証結果 • アフィン変化のSIFT特徴量への影響 ‒ 画像に歪みの変化が含まれるためスケールと方向を正規化して
 特徴を記述するだけでは不十分 →回転・スケール変化・輝度変化に対しては対応点の検出が可能 49
  50. 50. SIFTの応用分野 • scholar.google.com1でSIFT論文2の引用件数を調査 ‒ 引用総数:911件3 • SIFTを用いたアプリケーションに関する論文数:291件 • 応用分野は4つに大別可能 1 http://scholar.google.com/ 2 D. Lowe, Distinctive image features from scale-invariant keypoints , IJCV 04 3 2007年5月22日時点 ・対応点探索による画像のマッチング:142件,49% ・特定画像を用いた物体認識:71件,24% ・画像分類:73件,25% ・特徴点追跡:5件,2% 50
  51. 51. 対応点探索による画像マッチング 51
  52. 52. 特定画像を用いたSIFTによる物体認識 1. テンプレートと入力画像の対応点 探索 2. テンプレートから検出された対応 点の位置・スケール・方向を一般 化ハフ変換により投票 3. 3点以上の投票点から入力画像と テンプレート間のアフィンパラメー タ算出 1 D. Lowe, Distinctive image features from scale-invariant keypoints ,IJCV04 Lowe1の物体認識アルゴリズム テンプレート 入力画像 認識結果 • 特定画像(テンプレート)と入力画像間でSIFT特徴の
 対応点探索により物体認識が可能 52
  53. 53. SIFTを用いた交通道路標識の認識 [高木 07] • 対応点のスケールとオリエンテーションの投票処理も利用 1. SIFT特徴量算出 2. 標識パターンと入力画像の対応点探索 3. 標識パターンの中心位置座標に投票
 (対応点のスケール,オリエンテーション情報を使用) 4. 投票数のしきい値処理により標識認識 入力画像 :スケール :回転 テンプレート画像 :特徴点 :基準点 Voting 53
  54. 54. SIFTを用いた交通道路標識の認識 高木 et al., 電学論C 09 54
  55. 55. Autostitchによるモザイク画像生成 http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html 55
  56. 56. Bag-of-Keypointsによる画像分類 • Bag-of-Keypointsのアプローチ ‒ 位置情報を無視した一般物体認識・画像分類手法 ‒ 文書分類手法であるBag-of-Wordsを画像に適用 Bag-of-Words: 文章を単語の集合とみなし,単語の頻度に文章の特徴を表現 Bag-of-Keypoints: 画像を局所特徴量の集合とみなし,その位置情報を無視して
 画像の認識を行う →局所特徴量としてSIFTを利用 56
  57. 57. • Bag-of-Keypoints : SIFT + SVM
 → 顔 → バイク → → → → 入力画像 入力画像 特徴抽出 特徴抽出 ベクトル量子化ヒストグラム ベクトル量子化ヒストグラム [G. Csurka et al., Visual Categorization with Bags of Keypoints , ECCV2004] Bag-of-Keypointsによる画像分類 [Csurka 08] 57
  58. 58. Bag-of-featuresの流れ 出力:顔 学習 識別 58
  59. 59. まとめ:SIFT • Scale-Invariant Feature Transform(SIFT) ‒ 画像の回転・スケール変化に不変,照明変化に頑健な
 特徴点の検出,特徴量の記述をする手法 • SIFTのアプリケーションへの利用 ‒ 対応点探索による画像のマッチング ‒ 特定画像を用いた物体認識 59
  60. 60. 2. SIFTアプローチの高精度化 ‒ PCA-SIFT ‒ GLOH(Gradient Location and Orientation Histogram) 60
  61. 61. PCA-SIFT [Ke 04] • SIFTで検出した局所領域の勾配情報に対して主成分分析
 (PCA)を適用 ‒ キーポイント検出はSIFTと同じ ‒ 特徴ベクトルは36次元(実験から決定) ‒ SIFT特徴の頑健性の向上 PCA 36次元の特徴量 キーポイント検出 勾配情報 61
  62. 62. SIFT vs PCA-SIFT • マッチング性能 • マッチング速度 SIFT 4/10 correct PCA-SIFT 9/10 correct PCA-SIFT 10/10 correct SIFT 6/10 correct SIFT PCA-SIFT Localization and I/O 2.63 Representation 1.59 1.64 Matching 2.2 0.58 処理時間の比較 [sec] (キーポイント数:2,200点) 62
  63. 63. GLOH [Mikolajczyk 05] • SIFT ‒ キーポイント周辺領域を正方形のグリッドに分割(4 4=16領域) ‒ それぞれのグリッド内で8方向の勾配方向ヒストグラム • 128次元の特徴量(4 4 8 = 128) • GLOH ‒ キーポイント周辺領域を対数極座標(log-polar)に変換 ‒ 半径方向に3分割,角度方向に8分割したグリッド領域 • キーポイントに近い領域は分割しない ‒ 各領域に対して16方向の勾配方向ヒストグラム( 272次元) ‒ PCAを用いて128次元に次元圧縮 63
  64. 64. 特徴量記述子 SIFT GLOH 周辺領域を対数極座標
 (log-polar)に変換 半径方向に3分割 角度方向に8分割 PCAにより128に次元圧縮 正方形のグリッド(4×4) 各グリッドで8方向の勾配 方向ヒストグラム 128次元の特徴量 64
  65. 65. 特徴量の評価実験 • マッチング性能 Descriptor recall 1-precision correct matches SIFT 0.24 0.56 177 PCA-SIFT 0.19 0.65 139 GLOH 0.25 0.52 192 キーポイント数:400点 入力画像1 入力画像2 65
  66. 66. まとめ:PCA-SIFTとGLOH • PCA-SIFT ‒ SIFTで検出した局所領域の勾配情報に対して主成分分析を適用 • SIFT特徴の頑健性の向上 • 次元圧縮によるマッチングの高速化 • GLOH ‒ 特徴量記述 • キーポイント周辺領域を対数極座標(log-polar)に変換 • 半径方向に3分割,角度方向に8分割したグリッド領域 • 各領域に対して16方向の勾配方向ヒストグラム • PCAを行い128次元に次元圧縮 66
  67. 67. 3. SIFTアプローチの高速化 ‒ SURF (Speeded Up Robust Features) 67
  68. 68. SIFTアプローチの高速化 • アルゴリズムの改良 ‒ SURF(Speeded Up Robust Features) [H. Bay et al., ECCV 06] ‒ Box filter [M. Grabner et al., ACCV 06] • GPGPU(General-Purpose computation on GPUs)の利用 ‒ GPU-Based Video Feature Tracking and Matching [S. N. Sinha et al., EDGE 06]
 68
  69. 69. SURF(Speeded Up Robust Features)の処理の流れ 1. キーポイント検出 ‒ キーポイント(特徴点)の検出 ‒ スケール探索 2. 記述 ‒ オリエンテーション ‒ 特徴量の記述 69
  70. 70. SURF(Speeded Up Robust Features) 1. SURFのキーポイント検出 2. SURFの記述 70
  71. 71. 処理の流れ 1. 近似ヘッセ行列の算出 ‒ Box filterによる近似 ‒ Integral Imageによる高速化 2. スケールスペースの構築 3. 極値探索によるキーポイント検出 入力画像 キーポイント極値探索近似ヘッセ行列の算出 •box filter •integral image •scale: σ スケールスペースの構築 •scale σの変更 71
  72. 72. • 2次微分の集合 • Lはガウシアンの各方向の2次微分を画像Iに畳み込んだ 応答値 ヘッセ行列 H(x, ) = Lxx(x, ) Lxy(x, ) Lxy(x, ) Lyy(x, ) ⇥ LyyLxx Lxy Lxx(x, ) = I(x) ⇤2 ⇤x2 g( ), Lyy(x, ) = I(x) ⇤2 ⇤y2 g( ), Lxy(x, ) = I(x) ⇤2 ⇤x⇤y g( ) 72
  73. 73. • エッジの種類 ‒ xy方向の両方の輝度差が大きいが極性が違う ‒ xy方向の片方が輝度差が大きい ‒ xy方向の両方の輝度差が大きい • 判別式 エッジの種類と判別式 ガウシアンの2次微分は計算コストが高いため判別に時間が掛かる det(H) = LxxLyy (Lxy)2 det(H) < 0 det(H) = 0det(H) > 0 73
  74. 74. Boxフィルタによる近似 • 実際に利用する判別式 Lyy w:近似誤差修正 det(Happrox) = DxxDyy (wDxy)2 Lxx Lxy -21 1 Dxx Dyy Dxy 74
  75. 75. 近似誤差修正 • 例えば... ‒ ガウシアンの2次微分のスケールσが1.2 ‒ box filterのサイズが9 |A|F = ⌅ ⇤ ⇤ ⇥ m i=1 n j=1 |aij|2 w = |Lxy(1.2)|F |Dyy(9)|F |Lyy(1.2)|F |Dxy(9)|F = 0.912... 0.9 75
  76. 76. • 矩形領域の輝度値の和を高速に算出可能 • 利点 ‒ 領域の数が多い場合 ‒ 領域が重なり合う場合 O 積分画像:Integral Image A B C D S I(i, j) (i, j) S = -B-C+DA 76
  77. 77. det(Happrox(x, 2)) • スケールσを増加し,複数の近似ヘッセ行列を作成 ‒ スケールσ : 1.2, 2.0, 2.8, 3.6 ‒ フィルタサイズ : 9 x 9, 15 x 15, 21 x 21, 27 x 27 スケールスペース Scale = Scale det(Happrox(x, 0)) det(Happrox(x, 1)) det(Happrox(x, 2)) 77
  78. 78. オクターブ • SIFT:画像のピラミッドを作成 ‒ フィルタのサイズが大きくなるにつれて処理時間が増加 • SURF:ピラミッドではなくフィルタサイズを変化 ‒ Integral Imageを使用することにより算出時間は一定 ‒ 処理時間がフィルタのサイズに依存しない 78
  79. 79. 極値探索 キーポイント検出例 • 26近傍で極値ならキーポイント(位置とスケール) Scale SIFTと同様の極値探索 79
  80. 80. SURF(Speeded Up Robust Features) 1. SURFのキーポイント検出 2. SURFの記述 80
  81. 81. オリエンテーションの算出 • キーポイントを中心とした6s(σ=2s)の領域から算出 ‒ Haar-Waveletを使用 • 各方向における応答値の和を算出してベクトルとして表現 • 和を算出する領域は60度の範囲 • 最大のベクトルをキーポイントのオリエンテーションとして決定 4s 4s 9 x y 6s 6s dy dx dy dx 81
  82. 82. 1. 記述範囲として20sの領域を選択 2. 領域を4 4(=16)ブロックに分割 3. 記述範囲をオリエンテーション方向に回転 方向の正規化 20s 20s 82
  83. 83. 特徴ベクトル算出 • 1つのブロックを4分割 • 分割した同じサイズのHaar-Waveletを作成 ‒ 応答値よりΣdx,Σdy,Σ¦dx¦,Σ¦dy¦を算出
 → 16分割×4次元=64次元 83
  84. 84. 速度とマッチングの比較 Detector しきい値 特徴点数 処理時間 Fast-Hessian Hessian-Laplace Harris-Laplace DoG 600 1000 2500 default 1418 1979 1664 1520 120 650 1800 400 Detectorの処理時間 [ms] U-SURF SURF SURF-128 SIFT 255 354 391 1036 Descriptorの処理時間 [ms] U-SURF SURF SURF-128 SIFT GLOH PCA-SIFT 正解率 83.8 82.6 85.7 78.1 78.3 72.3 対応点マッチングの正解率 [%] 84
  85. 85. まとめ:SURF • SIFTの精度を維持したまま高速マッチングが可能 ‒ Integral Imageの利用 ‒ Hessian行列算出にbox filtersの利用 85
  86. 86. SURF(PC)SIFT(PC) 速度の比較1 86
  87. 87. 速度の比較2 SIFTGPUSURF(PC) 87
  88. 88. まとめ:速度の比較 ハード 手法 処理時間(FPS) PC PC GPU1(GeForce GT220 ) GPU2(Tesla C1060) SIFT SURF SiftGPU SiftGPU 1 9 16 22 SIFTとSURFの処理速度の比較 SIFT   :http://vision.ucla.edu/~vedaldi/code/siftpp/siftpp.html SURF :OpenCV2.1 SIFT-GPU:http://cs.unc.edu/~ccwu/siftgpu/ 88
  89. 89. 公開されているソースコード • SIFT(実行形式ファイル):Lowe ‒ http://www.cs.ubc.ca/ lowe/keypoints/ • SIFT(C++):Vedaldi ‒ http://vision.ucla.edu/ vedaldi/code/siftpp/siftpp.html • SIFT(MATLAB):Vedaldi ‒ http://vision.ucla.edu/ vedaldi/code/sift/sift.html • PCA-SIFT:Ke ‒ http://www.cs.cmu.edu/ yke/pcasift/ • SURF : Herbert ‒ http://www.vision.ee.ethz.ch/ surf/ • GPGPUを用いたSIFT : Wu ‒ http://cs.unc.edu/ ccwu/siftgpu/ 89
  90. 90. SIFTのハードウェア化 全体を制御 (Linux) 解析結果を表示 画像入力 SIFTアルゴリズム 論理回路を実装 デモ・アプリケーション (画像検索) USBカメラから画像を入力し,その中からテンプレート画像に 存在する特徴点・特徴量データを検索することにより,テンプ レート画像の有無(個数のカウントも実施)を出力,表示する. 90
  91. 91. FPGA-SIFT • 標識画像検索アプリケーション(8FPS) VGA(640 480)画像から2,000点を125msで抽出 91
  92. 92. 4. SIFT以降のアプローチ ‒ キーポイント検出:FAST ‒ 特徴量記述:BRIEF, BRISK, ORB, CARD 92
  93. 93. SIFT以降のアプローチ 93
  94. 94. キーポイント検出 • SIFT(DoG) [ICCV1999] ‒ DoG画像からの極値探索による
 キーポイント(位置とスケール)検出 • SURF [ECCV2006] ‒ 近似Hessian-Laplaceによる
 キーポイント (位置とスケール) 検出 • FAST [ECCV2006] ‒ 決定木を利用したコーナー検出 • Cascaded FAST [SSII2013] ‒ カスケード状に並べた決定木による
 キーポイント(位置とスケールとオリエンテーション)検出 94
  95. 95. Harrisのコーナー検出 • ヘッセ行列を用いたコーナー検出 € H = Ix 2 IxIy IxIy Iy 2 " # $ % & 'ヘッセ行列 第一固有値 : α 第二固有値 : β Edge EdgeFlat Corner R 0 (α, βともに小さい) :フラット R << 0 (α>>β または β>>α) :エッジ R >> 0 (α, βともに大きい) :コーナー : x 軸方向の微分 : y 軸方向の微分 € Ix € Iy € R = Det(H) − k(α + β)2 判別式 ( k = 0.04 ∼ 0.06 ) α β 95
  96. 96. FAST: Features from Accelerated Segment Test [Rosten 10] • 注目画素 p の周辺の円周上の16画素を観測 注目画素 p がコーナーである条件 p の輝度値と比較して円周上の輝度値が連続してn 個以上が しきい値 t 以上 明るい,もしくは暗い (図中の破線) 96
  97. 97. 決定木を用いたFASTのコーナー検出 • 学習画像の画素を特徴ベクトル化 ‒ 注目画素 p 周囲の円周上の輝度値を3値化 注目画素 p の輝度値 円周上の輝度値 しきい値 97
  98. 98. 決定木の学習 • 決定木の構築 ‒ 特徴ベクトルによる3分木の学習 2 darker 学習画像 分岐ノード 特徴ベクトルによる分岐 末端ノード:最も到達したクラスを保存 コーナー画像 非コーナー画像 98
  99. 99. 決定木によるコーナー検出 • 決画像の各画素を入試てコーナーを判定 ‒ 末端ノードに保存されたクラスに分類 99
  100. 100. • SIFT(DoG), SURF, FASTの検出時間の比較 キーポイント検出 100
  101. 101. FASTにおける問題点 • 人工物からのコーナー検出
 
 
 
 
 • テクスチャが複雑な自然画像からのコーナー検出
 101 Harrisのコーナー検出結果 FASTのコーナー検出結果 Harrisのコーナー検出結果 FASTのコーナー検出結果 自然領域からコーナーらしくない点を多く検出
  102. 102. コーナー周辺領域のアピアランスの傾向 • FASTによって検出される点 102 コーナーらしい点 コーナーらしくない点
  103. 103. • 周囲{20, 16, 12}画素を参照するため3つの決定木を学習 ‒ 決定木をカスケード状に並べて高速化 Cascaded FAST [長谷川 13] 103 周囲12画素を 参照する決定木 オリエンテーション
 の類似性 オリエンテーション 算出 非コーナー非コーナー 非コーナー TRUE TRUE TRUE TRUE コーナー 非コーナー FALSE FALSE FALSE FALSE 入力画像 非コーナー TRUE TRUE TRUE TRUE コーナー FALSE TRUE 周囲16画素を 参照する決定木 周囲20画素を 参照する決定木 Step1 Step2 Step3
  104. 104. Step1. 3値化した輝度の連続性による条件 • 周囲{20, 16, 12}画素をBrighter, Similar, Darkerに分類 ‒ BrighterまたはDarkerがそれぞれ{11, 9, 6}画素以上
 連続する場合に注目画素をコーナー候補点とする 104 Sp x = ⌅⇤ ⌅⇥ Brighter Ip + t ⇥ Ip x Similar Ip t < Ip x < Ip + t Darker Ip x ⇥ Ip t :注目画素の輝度値 :周囲の画素の位置 :周囲の画素の輝度値 :しきい値t Ip x Ip x 11画素以上連続 9画素以上連続 6画素以上連続 コーナー候補点
  105. 105. Step2. オリエンテーションの算出 • 周囲の画素の始点から終点までの角度を2等分する方向を オリエンテーションとする 105 周囲20画素のオリエンテーション周囲16画素のオリエンテーション周囲12画素のオリエンテーション 始点 終点 0° = 341.6°= 315.0°= 326.3°
  106. 106. • 周囲{16, 12}画素のオリエンテーション間の角度αと
 周囲{20, 16}画素のオリエンテーション間の角度βを算出 ‒ αとβがそれぞれしきい値以下の場合に注目画素を
 コーナーとする Step3. オリエンテーションの類似性による条件 106 注目画素 = コーナー If α ≤ Th1 & β ≤ Th2 非コーナー Otherwise 1
  107. 107. コーナー検出結果 107 FAST Cascaded FAST Harris (コーナー数:22612) (コーナー数:19961) (コーナー数:1447) (コーナー数:1501) (コーナー数:1200) (コーナー数:1300)
  108. 108. スケールとオリエンテーションの獲得 • スケール ‒ 画像ピラミッドからコーナーを検出した際の画像解像度を利用
 • オリエンテーション ‒ 周囲{20, 16, 12}画素のオリエンテーションを利用
 →実験より周囲20画素のオリエンテーションが最も良い精度
 108 キーポイントのスケール キーポイントのオリエンテーション 小 大
  109. 109. キーポイント検出例 109
  110. 110. SIFT以降のアプローチ 110
  111. 111. バイナリコードの利点 • バイナリコードで特徴記述 ‒ SIFT:128次元 8bit (unsigned char) ‒ 数十∼数百個程度の0と1の列から成る短いバイナリコードで
 表現 • メリット ‒ 大幅な省メモリ化が可能 ‒ ハミング距離による高速な距離計算 010010000 010010101 000000101 XOR ハミング距離: 2 →SSE拡張命令で高速に演算可能 111
  112. 112. 112 BRIEF [Calonder, 10] • バイナリコードの生成アルゴリズム ‒ パッチをガウシアンフィルタにより平滑化 ‒ ランダムに選択されたペア(2点)の画素値の大小関係からバイナ リ列を生成 ガウシアン分布に基づきペアを決定 キーポイント パッチ
  113. 113. • ペアの選び方 • キーポイント検出 ‒ 画像ピラミッドを利用したスケールを獲得 ‒ パッチのオリエンテーションはそれぞれの工夫あり 直接的にバイナリ化:BRISK, ORB BRISK [Leutenegger 11] 規則的に選択 ORB [Rublee 11] 学習により選択 113
  114. 114. BRISK [Leutenegger 11] • 規則的な位置から2種類のペアを選択 114 長距離ペア
 (オリエンテーションの算出に使用) 短距離ペア
 (特徴量記述に使用)
  115. 115. • 長距離ペアの平均ベクトルをオリエンテーションとして 算出 • 短距離ペアの輝度の大小関係から特徴量記述 BRISKによる特徴量記述 115 長距離ペアのベクトル 方向:輝度が暗い→輝度が明るい 長さ:輝度差 短距離ペア オリエンテーション方向に回転 512bitのバイナリコードを生成
  116. 116. ORB [Rublee 11] • パッチ内のモーメントによりオリエンテーションを算出 • 学習により良いペアを選択 1. ビットの分散が大きい 2. ペア同士の相関が低い 116 パッチ
  117. 117. • パッチの画素値に関する0, 1次モーメントから重心を
 算出
 
 
 • パッチの中心と重心位置との方向をオリエンテーション として算出 ORBにおけるオリエンテーション 117 パッチ O C OC パッチの中心 OC C O パッチの重心 オリエンテーション mpq = xp yq I(x, y) C = m10 m00 , m01 m00 ⇥ mpq C :モーメント :重心位置
  118. 118. b1 b2 b3 b4 b5 b6 b7 b8 1. 各バイナリコードのビットの分散が大きくなるように
 選択 ORBにおけるペアの選択方法 118 k5 k4 k3 k2 k1 0 0 0 1 0 0 1 0 1 0 1 0 1 1 0 1 1 0 1 0 0 0 1 1 0 0 1 0 1 1 0 1 1 0 1 0 1 0 1 0 分散が小さい:悪 分散が大きい:良 k1 k3 k5 k2 k4 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8
  119. 119. 2. バイナリコードのビット間の相関が小さくなるように
 選択 0 0 0 1 0 0 1 0 1 0 1 0 1 1 0 1 1 0 1 0 0 0 1 1 0 0 1 0 1 1 0 1 1 0 1 0 1 0 1 0 ORBにおけるペアの選択方法 119 相関が大きい:悪 相関が小さい:良 k5 k4 k3 k2 k1 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8 k1 k3 k5 k2 k4 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8 b1 b2 b3 b4 b5 b6 b7 b8
  120. 120. ORBにおけるペアの選択方法 • Greedy Algorithmによりペアの位置を決定 ‒ 学習画像から300,000点のキーポイントを抽出 ‒ 各キーポイントのパッチ内の全てのペア(205,590通り)を観測 ‒ ビットの分散が最大かつビット間の相関が最小となる
 256個のペアを選択 120 相関大小 ビットの分散が大きく ビット間の相関が小さい ペアを選択 ビットの分散が大きな ペアを選択
  121. 121. 間接的にバイナリ化:CARD [Ambai 11] • 勾配情報からバイナリコードを生成 ‒ LUTによる勾配特徴の高速計算 ‒ 特徴ベクトルのバイナリ変換を高速化 相当し,QLPQM L1 P}QQ が量子化レベルの変換に相当する (10)式は複雑に見えるが,qP2, 3Q と a がそれぞれ りの値しか取りえないことに着目すると,図 10 に示 うに,M-M のテーブルで表現できることが分かる たがって,図 9,10 に示した 2 種類のテーブルを用い とで,高速に勾配特徴量を算出できるようになる. (b)バイナリコード化 特徴ベクトルをバイナリコードに変換するというア ーチは,機械学習や web,大規模検索の分野で活発 究されている.これまでの研究により,多くのバイナ ード化手法は次の形で書けることが分かっている. b/sgn PfPWT d+cQQ (1 d は D 次元の特徴ベクトル,b は長さ B ビットのバ リコード,c はオフセットベクトル,W は D 行 B 列 換行列,fP}Q は任意の関数である(d の平均がゼロベ 1. バイナリコードに変換前の距離(ベクトル間角度) と変換後の距離(ハミング距離)  がなるべく一致するように W を最適化 2. 各要素が,+1, 0, -1 のうちいずれかの値のみを取るという制約のもとでWを最適化  →和演算で構成できるため特徴記述が高速化 121
  122. 122. 2画像間の対応付けによる速度の比較 • OpenCV 2.4.3を使用 122
  123. 123. ソースコード&アプリの公開 • FAST:Features from Accelerated Segment Test - OpenCV - iOSアプリ:FAST Corner • BRIEF:Binary Robust Independent Elementary Features ‒ OpenCV • BRISK:Binary Robust Invariant Scalable Keypoints ‒ http://www.asl.ethz.ch/people/lestefan/personal/BRISK • ORB:Oriented FAST and Rotated BRIEF ‒ OpenCV ver2.3 • CARD:Compact And Real-time Descriptors ‒ http://cvlab.jp/ ‒ iOSアプリ:CARDesc 123
  124. 124. 解説記事:局所勾配特徴抽出技術-SIFT以降のアプローチ- 画像技術の最前線 局所勾配特徴抽出技術* ―SIFT 以降のアプローチ― Gradient-based Image Local Features 藤吉弘亘** 安倍 満*** Hironobu FUJIYOSHI and Mitsuru AMBAI Key words image local feature, SIFT, SURF, FAST, RIFF, BRIEF, BRISK, ORB, CARD 1.は じ め に 画像のスケール変化や回転に不変な特徴量を抽出する Scale Invariant Feature Transform(SIFT)1) は,特定物体 認識だけではなく画像合成や画像分類など多くのアプリケ ーションに利用されている.SIFT の処理過程は,キーポ イント検出と特徴量記述の二段階からなり,各処理は以下 の流れとなる. キーポイント検出 ] 1.スケールとキーポイント検出 2.キーポイントのローカライズ 特徴量記述 ] 3.オリエンテーションの算出 4.特徴量の記述 キーポイント検出処理では,Difference-of-Gaussian (DoG)処理によりキーポイントのスケールと位置を検出 する.特徴量記述では,スケール内の勾配情報からオリエ ンテーションを求め,キーポイント周辺領域(パッチ)を オリエンテーション方向に回転させて特徴量を記述するこ とで,回転に対して不変な特徴量を抽出する.SIFT で は,キーポイント検出処理における DoG 画像の生成や, 特徴量記述処理における勾配ヒストグラム算出の計算コス トが高いという問題がある.この問題を解決する高速化の 手法として,2006 年に SURF2) が提案された.SURF で は,各処理において積分画像を利用した Box フィルタを 用いることで,SIFT と比較して約 10 倍の高速化を実現 した.近年では,高性能な PC だけではなく携帯端末等の 小型デバイスでの利用を考慮し,キーポイント検出と特徴 量記述の各処理を高速化および省メモリ化した手法が提案 されている.図 1 に,キーポイント検出と特徴量記述に おける SIFT 以降の変遷を示す.キーポイント検出処理で は,コーナーに特化することで高速かつ省メモリを実現し た FAST3) が提案された.FAST は,後述の特徴量記述手 法と組み合わせて使用される.特徴量記述の処理において は,SIFT や SURF と同様に勾配特徴量に基づく RIFF4) が 2010 年に提案された.SIFT では 128 次元,SURF で は 64 次元,RIFF では 100 次元のベクトルが抽出される. 高次元のベクトル特徴量は,高い識別能力をもつ反面,メ モリ消費量が多く,2010 年以降ではベクトル特徴量の代 わりにバイナリコードで特徴量を記述する手法が提案され ている.パッチからバイナリコードを直接生成する手法と して BRIEF5) ,BRISK6) ,ORB7) が,間接的にバイナリコ ードを生成する手法として CARD8) が提案された.このよ うに,SIFT と SURF 以降では,キーポイント検出および 特徴量記述において,高速化と省メモリ化を同時に実現す る手法が展開されている. 本稿では,SIFT や SURF 以降のアプローチが,キーポ イント検出と特徴量記述の各処理おいて,どのように展開 されてきたかを各手法のアルゴリズムとともに解説する. 2.キーポイント検出 SIFT では,複数の DoG 画像からキーポイントを検出 するのと同時に,キーポイントを中心とした特徴量記述を 行う範囲を表すスケールも検出する.DoG 画像の作成は 計算コストが高い上,複数の DoG 画像を保持するための メモリを要するという問題点がある.キーポイント検出の 高速化として,SURF では積分画像を利用した Box フィ ルタを用い高速化を実現した.Edward らが提案した 精密工学会誌 Vol.77, No.12, 2011 1109 * 原稿受付 平成 23 年 10 月 3 日 ** 中部大学工学部情報工学科(愛知県春日井市松 本町 1200) *** (株)デンソーアイティーラボラトリ(東京都渋 谷区二丁目 15 番 1 号渋谷クロスタワー 25 階) 藤吉弘亘 1997 年中部大学大学院博士後期課程修了.博士 (工学).1997∼2000 年米カーネギーメロン大学 ロボット工学研究所 Postdoctoral Fellow.2000 年 中 部 大 学 講 師,2004 年 同 大 准 教 授 を 経 て 2010 年 よ り 同 大 教 授. 2005∼2006 年米カーネギーメロン大学ロボット工学研究所客員研究員. 2010 年計算機視覚,動画像処理,パターン認識・理解の研究に従事.2005 年度ロボカップ研究賞.2009 年度情報処理学会論文誌コンピュータビジョ ンとイメージメディア優秀論文賞.2009 年度山下記念研究賞.情報処理学 会,電子情報通信学会,電気学会,IEEE 各会員. 安倍 満 2007 年慶應義塾大学大学院博士後期課程修了.博士(工学).2007 年株式 会社デンソーアイティーラボラトリシニアエンジニア.2011 年画像センシ ングシンポジウム(SSII)オーディエンス賞.2011 年画像の認識・理解シ ンポジウム(MIRU)インタラクティブセッション賞.パターン認識・理 解,コンピュータビジョンの研究に従事.電子情報通信学会,IEEE 各 会員. 藤吉, 安倍: 局所勾配特徴抽出 -SIFT以降のアプローチ- 精密工学会誌 2011年12月 77巻12号 pp.1109-1116 124
  125. 125. まとめ:SIFT以降のアプローチ • キーポイント検出(FAST, Cascaded FAST) ‒ 決定木による高速なコーナー検出を実現 • 特徴量記述(BRIEF, BRISK, ORB, CARD) ‒ バイナリコードによる特徴記述 ‒ 特徴量の省メモリ化と距離計算の高速化を実現 125
  126. 126. 参考文献1 •1. SIFT(Scale-Invariant Feature Transform) - [Lowe 04] David G.Lowe, Distinctive image features from scale-invariant keypoints , Int.Journal of Computer Vision,Vol.60, No.2, pp.91-110, 2004. - [高木 08] 高木雅成, 藤吉弘亘, SIFT特徴量を用いた交通道路標識認識 , 電気学会 論文誌, Vol. 129-C, No. 5, pp. 824-831, 2009. - [都築 08] 都築勇司, 藤吉弘亘, 金出武雄, SIFT特徴量に基づくMean-Shift探索に よる特徴点追跡 , 情報処理学会論文誌, Vol.49, No.6, pp.35-45, 2008. - [Csurka 08] Csurka, G., Bray, C., Dance, C. and Fan, L. Visual categorization with bags of keypoints , Workshop on Statistical Learning in Computer Vision,European Conference on Computer Vision, pp.1‒22, 2004. 126
  127. 127. 参考文献2 •2. SIFTアプローチの高精度化 - [Ke 04] Yan Ke, Rahul Sukthankar, PCA-SIFT: A more distinctive representation for local image descriptors , Proc. of CVPR, pp.506-503, 2004. - [Mikolajczyk 05] Krystian Mikolajczyk and Cordelia Schmid, GLOH A performance evaluation of local descriptors , IEEE tran. On Pattern Analysis and Machine Intelligence, pp.1615-1630, 2005. •3. SIFTアプローチの高速化 - [Bay 06] H. Bay, T. Tuytelaars, and L. Van Gool, SURF: Speeded Up Robust. Features , In ECCV , pp.404-417, 2006. - [Grabner 06] M. Grabner, H. Grabner, H. Bischof, Fast approximated SIFT , Proc. of ACCV, pp.918-927, 2006. - [Sinha 06] Sudipta N Sinha, Jan-Michael Frahm, Marc Pollefeys and Yakup Genc, GPU-Based Video Feature Tracking and Matching , EDGE 2006, workshop on Edge Computing Using New Commodity Architectures, Chapel Hill, 2006. 127
  128. 128. 参考文献3 •4. SIFT以降のアプローチ - [Rosten 10] E. Rosten, R. Porter, T. Drummond, Faster and Better: A Machine Learning Approach To Corner Detection , Pattern Analysis and Machine Intelligence, pp. 105-119, 2010. - [M.Calonder 10] M.Calonder, V.Lepetit and C.Strecha and P.Fua, BRIEF: Binary Robust Independent Elementary Features , In Proc. European Conference on Computer Vision, pp.778-792, 2010. - [Leutenegger 11] S.Leutenegger, M.Chli and R.Y.Siegwart BRISK: Binary Robust Invariant Scalable Keypoints , In Proc. International Conference on Computer Vision, 2011. - [Rublee 11] E.Rublee, V.Rabaud, K.Konolige and G.Bradski ORB: an efficient alternative to SIFT or SURF , In Proc. International Conference on Computer Vision, 2011. - [Ambai 11] M.Ambai and Y.Yoshida CARD: Compact And Real-time Descriptors , In Proc. International Conference on Computer Vision, 2011. - [長谷川 13] 長谷川昂宏, 山内悠嗣, 藤吉弘亘, 安倍満, 吉田悠一, Cascaded FAST によるキーポイント検出 , 画像センシングシンポジウム, 2013. 128
  • hideshiuematsu

    Jun. 23, 2021
  • KenjiOkamoto6

    Mar. 3, 2021
  • ssuser9f21f6

    Dec. 9, 2020
  • YutoMitsui1

    Nov. 24, 2020
  • AkihikoKaino

    Oct. 13, 2020
  • makitomiyano

    Oct. 6, 2020
  • hisashiiuchi

    Sep. 7, 2020
  • HarukiInoue1

    Aug. 27, 2020
  • ssuser60451e

    Aug. 28, 2019
  • TakaoKyokuno

    May. 23, 2019
  • junichimuramoto18

    Sep. 17, 2018
  • DairokuSekiguchi

    Aug. 28, 2018
  • ssuser648e31

    Jul. 16, 2018
  • ShotaHirama

    Aug. 1, 2017
  • kyoneyama

    Jul. 14, 2017
  • kuwaken

    Jul. 11, 2017
  • nakamuraryoichi7

    Jun. 27, 2017
  • PeterHan3

    Jun. 12, 2017
  • HiroyasuInoko

    Oct. 4, 2016
  • ryuhmd

    May. 2, 2016

Vues

Nombre de vues

33 768

Sur Slideshare

0

À partir des intégrations

0

Nombre d'intégrations

3 008

Actions

Téléchargements

330

Partages

0

Commentaires

0

Mentions J'aime

52

×