Lucas kanade法について紹介

1. Lucas-Kanade法
西村仁志
2017年2月20日

2. 対象追跡研究の推移（引用）
サーベイランス
見えに基づく手法
屋外・環境変動への対応
1980年 1990年 2000年
オフライン処理 リアルタイム処理
パターン認識に基づく手法
クラスタリングに基づく手法
・1998 M. Isard, A. Blake
ConDensation
・2000 D,. Comaniciu P. Meer
Mean-Shiftを使った非剛体追跡
・1981 Lucas-Kanade
勾配法(レジストレーション）
・1980後半 カルマンフィルタの利用
・1992 J. Boyce, D. Toulson
α-β-γトラッカー
・1995 モンテカルロフィルタの利用
bootstrap filter
・1991 Tomasi-Kanade
勾配法（特徴点追跡）
・1971 航空機画像解析
（雲の動きの解析）
動きのモデル化
時系列フィルタリング
・1968 更新テンプレートマッチング
・1999 EMベースの追跡
・1975 K. Fukunaga
Mean-Shift
・2001 SVMを使った追跡
Mean-Shift
軍需関係？ 個人認識、人物監視
基盤となる要素技術の発展
ハードウェアの発展
全探索 勾配法 予測に基づく手法

3. Lucas-Kanade法（LK法）とは
・1981年、Bruce D. Lucasと金出武雄によって提案された、
オプティカルフローを求める手法
“An iterative image registration technique with an application to stereo vision”
・OpenCVでは、calcOpticalFlowPyrLK関数として実装
・物体追跡の代表的な手法
勉強会のテーマにした理由：
CVの教科書に必ず出てくるような有名な手法なので、
物体追跡を研究している身としては、一度勉強しておきたかった

4. 金出武雄
LK法

5. オプティカルフローとは
動画中の隣り合うフレームの間で、画像1の各画素が画像2の
どの画素に移動したのか(フローベクトル)を表す
物体追跡にも利用される

6. 従来手法：全探索
類似度算出
類似性が
高い！
ある位置において・・・
これを全ての位置で行う
→計算コストが膨大！

7. 勾配法
輝度: 𝐼 𝑥, 𝑦, 𝑡 輝度: 𝐼 𝑥 + Δ𝑥, 𝑦 + Δ𝑦, 𝑡 + Δ𝑡
+Δ𝑡
同じと仮定！（輝度の不変性）
目標：
∆𝒙
∆𝒕
,
∆𝒚
∆𝒕
を求める ※各点(𝑥, 𝑦)において
大方針：輝度の空間的、時間的な勾配を用いて
山登りすることで、オプティカルフローを求める

8. 制約：移動量小
右辺 = 𝐼 𝑥 + Δ𝑥, 𝑦 + Δ𝑦, 𝑡 + Δ𝑡
= 𝐼 𝑥, 𝑦, 𝑡 +
𝜕𝐼
𝜕𝑥
∆𝑥 +
𝜕𝐼
𝜕𝑦
∆𝑦 +
𝜕𝐼
𝜕𝑡
∆𝑡 + ⋯
右辺をテイラー展開する
𝐼 𝑥, 𝑦, 𝑡 = 𝐼 𝑥, 𝑦, 𝑡 +
𝜕𝐼
𝜕𝑥
∆𝑥 +
𝜕𝐼
𝜕𝑦
∆𝑦 +
𝜕𝐼
𝜕𝑡
∆𝑡
よって、
= 0
無視（注目点の移
動量は小さい）
𝐼 𝑥, 𝑦, 𝑡 = 𝐼 𝑥 + Δ𝑥, 𝑦 + Δ𝑦, 𝑡 + Δ𝑡

9. 𝜕𝐼
𝜕𝑥
∆𝑥 +
𝜕𝐼
𝜕𝑦
∆𝑦 +
𝜕𝐼
𝜕𝑡
∆𝑡 = 0
𝜕𝐼
𝜕𝑥
∆𝑥
∆𝑡
+
𝜕𝐼
𝜕𝑦
∆𝑦
∆𝑡
+
𝜕𝐼
𝜕𝑡
= 0
両辺を∆𝑡で割る
𝐼 𝑥 𝒗 𝑥 + 𝐼 𝑦 𝒗 𝑦 + 𝐼𝑡 = 0
便宜上、書き換える
求めたいオプティカルフロー（速度ベクトル）

10. 窓問題
𝐼 𝑥 𝒗 𝑥 + 𝐼 𝑦 𝒗 𝑦 = −𝐼𝑡
未知数が2つなので解けない
＝Aperture Problem(窓問題)
制約を増やす必要がある！
・Horn-Schunck法（滑らかさを制約に）
・Lucas-Kanade法（空間的整合性を制約に）

11. Lucas-Kanade法（制約）
𝐼 𝑥 𝒗 𝑥 + 𝐼 𝑦 𝒗 𝑦 = −𝐼𝑡
制約：周辺の点は同じように動く
𝐼 𝑥 𝑞1 𝒗 𝑥 + 𝐼 𝑦 𝑞1 𝒗 𝑦 = −𝐼𝑡 𝑞1
𝐼 𝑥(𝑞2)𝒗 𝑥 + 𝐼 𝑦(𝑞2)𝒗 𝑦 = −𝐼𝑡(𝑞2)
⋮
𝐼 𝑥(𝑞 𝑛)𝒗 𝑥 + 𝐼 𝑦(𝑞 𝑛)𝒗 𝑦 = −𝐼𝑡(𝑞 𝑛)
𝐴𝒗 = 𝑏
まとめると

12. Lucas-Kanade法
（最小二乗法による解）
𝒗 = (𝐴 𝑇
𝐴)−1
𝐴 𝑇
𝑏
𝐴𝒗 = 𝑏
𝐴 𝑇
𝐴𝒗 = 𝐴 𝑇
𝑏
𝐴 𝑇 𝐴の逆行列が存在するとき、
最小二乗法による解
・|𝐴 𝑇
𝐴|が大きい
・𝐴 𝑇 𝐴の2つの固有値𝜆1, 𝜆2が微小でない
・𝜆1/𝜆2が大きすぎない
良い解

13. Lucas-Kanade法
（山登り法による解）
𝒗 = (𝐴 𝑇
𝐴)−1
𝐴 𝑇
𝑏
最小二乗法による解
これは「注目点の移動が小さい」ことを仮定した場合
→山登り法で、より良い近似解を求める

14. 次に読むべき論文
・Detection and Tracking of Point Features
Carlo Tomasi, Takeo Kanade
この特徴点追跡手法に加えて、特徴点抽出手法も用
いる＝KLTトラッカー！

15. 参考
・Bruce D. Lucas, Takeo Kanade, ”An iterative image registration
technique with an application to stereo vision”
・http://www.ieice-hbkb.org/files/02/02gun_02hen_04.pdf
・http://opencv.blog.jp/algorithm/opticalflow
・http://qiita.com/icoxfog417/items/357e6e495b7a40da14d8
・http://www.wakayama-u.ac.jp/~wuhy/CV12.pdf