2. 紹介する論文
Deformable Model Fitting by Regularized Landmark
Mean-Shift
Jason M. Saragih, Simon Lucey, and Jeffrey F. Cohn
International Journal of Computer Vision 2010
Constrained Local Model (CLM)を用いた顔特徴追
跡の一手法
http://web.mac.com/jsaragih/FaceTracker/FaceTracker.html
4. Point Distribution Model
顔の個人差や表情変化を含んだ顔形状を表すモデル
2.顔サンプルデータから主成分分析によって基底を求める
・・・
PCA
Φ0 Φ1 Φ2 Φ3
n
X qi Φi
i 0
5. Point Distribution Model
顔の個人差や表情変化を含んだ顔形状を表すモデル
3.グローバルな動きも含めたモデルの構築
X sR( X Φq) t (1)’
顔の特徴 平行移動
スケール 主成分
点座標 (X,Y)
特徴点座
顔の変形を
標平均
回転 表す係数
(ヨー/ピッチ/
ロール)
6. Point Distribution Model
顔の個人差や表情変化を含んだ顔形状を表すモデル
3.グローバルな動きも含めたモデルの構築
X sR( X Φq) t (1)’
顔特徴点の位置を表すパラメータ
p s, R, t, q
スケール、回転、平行移動、顔の変形
7. Constrained Local Model
特徴点の位置を顔画像にFittingしたい
以下の誤差関数を最小化するパラメータpを求める
n
Q(p) R(p) Di (xi ; I ) (2)
誤差関数 i 1
顔の変形の
大きさに対す pで求めた画像と
るペナルティ 実画像との誤差
(正則化項)
xi ( xi , yi ) T
8. Active Appearance Model
n
Q(p) R(p) Di (xi ; I ) (2)
i 1
pで求めた画像と
実画像との誤差
Active Appearance Modelの場合
顔の領域全体を使ってエラーを評価
9. Constrained Local Model
n
Q(p) R(p) Di (xi ; I ) (2)
i 1
pで求めた画像と
実画像との誤差
Constrained Local Modelの場合
各特徴点の周辺を用いてエラーを評価
10. PDMの確率的な解釈
n
Q(p) R(p) Di (xi ; I ) (2)
i 1
n
ln p(p | {li }in1 , I ) ln p(p) ln p(li | xi , I ) C
i 1
負の対数
n
p(p | {li 1} , I ) p(p) p(li 1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
11. PDMの確率的な解釈
n
p(p | {li 1} , I ) p(p) p(li 1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
顔の変形の大きさに テンプレートマッチン
対するペナルティ グで求めた類似度
12. PDMの確率的な解釈
n
p(p | {li 1} , I ) p(p) p(li 1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
p(p)
13. PDMの確率的な解釈
n
p(p | {li 1} , I ) p(p) p(li 1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
事前分布=正規分布
p(p) N (q;0, Λ) Λ diag{[1;; m ]} (10)
固有値
尤度関数=ロジスティック回帰
1
p(li 1 | xi , I ) (6)
1 exp{li Ci (xi ; I )}
パッチと画像の位置xにおける類似度
14. PDMの確率的な解釈
尤度関数=ロジスティック回帰
1
p(li 1 | xi , I ) (6)
1 exp{li Ci (xi ; I )}
パッチと画像の位置xにおける類似度
Ci (xi ; I ) w P(W (xi ; I )) bi
T
i (8)
位置xにおける正規化
された画像パッチ
SVMで学習したゲインとバイアス
15. 特徴点のFitting方法
尤度関数=ロジスティック回帰
1
p(li 1 | xi , I ) (6)
1 exp{li Ci (xi ; I )}
パッチと画像の位置xにおける類似度
xi周辺のロジスティック回帰の応答
単純に探索範囲の応答のピークを探せば良い
のか?
• ピークが特徴の位置と一致するとは限らない
• 小さなパッチの類似度では曖昧性が残る
• アパーチャ問題
17. カーネル密度推定
p(li 1 | xi , I )
yi
1
1 exp{li Ci (y i ; I )}
(6)
y i ψ x
yi N (y i ; xi , I) (32)
ガウスカーネル
yi ψx
18. カーネル密度推定
p(li 1 | xi , I )
yi
1
1 exp{li Ci (y i ; I )}
(6)
y i ψ x
yi N (y i ; xi , I) (32)
ガウスカーネル
yi ψx
y i xi ε i
PDMで使用されない主成分
観測値 真の値 ノイズ
の固有値の平均
N
1
εi N (εi ;0, I) 1i
N m i m
19. MAP推定
n
p(p | {li 1} , I ) p(p) p(li 1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
事前分布=正規分布
p(p) N (q;0, Λ) Λ diag{[1;; m ]} (10)
固有値
尤度関数
p(li 1 | xi , I )
y i ψ x
yi N (y i ; xi , I) (32)’
パッチと画像の位置yにおける類似度
20. MAP推定
n
p(p | {li 1} , I ) p(p) p(li 1 | xi , I )
n
i 1
(3)
i 1
パラメータpの事後分布 pの事前 位置xに特徴点iが存
分布 在する確率(尤度)
事前分布=正規分布
p(p) N (q;0, Λ) Λ diag{[1;; m ]} (10)
固有値
尤度関数
p(li 1 | xi , I )
y i ψ x
yi N (xi ; y i , I) (32)
xとyを交換しても値は同じ
21. MAP推定
n
p(p | {li 1} , I ) p(q)
n
i 1
i 1 y i ψ x
yi N (xi ; y i , I) (33)’
パラメータpの事後分布 qにのみ
位置xに特徴点iが存在する
依存
確率分布
事前分布=正規分布
p(p) N (q;0, Λ) Λ diag{[1;; m ]} (10)
固有値
尤度関数
p(li 1 | xi , I )
y i ψ x
yi N (xi ; y i , I) (32)
22. MAP推定
n
p(p | {li 1} , I ) p(q)
n
i 1
i 1 y i ψ x
yi N (xi ; y i , I) (33)’
パラメータpの事後分布 qにのみ
位置xに特徴点iが存在する
依存
確率分布
最大化するパラ
メータpを求めたい
EMアルゴリズム
23. MAP推定のEMアルゴリズム
事後分布 p(p | I ) を最大化したい
パラメータ データ
1. パラメータの初期値 p old を選ぶ
2. Eステップ
p(Y | pold , I ) を計算する
潜在変数
3. Mステップ
p new arg min Q(p, p old ) でpを更新する
p
Q(p, p old ) Ey lnp(p) p(Y, I | p)
p(Y | p old , I ) ln p(Y, I | p) ln p(p)
Y Eステップで計算
4. 収束するまで2と3を繰り返す
24. EMアルゴリズムによるFitting
Eステップ
old
p(Y | p , I ) を計算する
潜在変数
Y y1 ,, y n
p( y i | p , I ) p( y i | x i , I )
old old
pが求まるとxも一意に求まる
p(y i ) p(x i | y i , I ) y i N (xi ; y i , I)
old old
ベイズの定理から
25. EMアルゴリズムによるFitting
Eステップ
old
p(Y | p , I ) を計算する
潜在変数
Y y1 ,, y n
p( y i | p , I ) p( y i | x i , I )
old old
y N (xi ; y i , I)
old
i
wy i (34)
N (x i ; z i , I)
old
zi
z i ψ x
正規化
26. EMアルゴリズムによるFitting
Mステップ
p new arg min Q(p, p old ) でpを更新する
p
Q(p, p old ) p(Y | p old , I ) ln p(Y, I | p) ln p(p)
Y
n
old n
p(y i | xi , I ) ln p(y i , I | xi ) ln p(q)
Y i 1 i 1
n n
wy i ln y i N (xi ; y i , I) ln N (q;0, Λ) C
Y i 1 i 1
n wy i
q Λ 1 xi y i
2 2
(35)
i 1 y i ψ i
27. Q関数の最小化
Mステップで以下の式を最小化したい
n wy i
QKDE (p) q xi y i
2 2
Λ 1 (35)
i 1 y i ψ i
ガウス・ニュートン法で反復的に最小化を行う
1. パラメータ更新量Δpの計算
~ 1 T 1 ~ 1
p ( Λ J J) ( Λ p J v)
T
(36)
2. pの更新
p p p
28. Q関数の最小化
パラメータ更新量Δpの計算
~ 1 T 1 ~ 1
p ( Λ J J) ( Λ p J v)
T
(36)
1 1
0
xi ~ 1
J ij Λ
p j
0 1
m
y i N (xic ; y i , I)
vi y i xic
y ψ z i N (xic ; z i , I)
(37)
i i z i ψ i
Mean-Shift
29. Q関数の最小化
Mean-Shift
y i N (xic ; y i , I)
vi y i xic (37)
y ψ z i N (xi ; z i , I)
c
i i z i ψ i 現在の特徴点i
の位置
現在の特徴点iの周辺の応答の重心
重心
vi X 繰り返し処理でカーネル密
X 度分布のピークを求める!
現在の特徴点
31. 追跡アルゴリズムまとめ
以下をパラメータpが収束するまで繰り返す。
3. Mean-Shiftベクトルを計算
y N (x ; y i , I)
c
vi xc
i
i
yi (37)
y ψ
i i z ψ z N (xi ; z i , I)
i i
c
i
i
4. PDMのパラメータをアップデート
~ 1 T 1 ~ 1
p ( Λ J J) ( Λ p J v)
T
(36)
5. パラメータと特徴位置の更新
p p p xi x J i p
c
i
(12)
32. 部分的なオクルージョンの対策
特徴量と画像パッチとの類似度が大きく外れた場合は、
オクルージョンとみなして追跡を行わない。
n wy i
QKDE (p) q xi y i
2 2
Λ 1 (35)
i 1 y i ψ i
n
QKDE (p) q w ( x i y i ; )
2 2
Λ 1 yi (38)
i 1 y i ψ i
M推定:
外れ値に対し重みを下げる
例: Gemen-McClure関数
33. 事前計算による効率化
pを更新するごとにMean Shift(34)を計算し直す必要
y N (xi ; y i , I)
wy i
z N (xi ; z i , I)
i (34)
i
z i ψ x
事前に各グリッド毎の移動ベクトルvを計算しておく
34. 実験1 静止画に対する実験
以下のデータセットを用いて実験
I. CMU Pose, Illumination and Expressionデータベース
(MultiPie)
特徴点:68ポイント
339人の被験者の762枚の正面顔画像を使用
II. XM2VTSデータベース
特徴点:68ポイント
295人の被験者の2360枚の正面顔画像を使用
4-foldの交差検定で評価実験