17th cvsaisentan takmin

第17回CV勉強会＠関東発表資料
大規模確率場と確率的画像処理
3,4節
2011/11/06
Presented by takmin

おさらい
• 加法定理と乗法定理
加法定理
p( X )   p( X , Y )
Y
乗法定理
p( X , Y )  p(Y | X ) p( X )

おさらい
• 加法定理と乗法定理

おさらい
• 最尤推定
N
p(x | θ)   p( xn | θ)
尤度 n 1
観測データパラメータ
サンプル

データが観測されたとき，そのデータが発生する確
率（尤度）を最大化するパラメータを求めること

おさらい
• ベイズ推論
p(x | θ) p(θ)
p(θ | x) 
p ( x)
事後分布
N
 p(x | θ) p(θ)  p(θ) p( xn | θ)
n 1
尤度事前分布

データが観測されたとき，パラメータがとる確率分布
を求める

ノイズ生成モデル
• 観測された画像yは元々の画像xに加法的白
色ガウスノイズnが加わったものとみなす。

Y  Xn (27)
観測画像元画像ノイズ
X Y

n

ノイズ生成モデル
• 観測された画像yは元々の画像xに加法的白
色ガウスノイズnが加わったものとみなす。

観測画像 Y

ノイズ

元画像 X

目的
• 観測画像Yから元画像Xを推定したい。

• 方法
– Yが与えられた時の各画素iの期待値 E ( X i | Y) を
求める。
Q 1
E ( X i | Y)   xi Pr( X i  xi | Y)
xi 0

目的

• 方法
求める。
– Yが与えられた時のXの事後分布 Pr(X | Y) を求め
る。

元画像Xの事後分布
• 観測画像Yが与えられた時の元画像Xの事
後分布 Pr(X | Y) を推定したい。
ベイズの公式：
Pr(Y | X)Pr(X)
Pr(X | Y) 
Pr(Y)

Pr(Y)は定数なので、 Pr(Y | X)と Pr(X) を求める

元画像Xの事前分布
• 元画像Xは、隣り合う画素同士の影響を受け
る。
 1 2
Pr(X)  Pr(X |  )   exp    ( xi  x j )  (1)
{i , j }  2 
i j

元画像 X

元画像Xの尤度
• 観測された画像Yの各画素は元々の画像X
の対応する画素にのみ影響を受ける。
 1 2
Pr(Y | X)  Pr(Y | X,  )   exp   2 ( yi  xi )  (28)
i  2 
観測画像 Y
i

元画像 X
i

Pr(Y | X)Pr(X)
Pr(X | Y) 
Pr(Y) 定数

 1   1 
Pr(Y | X)   exp   2 ( yi  xi ) 2  Pr(X)    2 exp    ( xi  x j ) 2 
i  2  {i , j } 
(28) (1)


Pr(X | Y)  Pr(X | Y,  ,  )
 1 2  1 2
  exp   2 ( yi  xi )   exp    ( xi  x j ) 
i  2 {i , j}  2 
(29)

各画素の周辺分布の計算
• 確率伝搬法を用いる。
– 木構造のグラフに対する確率伝搬法(4.1節)
– 閉路を含むグラフに対する確率伝搬法(4.2節)
• ハイパーパラメータを推定する(4.3節)

木構造のグラフに対する確率伝搬法
木構造のグラフの例

3 6

4 1 2 7

5 8

木構造グラフの各ノードの同時分布を以下で表す。

 f
{i , j }
{i , j } ( xi , x j )
Pr(X  x)  Q 1 Q 1 (42)
   f
x1  0 x| |  0{i , j }
{i , j } ( xi , x j )

木構造グラフの各ノードの同時分布を以下で表す。

 f
{i , j }
{i , j } ( xi , x j )
Pr(X  x)  Q 1 Q 1 (42)
   f
x1  0 x| |  0{i , j }
{i , j } ( xi , x j )

例：
 1 
Pr(X)  Pr(X |  )    2
{i , j }
exp    ( xi  x j ) 2 

(1)

の時、
 1 
f{i , j} ( xi , x j )  exp    ( xi  x j ) 2 
 2 

3 6

4 1 2 7

5 8

Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )
 f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 ) 
f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )

3 6
Pr( X 4 ) を求めたい。

4 1 2 7

5 8

Pr(X)  f{1, 2} f{1,3} f{1, 4} f{1,5} f{2,6} f{2,7} f{2,8}

3 6

4 1 2 7

5 8

Pr( X 4 )
  f{1, 2} f{1,3} f{1, 4} f{1,5} f{2,6} f{2,7} f{2,8}
X1 X 2 X 3 X 5 X 6 X 7 X 8

3 6

4 1 2 7

5 8
Pr( X 4 )
  
   f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}  
 
 X2 
X1  X3 X5 X6 X7 X8 

“メッセージ” を以下のように定義
Q 1
Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi )
xi 0 k i { j }

Μ 14

Μ 21
Pr( X 4 )
  
   f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}  
 
 X2 
X1  X3 X5 X6 X7 X8 
Μ 31 Μ 51 Μ 62 Μ 72 Μ 82

Q 1
xi 0 k i { j }

i j

Q 1
xi 0 k i { j }

i j
Μ k i

ノードiに入ってきたメッセージの積を取る

Q 1
xi 0 k i { j }

f{i , j} ( xi , x j )
i j
Μ k i

２変数関数 f{i , j}をかける

Q 1
xi 0 k i { j }

f{i , j} ( xi , x j )
i j
Μ k i Μ i j

X i を積分してメッセージを算出

メッセージ:
Q 1
xi 0 k i { j }

周辺分布:
1
Pr( X i  xi ) 
Zi
 M ji ( xi )
j i
M j i

Q 1
i
Z i   M j i ( xi )
xi  0 j i

確率伝搬法アルゴリズムまとめ
1. 端点から、メッセージを伝搬

f{i , j} ( xi , x j )
i j
Μ i j

Q 1
Μ i  j ( x j )   f{i , j} ( xi , x j )
xi  0

２変数関数 f{i , j} を xi で積分

2.端点以外の各ノードでメッセージを伝搬

f{i , j} ( xi , x j )
i j
Μ k i Μ i j

Q 1
Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) (45)
xi 0 k i { j }

3. 根ノードから葉ノードへメッセージを伝搬

4. 葉ノードへ達したら、根ノードへメッセージを
逆伝搬

5. 各ノードの周辺分布を以下の式から計算

M j i

i

1
Pr( X i  xi ) 
Zi
Mj i
j i ( xi ) (46)

Q 1
Z i   M j i ( xi ) (48)
xi  0 j i

6. 各リンクに接続された２変数の同時分布を以
下の式から計算

f{i , j}
i j

1   
Pr( X i  xi , X j  x j )  f{i , j} ( xi , x j )  M k i ( xi ) 
 k { j}
  M l j (x j ) 
 l {i}
(47)
Z{i , j} 
 i  j 
Q 1 Q 1   
Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j ) 
 k { j}  l {i}  (49)
xi 0 x j 0  i  j 

閉路を含むグラフ
閉路を含むグラフの例
画像がこのパターン

確率伝搬法のメッセージがループしてしまう。

閉路を含むグラフ
各ノードの同時分布
 f
{i , j }
{i , j } ( xi , x j )
Pr(X  x | Y  y )  Q 1 Q 1 (51)
   f
x1  0 x| |  0{i , j }
{i , j } ( xi , x j ) i j

観測画像がYの時の元画像Xの事後分布：
 1 2  1 2
Pr(X | Y,  ,  )   exp   2 ( yi  xi )   exp    ( xi  x j )  (29)
i  2 {i , j}  2 (1) 

 1 2  1 2  1 
f{i , j} ( xi , x j )  exp    ( xi  x j )  exp   2 ( yi  xi )  exp   2 ( y j  x j ) 2 
 2   8   8 
(52)

閉路を含むグラフに対する
確率伝搬法
• 木構造グラフでは、以下の式が成り立つ
– 木構造グラフにおける周辺確率と同時確率の関
係

Pr(X  x)
  Pr( X i  xi , X j  x j ) 
   Pr( X i  xi )  
 
 (50)
 i  {i , j} Pr( X i  xi ) Pr( X j  x j ) 


確率伝搬法
• 閉路においても同様の関係が近似的に成り
立つとする

P ( X  x)
  P i , j} ( X i  xi , X j  x j ) 
   Pi ( X i  xi )   
{
  (70)
 i  {i , j} Pi ( X i  xi ) Pj ( X j  x j ) 

この P(X) と Pr(X | Y)ができるだけ近い分布を取るようにしたい。

確率伝搬法
• P(X)とPr(X|Y)のカルバック・ライブラー情報
量ができるだけ小さくなるようにしたい。
 P( X) 
K Pr(X | Y) || P( X)   P( X) ln 
 Pr(X | Y) 
 (71)
X  

以下の拘束条件の元、ラグランジュ未定乗数法で解く
Q 1

 P(X
xi 0
i i  xi )  1 (i  ) (67)

Q 1 Q 1

 P
xi 0 x j 0
{i , j } ( X i  xi , X j  x j )  1 ({i, j}   ) (68)
Q 1
Pi ( X i  xi )  P
x j 0
{i , j } ( X i  xi , X j  x j ) (i  ,{i, j}   ) (69)

確率伝搬法
以下が導ける（証明略）
メッセージ Q 1

f
xi  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j )  Q 1 Q 1 (60)
 f
xi  0 x j  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )

1
Pr( X i  xi | Y  y ) 
Zi
M
j i
j i ( xi ) (55)
Q 1
Z i   M j i ( xi ) (57)
xi  0 j i

確率伝搬法
以下が導ける（証明略）
メッセージ Q 1

f
xi  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j )  Q 1 Q 1 (60)
 f
xi  0 x j  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )

Pr( X i  xi , X j  x j | Y  y )

1   
 f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j ) 
 k { j}  l {i}
(56)
Z{i , j} 
 i  j 
Q 1 Q 1   
Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j ) 
 k { j}  l {i} (58)

xi 0 x j 0  i  j 

LBPアルゴリズムまとめ
1. 全てのメッセージの初期値を1にする

Μ 1

2. 以下の式に従いメッセージを更新する

Q 1

f
xi  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j )  Q 1 Q 1 (60)
 f
xi  0 x j  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )

3. 収束するまでメッセージの更新を繰り返す

Q 1

f
xi  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j )  Q 1 Q 1 (60)
 f
xi  0 x j  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )

4. 以下の式に従い周辺確率を計算する
1
Pr( X i  xi | Y  y ) 
Zi
M
j i
j i ( xi ) (55)
Q 1
Z i   M j i ( xi ) (57)
xi  0 j i

Pr( X i  xi , X j  x j | Y  y )

1   
 f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j ) 
 k { j}  l {i}
(56)
Z{i , j} 
 i  j 
Q 1 Q 1   
Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi ) 
 k { j}
  M l j ( x j ) 
 l {i}
(58)

xi 0 x j 0  i  j 

目的

• 方法
求める。求まった？
– Yが与えられた時のXの事後分布 Pr(X | Y) を求め
る。

元画像Xの推定
1
Pr( X i  xi | Y  y ) 
Zi
M
j i
j i ( xi ) (55)

観測画像Yが与えられた時の、元画像Xの各画
素iにおける周辺確率が求まった！

以下の式で各画素の期待値を計算
Q 1
E ( X i | Y)   xi Pr( X i  xi | Y)
xi 0

まだできない

ハイパーパラメータの推定
1
Pr( X i  xi | Y  y ) 
Zi
Mj i
j i ( xi ) (55)

Q 1

f
xi  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )
Μ i j ( x j )  Q 1 Q 1 (60)
 f
xi  0 x j  0
{i , j } ( xi , x j ) M
k i { j }
k i ( xi )

こいつらがまだ不明なまま
f{i , j} ( xi , x j ) （ハイパーパラメータ）

 1 2  1 2  1 
 exp    ( xi  x j )  exp   2 ( yi  xi )  exp   2 ( y j  x j ) 2  (52)
 2   8   8 

ハイパーパラメータα、σを求めたい。

観測している画像Yが出現する確率が最大になるよう
にパラメータの値を決定する。

最尤推定

( ,  )  arg max Pr(Y  y |  ,  )
ˆ ˆ (73)
( , )

最尤推定を解く

( ,  )  arg max Pr(Y  y |  ,  )
ˆ ˆ (73)
( , )
通常は、

Pr(Y  y |  ,  )  0 (   ,  )

または、

ln Pr(Y  y |  ,  )  0 (   ,  )

となる、 ( ,  ) を求めるが、、、


( ,  )  arg max Pr(Y  y |  ,  )
ˆ ˆ (73)
( , )

Pr(Y |  ,  )   Pr(X, Y |  ,  )   Pr(Y | X,  ) Pr(X |  ) (72)
X X

(28)式 (1)式

  1 2  1 2

   exp   ( yi  xi )   exp    ( xi  x j ) 
 2 {i , j}  2 
2
X  i

式が複雑で、簡単に極大値を計算できない。


( ,  )  arg max Pr(Y  y |  ,  )
ˆ ˆ (73)
( , )

EMアルゴリズム

1. 関数Qを定義
定数
Q( ,  |  (t ),  (t ), y )
  Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  ) 
X (74)

1. 関数Qを定義
Q( ,  |  (t ),  (t ), y )
  Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  ) 
X (74)

( ,  )  arg max Q( ,  |  (t ),  (t ), y )
ˆ ˆ
( , )

3. σ(t)、α(t)を更新
 (t  1), (t  1)  ( , )
ˆ ˆ

1. 関数Qを定義
Q( ,  |  (t ),  (t ), y )
  Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  ) 
X (74)

( ,  )  arg max Q( ,  |  (t ),  (t ), y )
ˆ ˆ
( , )

3. σ(t)、α(t)を更新
 (t  1), (t  1)  ( , ) 収束するまで繰り返す
ˆ ˆ

元画像Xの推定
1
Pr( X i  xi | Y  y ) 
Zi
M
j i
j i ( xi ) (55)

観測画像Yが与えられた時の、元画像Xの各画
素iにおける周辺確率が求まった！

ハイパーパラメータα、σも求まった！

以下の式で各画素の期待値を計算
Q 1
E ( X i | Y)   xi Pr( X i  xi | Y)
xi 0

まとめ
ノイズの乗った観測画像Yから元画像Xを推定した

1. ベイズの公式を使って、観測画像Yと元画像X
の関係をモデル化
2. 閉路での確率伝搬法（LBP）を用いて、元画像
の各画素における周辺分布を計算
3. EMアルゴリズムを用いてハイパーパラメータを
推定
4. 周辺分布を使用して、元画像Xの各画素の期
待値を計算

ありがとうございました。

17th cvsaisentan takmin

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 17th cvsaisentan takmin

Similaire à 17th cvsaisentan takmin (20)

Plus de Takuya Minagawa

Plus de Takuya Minagawa (20)

Dernier

Dernier (8)

17th cvsaisentan takmin