5. 事後分布と尤度関数
• 事後分布
• 尤度関数
p(z | x) = p(x | z)p(z) / p(x)
p(z | x) = (2π)−M /2
σ −2
M
1/2
exp −
1
2
x − M−1
WT
(x −µ){ }
T
(σ −2
M) x − M−1
WT
(x −µ){ }
"
#$
%
&'
= N(z | M−1
WT
(x −µ),σ 2
M−1
)
L = ln p(xn |W,µ,σ 2
){ }= −
N
2n=1
N
∑ Dln(2π)+ ln C +tr(C−1
S){ }
S =
1
N
(x −µ)(x −µ)T
n=1
N
∑ →xの標本共分散行列
N(z |(I +σ −2
WT
W)−1
WT
σ −2
I(x −µ),(I +σ −2
WT
W)−1
)
= N(z | M−1
WT
(x −µ),σ 2
M−1
)
PRML
演習12.8 →
M = WT
W +σ 2
I
C =σ 2
I +WWT
6. 最尤法を使う
µML =
1
N
xn
n=1
N
∑
∂L
∂W
= N(C−1
SC−1
W −C−1
W) WML =UM (ΛM −σ 2
I)1/2
R
※Tipping and Bishop(1999b) による閉形式の厳密解
Um ：D*M行列。共分散行列Sの固有ベクトルの部分集合
Λm：M*M対角行列。固有値λiを要素にもつ
R：任意のM*M直交行列。M次元の潜在変数空間の回転行列
尤度関数の最大値は、上記M個の固有ベクトルを固有値の上位M個に属するものに
なるように選ぶことで得られる。（その他のすべての停留点は鞍点となる）
→Λmは、共分散行列Sの固有値上位λ1,…λm
σ 2
ML =
1
D − M
λi
i=M+1
D
∑ →切り捨てられた次元に関連する分散の平均
SC−1
W = W
7. 次元削減と再構成
• PCA
• 確率的PCA
• 最適化
– 確率的PCAの式では、直交射影が歪む
– 再構成式の修正
– 期待値を使わなくても良いらしい
!xn =UM zn +µzn =UM
T
(xn −µ)
<z_n> : 事後分布p(z¦x)から求めた期待値
!xn = WML zn +µ
!zn = WML
T
(xn −µ) !xn = WML (WML
T
WML )−1
!zn +µ
!xn = WML (WML
T
WML )−1
M zn +µ
Mixtures of probabilistic principal component analysers , Neural Computation 11(2), pp 443‒482. MIT Press.
zn = M−1
WML
T
(xn −µ)
WML = WML (WML
T
WML )−1
M
