18. 平均が未知の場合
D次元ガウス分布の場合(演習2.40):
N N
p ( X | μ) p (μ) p (μ) p(x n | μ) N μ | μ 0 , Σ 0 N x n | μ, Σ
n 1 n 1
1 1 1 1 N
exp (μ μ 0 ) Σ 0 (μ μ 0 ) (x n μ) T Σ 1 (x n μ)
T 1
(2 ) ( N 1) D / 2 Σ ( N 1) / 2 2 2 n 1
19. 平均が未知の場合
D次元ガウス分布の場合(演習2.40):
1 1 N
(μ μ 0 ) Σ 0 (μ μ 0 ) (x n μ) T Σ 1 (x n μ)
T 1
2 2 n 1
1 T 1
2
1 1 T 1
2
1 T 1 1 N T 1
μ Σ 0 NΣ μ μ Σ 0 μ 0 μ 0 Σ 0 μ μ Σ x n μΣ1x T const
2 2 n 1
n
T 1
N
1 T 1
μ Σ 0 NΣ μ μ Σ 0 μ 0 Σ x n const
1 1
2 n 1
1
μ μ N T Σ 1 μ μ N const
N
2
ただし
1
μ N Σ NΣ
0 Σ
1 1 1
0
1
μ 0 Σ μ ML μ ML
1 N
x n
N
Σ
n 1
1
ΣN 0 NΣ1
21. 分散が未知の場合
1
分散の代わりに精度を用いる
2
p( | x) p(x | ) p( )
尤度関数:
N
N 2
p(x | ) N ( xn | , ) exp ( xn )
1 N /2
n 1 2 n1
(2.145)
共役事前分布: λについて同じ関数形!
1 a a 1
p( ) Gam( | a, b) b exp( b )
(a) (2.146)
ガンマ分布
22. 分散が未知の場合
演習2.41
1 a a 1
Gam( | a, b) b exp( b )
( a )
が、正規化されていることを証明
1 a a 1 b
0 (a) b exp(b )d
(a) 0
(b ) a 1 exp( b )d
1
z b とおくと、 d dz なので、
b
b 1 a 1
0 (b ) exp(b )d (a) 0 z exp( z)dz
a 1
(a)
23. 分散が未知の場合
演習2.41 (続き)
(a) u a 1 exp( u)du
0
なので、
1 a 1
(a) 0 z exp( z)dz 1
よって正規化されている。
24. 分散が未知の場合
ガンマ分布:
1 a a 1
Gam( | a, b) b exp( b )
( a )
25. 分散が未知の場合
ガンマ分布の期待値(演習 2.42)
E[ ] Gam( | a, b)d b a a 1 exp( b )d
0 0 ( a )
1
z b とおくと、 d dz なので、
b
1 1 a
Gam( | a, b)d 0 z exp( z)dz
0 ( a ) b
(a 1) a(a) a
b(a) b(a) b
演習1.17参照
26. 分散が未知の場合
ガンマ分布の分散(演習 2.42)
var[ ] ( E[ ]) Gam( | a, b)d 2 Gam( | a, b)d E[ ]2
2
0 0
2 2
1 a a 1 a 1 1 a
(a) b 0
b exp( b )d b a 1a 1 exp( b )d
0 ( a ) b b
2 2
1 1 a (a 2) 1 a
( a ) b 2
0
z a 1 exp( z )dz
b
( a ) b b
2
2
(a 1)a(a) 1 a a
2
( a ) b2 b b
29. 分散が未知の場合
事後分布:
N 2
p( | x) exp b0 ( xn )
a0 1 N / 2
2 n 1 (2.149)
exp( bN )
a N 1
ここで、
N 1 N N 2
a N a0 bN b0 ( xn ) 2 b0 ML とする
2 2 n1 2
従って事後分布もガンマ分布になる
1
p( | x) Gam( | aN , bN ) b exp( bN )
a N a N 1
( a N )
30. 分散が未知の場合
事後分布:
1
p( | x) Gam( | aN , bN ) b exp( bN )
a N a N 1
( a N )
N 1 N N 2
a N a0 (2.150) bN b0 ( xn ) b0 ML
2
(2.151)
2 2 n1 2
a0 ,b0 は、分散が b0 / a0 であるような 2a0 個の「有効な」
観測値が事前にあると解釈できる
31. 分散が未知の場合
D次元ガウス分布の場合:
p(Λ | X) p(X | Λ) p(Λ)
尤度関数:
N
1 N
p( X | Λ) N (x n | μ, Λ ) Λ
1 N /2
exp (x n μ) Λ(x n μ)
T
n 1 2 n 1
共役事前分布:
( v D 1) / 2 1
p( Λ) W ( Λ | W, ) B Λ 1
exp Tr( W Λ)
ウィシャート分布 2
(2.155)
32. 分散が未知の場合
ウィシャート分布:
( v D 1) / 2 1
p( Λ) W ( Λ | W, ) B Λ 1
exp Tr( W Λ)
2
(2.155)
1
D / 2 D ( D 1) / 4 D
1 i
2
v / 2
B( W, ) W 2
(2.156)
i 1
33. 分散が未知の場合
ウィシャート分布が共役事前分布であることの確認(演習 2.45)
N
p( Λ | X) p( X | Λ) p( Λ) W ( Λ | W, ) N (x n | μ, Λ 1 )
n 1
1 N /2 1 N
exp Tr( W 1Λ) Λ exp (x n μ) T Λ(x n μ)
( v D 1) / 2
Λ
2 2 n 1
(x μ) T Λ (x μ) Tr (x μ)(x μ) T Λ より
1 1 N T
p ( Λ | X) Λ ( D 1 N ) / 2
exp Tr W (x n μ)(x n μ) Λ
2
n 1
34. 分散が未知の場合
ウィシャート分布が共役事前分布であることの確認(演習 2.45)
1 1 N T
p ( Λ | X) Λ ( D 1 N ) / 2
exp Tr W (x n μ)(x n μ) Λ
2
n 1
従って、事後分布も以下のようなウィシャート分布になる
p ( Λ | X) W ( Λ | N , WN )
N
N N W W (x n μ)(x n μ) T
1
N
1
n 1