PRML 2.3.2-2.3.4 ガウス分布

Pattern Recognition and Machine Learning
2.3.2 – 2.3.4
新田晃大
関西学院大学理工学部
http://www.akihironitta.com
2017 年 9 月 20 日
1

本日の内容
p2.3 ガウス分布
￭ 2.3.2 周辺ガウス分布 [pp. 85-88]
￭ 2.3.3 ガウス変数に対するベイズの定理 [pp. 88-90]
￭ 2.3.4 ガウス分布の最尤推定 [pp. 91-92]
2

2.3.2 周辺ガウス分布
[pp. 85-88]
3

周辺ガウス分布
p前回：同時分布がガウス分布なら，条件付き分布もガウス分布
p今回：同時分布がガウス分布なら，周辺分布もガウス分布
( ) ( , )da a b bp p= òx x x x
( ) ( , )db a b ap p= òx x x x
4

周辺ガウス分布導出の流れ
pxbで積分して，変形．
n指数部分の二次形式に注目する．
n平方完成すると，積分が簡単．
n指数部分のxbの１次，２次の項の係数から，平均と分散共分散行列を得る．
( ) ( , )da a b bp p= òx x x x
T 11
( ) exp ( ) ( )
2
p c -ì ü
= - - -í ý
î þ
x x μ A x μ
p(x) が分布なら， p(x)ガウス分布．
5

周辺ガウス分布導出
T
T 1
T T
T T
1 1
( ) ( )
2 2
1 1
= ( ) ( ) ( ) ( )
2 2
1 1
( ) ( ) ( ) ( ).
2 2
a a aa ab a a
b b ba bb b b
a a aa a a a a ab b b
b b ba a a b b bb b b
-
- -æ ö æ öæ ö
- - - = - ç ÷ ç ÷ç ÷
- -è ø è øè ø
- - - - - -
- - - - - -
x μ Λ Λ x μ
x μ Σ x μ
x μ Λ Λ x μ
x μ Λ x μ x μ Λ x μ
x μ Λ x μ x μ Λ x μ
T T 1 T 1 1 T 11 1 1
( ) ( ) .
2 2 2
b bb b b b bb b bb bb
- - - -
- + = - - - +x Λ x x m x Λ m Σ x Λ m m Λ m
同時分布の指数部分の二次形式は，
xbに依存する項のみを考え， xbについて平方完成をすると，
( ).bb b ba a a= - -m Λ μ Λ x μただし，
6

周辺ガウス分布導出
T T 1 T 1 T 11 1 1
( ) ( )
2 2 2
b bb b b b bb bb b bb bb
- - -
- + = - - - +x Λ x x m x Λ m Λ x Λ m m Λ m
同時分布の指数部分の二次形式で， xbに依存する項は，
1 T 11
exp ( ) ( ) d
2
b bb bb b bb b
- -ì ü
- - -í ý
î þ
ò x Λ m Λ x Λ m x
xbで積分を行うので， xbに依存する項以外は定数扱い．
は正規化されていないガウス分布の積分値なので，正規化係数の逆数になる．
1 2( ) 2 1
1
1 1
(2 ) D M
bb
p
-
- -
æ ö
ç ÷=
ç ÷
è øΛ
ガウス分布の正規化係数は
分散共分散行列にのみ依存
平方完成
7

周辺ガウス分布の共分散，平均
T 1
T T
T 1 T 1
1
[ ( )] [ ( )]
2
1
( ) const
2
1
( ) ( ) const.
2
bb b ba a a bb bb b ba a a
a aa a a aa a ab b
a aa ab bb ba a a aa ab bb ba a
-
- -
- - - -
- + + +
= - - + - +
Λ μ Λ x μ Λ Λ μ Λ x μ
x Λ x x Λ μ Λ μ
x Λ Λ Λ Λ x x Λ Λ Λ Λ μ
xbで積分完了．
次は， xaに注目して変形すると，
1 1
( )a aa ab bb ba
- -
S = -Λ Λ Λ Λ２次の項の係数は，精度行列
１次の項の係数は，精度行列平均
8

周辺ガウス分布の分散共分散行列
1 1
( )a aa ab bb ba
- -
= -Σ Λ Λ Λ Λ周辺分布の分散共分散行列
ここで，同時分布の分割された分散共分散行列の部分行列を，
分割された精度行列の部分行列で表すと，
周辺分布の分散共分散行列 = 同時分布の分散共分散行列の部分行列
1
11
( ) .
aa ab aa ab
ba bb ba bb
aa aa ab bb ba
-
--
æ ö æ ö
=ç ÷ ç ÷
è ø è ø
= -
Λ Λ Σ Σ
Λ Λ Σ Σ
Σ Λ Λ Λ Λ
1 1
1 1 1 1
1 1
( )
- -
- - - -
- -
æ ö-æ ö
= ç ÷ç ÷
- +è ø è ø
= -
A B M MBD
C D D CM D D CMBD
M A BD C
9

同時ガウス分布の条件付き分布と周辺分布
同時ガウス分布 ( | , )x μ ΣN
a
b
æ ö
= ç ÷
è ø
x
x
x
a
b
æ ö
= ç ÷
è ø
μ
μ
μ
aa ab
ba bb
æ ö
= ç ÷
è ø
Σ Σ
Σ
Σ Σ
aa ab
ba bb
æ ö
= ç ÷
è ø
Λ Λ
Λ
Λ Λ
周辺分布 ( ) ( | , )a a a aap =x x μ ΣN
条件付き分布
1
( ) ( , )a b a a b aap -
|=| |x x x μ ΛN
1
( )a b a aa ab b a
-
| = - -μ μ Λ Λ x μ
10

2.3.3 ガウス変数に対するベイズの定理
[pp. 88-90]
11

同時分布
x と y 上の同時分布を求める．
1 1
T T
ln ( ) ln ( ) ln ( | )
ln ( | , ) ln ( | , )
1 1
( ) ( ) ( ) ( ) const.
2 2
p p p
- -
= +
= + +
= - - - - - - - - +
z x y x
x μ Λ y Ax b L
x μ Λ x μ y Ax b L y Ax b
N N
( ) ( , ) ( ) ( | ),p p p p
æ ö
= = = ç ÷
è ø
x
z x y x y x z
y
同時分布の対数は，（指数部分を注目するため）
ここから，
２次の項の係数は，精度行列
を用いて，p(z)の
分散共分散行列と平均を求める．
13

同時分布の分散共分散行列
T
T T
T T T T T
T
T
1 1 1 1
( )
2 2 2 2
1 1
2 2
- + - + +
æ ö+ -æ ö æ ö
= - = -ç ÷ç ÷ ç ÷
-è ø è øè ø
x Λ A LA x y Ly y LAx x A Ly
x xΛ A LA A L
z Rz
y yLA L
同時分布 p(z) の指数部分の２次の項は，
T T
æ ö+ -
= ç ÷
-è ø
Λ A LA A L
R
LA L
同時分布 p(z) の精度行列は，
２次の項の係数は，精度行列
14

同時分布の平均
同時分布 p(z) の指数部分の１次の項は，
[ ] 1
T
- æ ö- æ ö
= =ç ÷ ç ÷
+è øè ø
μΛμ A Lb
z R
Aμ bLb
E
同時分布 p(z) の平均は，
T
T
T
T TT æ ö-æ ö
- + = ç ÷ç ÷
è ø è ø
x Λμ A Lb
x Λμ x A Lb y Lb
y Lb
p(x) の平均
p(y|x) の平均
15

同時分布
同時分布
1
( ) ( ) ( | ) ( | , )p p p -
= = zz x y x z μ RN
T T
æ ö+ -
= ç ÷
-è ø
Λ A LA A L
R
LA L
æ ö
= ç ÷
+è ø
z
μ
μ
Aμ b
周辺分布
1
( ) ( | , )p -
=x x μ ΛN
条件付き分布
1
( | ) ( | , )p -
= +y x y Ax b LN
x と y 上の同時分布を求める．（分散共分散行列と平均を求める．）求めた
➡ x で積分し，周辺分布 p(y) を求める．[公式]
➡ y を与えられるものとして変形し，条件付き分布 p(x|y) を求める．[公式]
16

同時分布から周辺分布へ
同時分布
1 1 1
( ) ( ) ( | )
( | , ) ( | , ) ( | , )
p p p
- - -
=
= + = z
z x y x
x μ Λ y Ax b L z μ RN N N
1 1 T
1
1 1 1 T
- -
-
- - -
æ ö
= ç ÷
+è ø
Λ Λ A
R
AΛ L AΛ A
æ ö
= ç ÷
+è ø
z
μ
μ
Aμ b
1 1 T
( ) ( | , )p - -
= + +y y Aμ b L AΛ AN
公式[p. 87]より，周辺分布は
1 1
1 1 1 1
1 1
( )
- -
- - - -
- -
æ ö-æ ö
= ç ÷ç ÷
- +è ø è ø
= -
A B M MBD
C D D CM D D CMBD
M A BD C
のとき，平均は=A I
17

同時分布から条件付き分布へ
同時分布
1 1 1
( ) ( ) ( | )
( | , ) ( | , ) ( | , )
p p p
- - -
=
= + = z
z x y x
x μ Λ y Ax b L z μ RN N N
æ ö
= ç ÷
+è ø
z
μ
μ
Aμ b
T T
æ ö+ -
= ç ÷
-è ø
Λ A LA A L
R
LA L
公式[p. 87]より，条件付き分布は
T
( | ) ( | { ( ) }, )p = - +x y x Σ A L y b Λμ ΣN
T 1
( )-
= +Σ Λ A LA
18

2.3.4 ガウス分布の最尤推定
[pp. 91-92]
19

ガウス分布の最尤推定
多変量ガウス分布
T 1
1/2/2
1 1
( | , ) exp ( ) ( )
2(2 )D
p
-ì ü
= - - -í ý
î þ
x μ Σ x μ Σ x μ
Σ
N
対数尤度関数 T 1
1
1
ln ( | , ) ln(2 ) ln ( ) ( )
2 2 2
N
n n
n
ND N
p -
=
= - - - - -åX μ Σ Σ x μ Σ x μN
T
1( ,..., )N=X x xデータ集合データ集合には，によってのみ依存T
1 1
,
N N
n n n
n n= =
å åx x x
十分統計量
20

平均について最大化
平均ベクトルで対数尤度関数を微分し，０とおくと，
1
1
ln ( | , ) ( ) 0
N
n
n
p -
=
¶
= - =
¶
åX μ Σ Σ x μ
μ
ML
1
1
.
N
n
nN =
= = åμ μ x … データ集合の平均
21

共分散について最大化 1/2（演習2.34）
対称性の制約を無視して求め，実際に結果が対称となっていることを示す．（一番簡単）
T 1
1
1
ln ( | , ) ln ( ) ( )
2 2
N
n n
n
N
p -
=
¶ ¶ ¶
= - - - -
¶ ¶ ¶
åX μ Σ Σ x μ Σ x μ
Σ Σ Σ
分散共分散行列で微分すると，
( )
T1
ln .
2 2
N N -¶
- = -
¶
Σ Σ
Σ
T 1 1 T 1
1 1
1 1
( ) ( ) ( )( ) .
2 2
N N
n n n n
n n
- - -
= =
¶
- - - = - -
¶
å åx μ Σ x μ Σ x μ x μ Σ
Σ
第１項目は，
第２項目は，Σ の対称性を無視すると，
( )
TT 1 1 T 1- - -¶
= -
¶
a X b X ab X
X
22

共分散について最大化 2/2（演習2.34）
( )1 1 T 1T
1
1
ln ( | , ) ( )( ) .
2 2
N
n n
n
N
p - - -
=
¶
= - + - -
¶
åX μ Σ Σ Σ x μ x μ Σ
Σ
よって，
これを０とおくと，最尤推定解は，
T
ML ML ML
1
1
( )( ) .
N
n n
nN =
= - -åΣ x μ x μ
ML
1
1
.
N
n
nN =
= åμ x
… 結果，対称！！！
23

最尤推定解の期待値（演習2.35）
真の分布の下での最尤推定解の期待値を評価すると，
[ ]ML
1N
N
-
=Σ ΣE
[ ]ML =μ μE 真の平均に等しい
真の共分散より小さい
T
ML ML
1
1
( )( )
1
N
n n
nN =
= - -
-
åΣ x μ x μ!
T
ML ML ML
1
1
( )( )
N
n n
nN =
= - -åΣ x μ x μ
[ ]ML
1
N
N
é ù = =ë û -
Σ Σ Σ!E E 真の共分散に等しい
24

まとめ
p2.3 ガウス分布
￭ 2.3.2, 2.3.3 [pp. 85-90]
￭同時ガウス分布なら，周辺分布も条件付き分布もガウス分布
￭ 2.3.4 [pp. 91-92]
￭多変量ガウス分布の最尤推定（１変数とほぼ同じ）
25

PRML 2.3.2-2.3.4 ガウス分布

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à PRML 2.3.2-2.3.4 ガウス分布

Similaire à PRML 2.3.2-2.3.4 ガウス分布 (20)

Plus de Akihiro Nitta

Plus de Akihiro Nitta (7)

Dernier

Dernier (9)

PRML 2.3.2-2.3.4 ガウス分布