More Related Content Similar to Introduction to Statistical Estimation (統計的推定入門) (20) Introduction to Statistical Estimation (統計的推定入門)12. 三つ以上の確率変数の同時確率
確率変数が二つの場合と同じように定義できる
。
P( x
a1 , y
P( x
b1 , z
c1 )
0.006
a1 , y b2 , z c1 ) 0.007
P( x a1 , y b1 , z c2 )
0.001
..........
....
P( x
am , y
P( x, y, z )
bn , z
ck )
0.002
12
27. 練習問題1 回答(条件付き確率
)
大当たりが出た時の
分布は P(x|y) なので
P(y)で割る。
大当たりが出た時に 大 出 0.1/0.2 0.1/0.2
= 0.5
設定が甘い確率は
る = 0.5
当
0.5になる。
※ 設定xをパラメータと
すると、これは観測
変数yからパラメータ
を推定することの一
例。
設定x
P(y)
甘い 厳しい
た
出
り
な
y
い
P(x)
0.2/0.8 0.6/0.8
= 0.25
= 0.75
0.3
0.2
0.8
0.7
27
30. 練習問題2 回答
ここでは P(x|y) を載
疾患x
P(y)
せているが、同様に
あり
なし
P(y|x)も求められる
タ あ 0.08/0.2 0.12/0.2
。
xとyは独立である
。
このため、以下が
成り立っている。
P x, y
P x| y
P y
PxP y
Px
P y
ン り
パ
ク
な
質
し
y
P(x)
= 0.4
= 0.6
0.32/0.8 0.48/0.8
= 0.4
= 0.6
0.4
0.2
0.8
0.6
30
51. トランプのスート(マーク)の推
定
♥ と ♠ しか入っていないトランプを考える。
4枚のカードを選んでおく。その中から一回ご
とに戻し、3回引いた。その結果が以下であっ
た。
♥, ♠, ♥
4枚のカードのスート( ♥ と ♠ の枚数)はどのよ
うになっていると考えるのがよいか?
51
54. トランプに対する最尤法
♥ をH、♠をSで表す。♥, ♠, ♥ は(H,S,H)Tと表記。
θ=1(つまり♥が1枚、 ♠が3枚)の時に♥, ♠, ♥ が得
られる確率は以下のように表される。
P(x
H , S, H
T
|
1)
♥, ♠, ♥, ♥ がそれぞれθのもとで条件付き独立で生
じたとみなし、以下のように計算できる。
P ( x1 H |
1) P ( x2 S |
1) P ( x3 H |
1)
1 3 1 3
4 4 4 64
他のθについても計算してまとめると以下のように
なる。
θ(=ハートの枚
0
1
2
3
4
数)
54
56. 最尤法の例1
♥ と ♠ しか入っていないトランプから4枚の
カードを選んでおく。その中から一回ごとに戻
し、5回引いた。その結果が以下であった。
♥, ♥ , ♥ , ♥ , ♥
♥ の枚数をθで表すと、θのそれぞれの値に対
する尤度は以下のようになる。
θ(=♥の枚数)
0
1
P(x=HHHHH|θ)
0
1 / 1024
2
3
32 / 1024 243 / 1024
4
1
ゆえに ♥ の枚数θに対する最尤解は 4 である
56
57. 最尤法の例2
♣ と ♦ しか入っていないトランプから5枚のカ
ードを選んでおく。その中から一回ごとに戻し、
6回引いた。その結果が以下であった。
♣, ♣, ♦, ♣, ♣, ♦
♣の枚数をθで表すと、θのそれぞれの値に対
する尤度は以下のようになる。
θ(=Kの枚数)
0
P(x=KKDKKD|θ)
0
1
2
16 / 56 144 / 56
3
4
324 / 56 256 / 56
5
0
ゆえに♣の枚数θに対する最尤解は 3 である
57
60. 離散値パラメータの尤度関数の例
♥, ♠, ♥ が出た時の♥ の枚数θの尤度関数
尤度p(x|θ)
0
最大値
1
2
3
4
θ
離散値パラメータの尤度関数はヒストグラムで表せ
る。
すべてのθについて p(x|θ) を計算して比較すれば最
60
65. ガウス分布のパラメータμの推定
p( x | ,
2
)
1
2
x
2
e
2
P(x)
2
μ
x
n回試行を行い、それぞれの試行で得ら
れた値xiを用いてμを最尤推定する。
尤度関数は以下である。
P ( x1 , x2 ,..., xn | ,
2
)
65
74. θの尤度関数はθの確率分布ではない
もし P(x|θ) がθの確率分布であれば、θが取り得
るすべての値について P(x|θ) を足したら1にな
らなくてはならない。
しかしそのようになっていないことから、
P(x|θ) がθについての確率分布でないことが分か
る。
P(x|θ)はxについての確率分布だが、θについて
の確率分布ではない。ゆえに「θの尤度関数」
θ(=♥の枚数)
0
1
2
3
4
と呼ぶ。
P(x=HHHHH|θ)
0
1 / 1024
32 / 1024 243 / 1024
和は 1300 / 1024 になる。
1
74
91. MAP推定(maximum a posteori estimation)
パラメータθの事後分布P(θ|x)はたくさんの情報を
持っているが、情報が多すぎて使いにくいことも
多い。
例: 「この台は設定が甘い確率が 0.6、設定が厳
しい確率が 0.4」と言われるより、「この台は設定
が甘い!」と言い切って欲しい。
つまり「P(θ=甘) = 0.6, P(θ=厳) = 0.4」という答
えよりも「θ=甘」という答えが欲しい。
θに関する推定結果としてひとつの数値だけを求
めるのがMAP推定。
91
100. 尤度/尤度関数と事後確率値/事後分布
P(x
H , S, H
T
|
3)
θ = 3 の尤度
x = ♥, ♠, ♥ の生起確率
(ひとつの値に確定)
P(
3| x
T
H , S, H )
θ = 3 の事後確率の値
P(x
H , S, H
T
| )
θ の尤度関数
x = ♥, ♠, ♥ の生起確率
(θの値に依存)
P( | x
T
H , S, H )
θ の事後分布
100