16. 5/12/2015 7th #ぞくパタ 16
対数尤度関数logP(x,s)
logP(x,s)の算出と最尤推定に向けた記号の導入
上式のLρ、La、Lbは、それぞれパラメータρi、aij、bjkのみを含むので、logP(x,s)を最
大化するにはLρ、La、Lbを、それらのパラメータに関してそれぞれ独立に最大化すれ
ばよい。
n
t
tt
def
b
n
t
tt
def
a
def
ba
n
l
ll
n
t
tt
ll
n
l
tt
n
t
tttt
n
t
xsbL
ssaL
sPL
sPssaLLLxsbssasP
xsbssassaxsbssaP
1
1
1
1
1
110
1
1
1
11
1
1
1
1
101
1
,
,log
log
,,,loglog
,,,log,,log,log
ここで、
sx
17. 5/12/2015 7th #ぞくパタ 17
定理5.1(p.82)再掲
定理5.1
nix
x
xxxxf
x
xxxxn
n
n
k
kii
i
n
i
iin
n
i
i
in
n
,,2,1
log,,
1
10,,
,,
1
1
21
1
21
21
は次式で与えられる。を最大にする
する。このときを満たしているものと
が拘束条件個の変数
がある。ここで、個の正の定数いま、
18. 5/12/2015 7th #ぞくパタ 18
Laの最大化
ni:サイコロωiを取り出した回数
mij:サイコロをωi,ωjと連続して取り出した回数
i
1
c
(t+1)回目
……………………
t回目
回11 ii ma
回22 ii ma
回ijij ma
回icic ma
回in
ts 1ts
1, tt ssa
2
j
11 log ii am
22 log ii am
ijij am log
icic am log
Concrete state transition
Symbolic state transition
1
1
1,log
n
t
tta ssaL
c
i
c
j
ijij
n
t
tta amssaL
1 1
1
1
1 log,log
1
1
c
j
ija
i
c
j
ij nm 1
最大化対象の関数
拘束条件
自明な条件
i
ij
c
h
ih
ij
ij
n
m
m
m
a
1
ˆ
定理5.1
各遷移が、ni回中mij回発生
19. 5/12/2015 7th #ぞくパタ 19
Lbの最大化
nj:サイコロωjを取り出した回数
njk:サイコロωjを投げて出た目がvkであった回数
j
1v
mv
…………………… 回1j1 nbj
回22 jj nb
回jkjk nb
回jmjm nb
回jn
ts tx
tt xsb ,
2v
kv
11 log jj bn
22 log jj bn
jkjk bn log
jmjm bn log
Concrete output function
Symbolic output function
n
t
ttb xsbL
1
,log
c
j
m
k
jkjk
n
t
ttb bnxsbL
1 11
log,log
1
1
m
k
jkb
j
m
k
jk nn 1
最大化対象の関数
拘束条件
自明な条件
j
jk
m
l
jl
jk
jk
n
n
n
n
b
1
ˆ
定理5.1
t回目に選択
したサイコロ
そのサイコロの目
各出力が、nj回中njk回発生