2. 誤差関数の微分
ガウス分布の対数尤度関数の勾配
N
∇ ln p (t∣w , β)=β∑ n=1 {t n−w ϕ( x n )}ϕ( x n )
T T
(3.13)
ロジスティック回帰誤差関数の勾配
N
∇ E (w)=∑n=1 ( y n −t n)ϕn (4.91)
多クラスロジスティック回帰誤差関数の勾配
N
∇ w E (w 1,. .. ,w K )=∑ n=1 ( y nj −t nj )ϕn
j
(4.109)
→ 誤差と特徴ベクトルϕn の積
4. 目的変数 t の分布
目的変数 t の分布が指数型分布族であると仮定する
1 t
p (t∣η , s)= h
s s ()
g ( η)exp
ηt
s { } (4.118)
t
上式と (2.195) 式より、 g (η)∫ { ( ) ( )} ( )
h
t
s
exp η
t
s
d
t
s
=1 となり、 =x
s
と置き直して、 (2.226) と同様の導出をすると、
d
y≡E (t∣η)=−s ln g (η) (4.119)
dη
5. 対数尤度関数
パラメータ η の対数尤度関数
N N
ln p (t∣η , s)=∑n=1 ln p(t n∣η , s)=∑n=1
{
ln g (ηn)+
s }
ηn t n
+Const
(4.121)
→ これを w について微分する
6. w について微分すると
N
∇ w ln p (t∣η, s)=∑n=1
{ d
d ηn
ln g (ηn)+
}
t n d ηn dy n
s d y n da n
∇ an
N 1 d ηn dy n
=∑n=1 {t n− y n} ∇ an
s d y n da n
N 1
=∑ n=1 {t n− y n } ψ' ( y n ) f ' (a n )ϕn (4.122)
s
ただし、
d
y n=−s ln g (ηn) (4.119)
d ηn
ηn=ψn( y )
y n= f (a n)
a n=w T ϕn