19. エントロピーの別の解釈 (2/2)
• エントロピーを多 の対数を適当に定数 し
たものと定義
1 1 1
H= ln W = ln !− ∑ ln n !
i
i (1.95)
スターリングの近似式 ln !≅ ln − と ∑n
i i = より
ni ni
H = lim ∑ ln = −∑ pi ln pi (1.97)
i
→∞
i
箱は 偶 変数Xの状態xiと解釈でき,p(X=xi) = piとすると
H [ p] = −∑ p( xi ) ln p( xi ) (1.98)18
i
30. 連続値への拡張 (1/2)
• xを等間隔の区間Δに分ける
• p(x)が連続であると仮定すれば 値の よ
り,各区間に対して以下を満たすxiが存在する
( i +1) ∆
∫
i∆
p( x)dx = p ( xi )∆ (1.101)
p(x)
p(xi)
iΔ (i+1)Δ 29
x
31. 連続値への拡張 (2/2)
• Σp(xi)Δ=1 が り つので
H ∆ = −∑ p ( xi )∆ ln( p ( xi )∆)
i
= −∑ p ( xi )∆ ln p ( xi ) − ∑ p ( xi )∆ ln ∆
i i
= −∑ p ( xi )∆ ln p ( xi ) − ln ∆ (1.102)
i
• 第2項のlnΔを無視してΔ→0の極限を考える
– 第1項はp(x)ln p(x) に収束
lim− ∑ p ( xi )∆ ln p( xi ) = − ∫ p ( x) ln p ( x)dx (1.103)
∆ →0
i 微分エントロピー
30
32. 連続値への拡張 (2/2)
• Σp(xi)Δ=1 が り つので
H ∆ = −∑ p ( xi )∆ ln( p ( xi )∆) 連続変数を厳密に規
i 定するために無限
= −∑ p ( xi )∆ ln p ( xi ) − ∑ p (ビット数が必要であ
xi )∆ ln ∆
ることを反映
i i
= −∑ p ( xi )∆ ln p ( xi ) − ln ∆ (1.102)
i
• 第2項のlnΔを無視してΔ→0の極限を考える
– 第1項はp(x)ln p(x) に収束
lim− ∑ p ( xi )∆ ln p( xi ) = − ∫ p ( x) ln p ( x)dx (1.103)
∆ →0
i 微分エントロピー
31
33. 微分エントロピーの最大化 (1/2)
H[x] = − ∫ p (x) ln p (x)dx (1.104)
連続変数の場合のエントロピー最大化を考える.
以下の3つの制約のもとで最大化
∞
規格化 ∫ p ( x ) dx = 1 (1.105)
−∞
∞
分布の平均 ∫ xp( x)dx = µ (1.106)
−∞
∞
分布の広がり ∫ ( x − µ ) 2 p ( x ) dx = σ 2 (1.107)
−∞
ラグランジュ関数=
∞
∞ p ( x)dx − 1
− ∫ p ( x) ln p ( x)dx +λ1 ∫
−∞ −∞
∞ xp( x)dx − µ + λ ∞ ( x − µ ) 2 p ( x)dx − σ 2
+ λ2 ∫ 3 ∫−∞ 32
−∞
46. 再掲: 演習1.29
• エントロピー最大化をJensenの 等式から く
• 解)
M
1
H [ x] = ∑ p ( xi ) ln
i p ( xi )
ln(x)は凹関数なので,Jensenの 等式より
M 1
H [ x] ≤ ln ∑ p ( xi )
= ln M
i p ( xi )
45
50. 演習1.41
• I[x,y] = H[x] – H[x|y] を証明
p ( x) p ( y )
− ∫∫ p (x, y ) ln
p (x, y ) dxdy
p ( x) p ( y )
= − ∫∫ p(x, y ) ln
p (x | y ) p (y ) dxdy
= − ∫∫ p(x, y ) ln p(x)dxdy + ∫∫ p (x, y ) ln p (x | y )dxdy
= − ∫ p (x) ln p(x)dx + ∫∫ p(x, y ) ln p(x | y )dxdy
= H[x] − H[x | y ] 49