続分かりやすいパターン認識 4章後半(4.7以降)
•
15 j'aime•4,973 vues
第4回「続・わかりやすいパターン認識」読書会の発表資料です。 対象範囲は続・わかりやすいパターン認識4章後半(4.7以降)になります。
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
Similaire à 続分かりやすいパターン認識 4章後半(4.7以降)
Similaire à 続分かりやすいパターン認識 4章後半(4.7以降) (20)
続分かりやすいパターン認識 4章後半(4.7以降)
- 4. 観測回数の効果 0試⾏行行、表0回 Be(1,1) 1試⾏行行、表1回 Be(2,1) 2試⾏行行、表2回 Be(3,1) 観測結果はθ=0.8の2項分布から作っているが、 θが0.8付近で収束しようとしているのが分かる 次の結果が観測されたとする 表表表表裏裏表表裏裏 3試⾏行行、表3回 Be(4,1) 4試⾏行行、表4回 Be(5,1) 5試⾏行行、表4回 Be(5,2) 6試⾏行行、表5回 Be(6,2) 7試⾏行行、表6回 Be(7,2) 8試⾏行行、表6回 Be(7,3)
- 8. l 事前分布が分からない（無情報事前分布＝⼀一様分布）場 合、最尤推定とベイズ推定は⼀一緒！ 最尤推定とベイズ推定って何が違う？ p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( ) ˆθ = argmax θ p θ | x n( ) ( ){ } = argmax θ P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( ) " # $ %$ & ' $ ($ = argmax θ P x n( ) |θ( )⋅ p θ( ){ } = argmax θ P x n( ) |θ( ){ } ←事後確率率率最⼤大化の式 ベイズの定理理 P(x(n)|θ)はx依存で定数扱い ←p(θ)=⼀一様分布なら削除可 →最尤推定の式
- 9. p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( ) ベイズの定理理 P(x(n)|θ)はx依存で定数扱い l 事前分布が分からない（無情報事前分布＝⼀一様分布）場 合、最尤推定とベイズ推定は⼀一緒！ 最尤推定とベイズ推定って何が違う？ ˆθ = argmax θ p θ | x n( ) ( ){ } = argmax θ P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( ) " # $ %$ & ' $ ($ = argmax θ P x n( ) |θ( )⋅ p θ( ){ } = argmax θ P x n( ) |θ( ){ } ←事後確率率率最⼤大化の式 ←p(θ)=⼀一様分布なら削除可 →最尤推定の式 事前分布が⼀一様分布 じゃないと省省略略できず、 最尤推定の式と⼀一致し ない！
- 11. ディリクレ分布とは？ ⼆二項分布 コインを投げた時の 表裏裏の分布 ベータ分布 コインの表裏裏それぞれが 出る確率率率の分布 多項分布 K⾯面のサイコロの出る⽬目 の分布 ディリクレ分布 K⾯面サイコロの各⽬目の ⽣生起確率率率の分布 共役 共役 ⼀一般化 特殊形 ⼀一般化 特殊形 正規確率率率が分かっている時の 観測データが得られる確率率率 観測データが与えられた時の ⽣生起確率率率の尤度度分布
- 12. 多項分布とディリクレ分布の関係 P n;θ( )= n! n1!!nm ! θ1 n1 !θm nm p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( )= p θ( ) P x n( ) ( ) ⋅θ1 n1 !θ1 nm 多項分布 x(n)が観測される確率率率 P x n( ) |θ( )=θ1 n1 !θm nm x(n)は観測順も含まれるので 組み合わせは不不要 多項分布の事後分布
- 13. 多項分布とディリクレ分布の関係 P n;θ( )= n! n1!!nm ! θ1 n1 !θm nm p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( )= p θ( ) P x n( ) ( ) ⋅θ1 n1 !θ1 nm 多項分布 x(n)が観測される確率率率 P x n( ) |θ( )=θ1 n1 !θm nm x(n)は観測順も含まれるので 組み合わせは不不要 多項分布の事後分布 理理由不不⼗十分の原理理から ⼀一様分布とする(=定数) θに依存しないので、 定数とみなせる
- 14. 多項分布とディリクレ分布の関係 P n;θ( )= n! n1!!nm ! θ1 n1 !θm nm p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( )= p θ( ) P x n( ) ( ) ⋅θ1 n1 !θ1 nm 多項分布 x(n)が観測される確率率率 P x n( ) |θ( )=θ1 n1 !θm nm x(n)は観測順も含まれるので 組み合わせは不不要 理理由不不⼗十分の原理理から ⼀一様分布とする(=定数) θに依存しないので、 定数とみなせる 1つの定数 とみなせる 多項分布の事後分布
- 15. 多項分布とディリクレ分布の関係 P n;θ( )= n! n1!!nm ! θ1 n1 !θm nm p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( )= p θ( ) P x n( ) ( ) ⋅θ1 n1 !θ1 nm 多項分布 x(n)が観測される確率率率 P x n( ) |θ( )=θ1 n1 !θm nm x(n)は観測順も含まれるので 組み合わせは不不要 とりあえず 1/Z2と置きます θは 0≦θk≦1 の制約を持つので、 P(θ|x(n))を積分すると1になる ⇒定数部分は正規化項になる θk k=1 m ∑ =1 多項分布の事後分布
- 16. 多項分布とディリクレ分布の関係 P n;θ( )= n! n1!!nm ! θ1 n1 !θm nm 多項分布 x(n)が観測される確率率率 P x n( ) |θ( )=θ1 n1 !θm nm x(n)は観測順も含まれるので 組み合わせは不不要 p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( )= p θ( ) P x n( ) ( ) ⋅θ1 n1 !θ1 nm = 1 Z2 ⋅θ1 n1 !θ1 nm θは 0≦θk≦1 の制約を持つので、 P(θ|x(n))を積分すると1になる ⇒定数部分は正規化項になる θk k=1 m ∑ =1 だったら、積分して1になる ので制約満たすでしょ Z2 = θ1 n1 !θ1 nm d Dm ∫ θ 多項分布の事後分布
- 17. 多項分布とディリクレ分布の関係 p θ | x n( ) ( )= 1 Z2 ⋅θ1 n1 !θ1 nm 多項分布の事後分布 θ1 α1−1 !θ1 αm−1 d Dm ∫ θ = Γ α1( )!Γ αm( ) Γ α1,!,αm( ) なので、αk = nk+1とすると p θ | x n( ) ( )= Γ n + m( ) Γ n1 +1( )!Γ nm +1( ) ⋅θ1 n1 !θ1 nm ak = n + m k=1 m ∑ 証明はこちらを参考にどうぞ http://www.cis.nagasaki-u.ac.jp/~masada/DirDistNorm.pdf
- 18. 多項分布とディリクレ分布の関係 p θ | x n( ) ( )= 1 Z2 ⋅θ1 n1 !θ1 nm 多項分布の事後分布 θ1 α1−1 !θ1 αm−1 d Dm ∫ θ = Γ α1( )!Γ αm( ) Γ α1,!,αm( ) なので、αk = nk+1とすると p θ | x n( ) ( )= Γ n + m( ) Γ n1 +1( )!Γ nm +1( ) ⋅θ1 n1 !θ1 nm ak = n + m k=1 m ∑ ディリクレ分布 事前分布を⼀一様分布とした場合、多項分布の事後分布は、αk = nk+1の ディリクレ分布であることが分かる ⇒ 多項分布とディリクレ分布は共役 証明はこちらを参考にどうぞ http://www.cis.nagasaki-u.ac.jp/~masada/DirDistNorm.pdf Dir α1,!,αm( )= Γ α( ) Γ α1( )!Γ αm( ) ⋅θ1 α1−1 !θ1 αm−1
- 19. 多項分布とディリクレ分布の関係 p θ | x n( ) ( )= 1 Z2 ⋅θ1 n1 !θ1 nm 多項分布の事後分布 θ1 α1−1 !θ1 αm−1 d Dm ∫ θ = Γ α1( )!Γ αm( ) Γ α1,!,αm( ) なので、αk = nk+1とすると p θ | x n( ) ( )= Γ n + m( ) Γ n1 +1( )!Γ nm +1( ) ⋅θ1 n1 !θ1 nm ak = n + m k=1 m ∑ ディリクレ分布 Dir α1,!,αm( )= Γ α( ) Γ α1( )!Γ αm( ) ⋅θ1 α1−1 !θ1 αm−1 事前分布を⼀一様分布とした場合、多項分布の事後分布は、αk = nk+1の ディリクレ分布であることが分かる ⇒ 多項分布とディリクレ分布は共役 証明はこちらを参考にどうぞ http://www.cis.nagasaki-u.ac.jp/~masada/DirDistNorm.pdf ちなみにm=2だったら ベータ分布になる
- 20. 多項分布のパラメータをベイズ推定する時、事後分布とし て使える（さっきの導出から当たり前だけど） ディリクレ分布はどう使える？ 3種の⽬目がでるサイコロを考えるサイコロの それぞれの⽬目の出易易さを考える。 サイコロの⽬目をv1, v2, v3とする。 以下の状況を仮定する 事前分布：⼀一様分布 尤度度：多項分布 ⇒事後分布：ディリクレ分布 サイコロの裏裏⾯面も 1,4,5だったら 3種しか出ない? Dir α1,!,αm( )= Γ α( ) Γ α1( )!Γ αm( ) ⋅θ1 α1−1 !θ1 αm−1 αk = nk+1とする。 nkはvkの⽬目が出た回数
- 21. 観測回数9回 n1=1, n2=3, n3=7の時 観測回数9回 n1=7, n2=1, n3=1の時 ディリクレ分布はどう使える？ 図は続・わかりやすいパターン認識識より抜粋 観測回数0回の時 観測回数9回 n1=3, n2=3, n3=3の時 x(n)を複数回観測するとこんな感じになる
- 22. l 多項分布に対して事前分布が⼀一様分布だと事後分布は ディリクレ分布 l 同様に、事前分布がディリクレ分布の場合も事後分布は ディリクレ分布になる 事前共役分布 p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( ) ディリクレ分布多項分布 ディリクレ分布になる
- 23. 導出 事前共役分布 p θ | x n( ) ( )= P x n( ) |θ( ) P x n( ) ( ) ⋅ p θ( ) = θ1 n1 !θ1 nm P x n( ) ( ) ⋅ Γ α( ) Γ α1( )!Γ αm( ) ⋅θ1 α1−1 !θ1 αm−1 = 1 P x n( ) ( ) ⋅ Γ α( ) Γ α1( )!Γ αm( ) ⋅θ1 α1+n1−1 !θ1 αm+nm−1 = 1 Z3 ⋅θ1 α1+n1−1 !θ1 αm+nm−1 = Dir α1 + n1,!,αm + nm( ) 事後分布はディリクレ分布になっている！ 定数で置き直す 正規化項だと思えば良良い
- 24. 尤度度=多項分布、事前分布=ディリクレ分布の時、 事後分布と事前分布が同じ分布になる ⇒事前共役分布という 他にも⾊色々あるけど聞いたことあるよね？ 事前共役分布 事前分布 データの分布 事後分布 ディリクレ分布 多項分布 ディリクレ分布 ベータ分布 ⼆二項分布 ベータ分布 ガンマ分布 指数分布 ガンマ分布 ガンマ分布 ポアソン分布 ガンマ分布 事前共役分布がある場合は、その分布を使うと 事後分布が簡単に求められるので便便利利
- 25. l ディリクレ分布の期待値、分散、モードは以下の通り 期待値、分散、モード E θ[ ]= α1 α ,!, αk α ,!, αm α ! " # $ % & V θ[ ]= α1 α −α1( ) α2 α +1( ) ,!, αk α −αk( ) α2 α +1( ) ,!, αm α −αm( ) α2 α +1( ) ! " ## $ % && M θ[ ]= α1 −1 α − m ,!, αk −1 α − m ,!, αm −1 α − m ! " # $ % & 期待値 分散 モード 導出は断念念しました。すみません。 あらびきさんのブログに期待値と分散は導出が有りました。 http://d.hatena.ne.jp/a_bicky/20100402/1270139105
- 26. おわり