Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
ハミルトニアンモンテカルロ
確率分布からのサンプリング理論
Twitter:@UMU____
目次
• ハミルトニアンモンテカルロ法とは
• マルコフ連鎖の定常分布と詳細つり合い条件
• メトロポリス・ヘイスティング法
• ギブスサンプリング法
• リウビユ定理
• ハミルトニアンモンテカルロ法
ハミルトニアンモンテカルロ法とは
• 求める確率分布からサンプリングを行う方法の一種.
ハミルトニアンモンテカルロ法は,解析力学でよく知られるハミ
ルトニアンをサンプリングのために利用している.
• 確率分布からサンプリングを行うことで,多重積...
マルコフ連鎖の定常分布と
詳細つり合い条件
• マルコフ連鎖モンテカルロ法では,マルコフ連鎖を用いて,求
める確率[分布]p(x)からサンプリングを行う.
• マルコフ連鎖は,現在のxから次のyへの遷移確率[分布]を表す,
推移核f(x,y)に...
マルコフ連鎖の定常分布と
詳細つり合い条件
• 詳細つり合い条件を満たせば定常分布となるのは明らか
→p’(x)=∫p(y)f(y,x) dy=∫p(x)f(x,y)dy=p(x)∫f(x,y)dy=p(x)■
• 推移核として,写像関数y=g...
メトロポリス・ヘイスティング法
• メトロポリス・ヘイスティング法は,提案分布q(x,y)と採択確
率w(x,y)によって詳細つり合い条件を満たす推移核を作る方法
である.
• 求める確率分布をp(x)とする.採択確率が1ならば,マルコフ連
鎖...
メトロポリス・ヘイスティング法
• ここで,wは大きい方が良いので(棄却が多いと時間がかかる
ため), p(x)q(x,y)< p(y)q(y,x)としても一般性を失わないの
で,
w(x,y)=1,w(y,x)= p(x)q(x,y) /p(...
ギブスサンプリング
• ギブスサンプリング法は,推移核を完全条件付き分布の混合型
推移核にする方法である.
• すなわち,xがN次元のとき
f1(x,y)=δ(x2,y2)δ(x3,y3)…δ(xN,yN) p(x1=y1|x2,..,xN)
...
リウビユの定理
ハミルトニアンモンテカルロ法の導入
• 位置x,運動量pの質点があったとき,位置エネルギーU(x)と,運
動エネルギーK(p)=p^2/2mを導入して,H(ハミルトニアン=
力学的エネルギー)をH=U+Kとすると,この系で質点を...
ハミルトニアンモンテカルロ法
• ハミルトニアンモンテカルロ法は,運動によってハミルトニア
ンが不変で,かつ閉区間の密度が変わらないという性質を利用
する.位相空間上の一点(x,p)の運動による移動を写像g :
(xn,pn)=g(x,p)とと...
ハミルトニアンモンテカルロ法
よって,確率分布qに対して,
q(x,p) f((x,p), (xn,pn))=q(xn,pn)f((xn,pn), (x,p))
q(x,p)δ((xn,pn),g(x,p))= q(xn,pn) δ((x,p)...
ハミルトニアンモンテカルロ法
すなわち,
q(x,p)∝ exp(p^2/2m)×p(x) から,
∫q(x,p)dp ∝p(x)
→求める分布からサンプリングできた.(ただしH=一定)
・p(x)はHが変動するxを含むので,Hを変動させるため...
ハミルトニアンモンテカルロ法
• ただし,ハミルトニアンモンテカルロ法によって,位相空間す
べてがサンプリングされると保証されているわけではない.
→エルゴード性と関係?
Prochain SlideShare
Chargement dans…5
×

ハミルトニアンモンテカルロ法についての説明

1 479 vues

Publié le

KCS-AI班 3/23の活動で使用したスライドです.

Publié dans : Technologie
  • Soyez le premier à commenter

ハミルトニアンモンテカルロ法についての説明

  1. 1. ハミルトニアンモンテカルロ 確率分布からのサンプリング理論 Twitter:@UMU____
  2. 2. 目次 • ハミルトニアンモンテカルロ法とは • マルコフ連鎖の定常分布と詳細つり合い条件 • メトロポリス・ヘイスティング法 • ギブスサンプリング法 • リウビユ定理 • ハミルトニアンモンテカルロ法
  3. 3. ハミルトニアンモンテカルロ法とは • 求める確率分布からサンプリングを行う方法の一種. ハミルトニアンモンテカルロ法は,解析力学でよく知られるハミ ルトニアンをサンプリングのために利用している. • 確率分布からサンプリングを行うことで,多重積分を行うこと ができ,多重積分は,ベイズ統計・計算物理学・計算生物学に て使われる. • 確率分布からサンプリングを行う手法としては,その他にメト ロポリス・ヘイスティング法,ギブスサンプリング法などがあ る.これらはすべてマルコフ連鎖モンテカルロ法の一種である.
  4. 4. マルコフ連鎖の定常分布と 詳細つり合い条件 • マルコフ連鎖モンテカルロ法では,マルコフ連鎖を用いて,求 める確率[分布]p(x)からサンプリングを行う. • マルコフ連鎖は,現在のxから次のyへの遷移確率[分布]を表す, 推移核f(x,y)によって表現される. • このとき,p(x)f(x,y)=p(y)f(y,x)が満たされる場合,推移核 f(x,y)によるマルコフ連鎖は,p(x)を定常分布にもつ,十分条件 となる.これを詳細つり合い条件と呼ぶ. 例)x∈{A,B}とする.p(A)=0.2,p(B)=0.8となるようにマルコフ連 鎖によってサンプリングしたければ,詳細つり合い条件を満たす うに,f(A,A)=0.6,f(A,B)=0.4,f(B,A)=0.1,f(B,B)=0.9とすればよい.
  5. 5. マルコフ連鎖の定常分布と 詳細つり合い条件 • 詳細つり合い条件を満たせば定常分布となるのは明らか →p’(x)=∫p(y)f(y,x) dy=∫p(x)f(x,y)dy=p(x)∫f(x,y)dy=p(x)■ • 推移核として,写像関数y=g(x)を用いて確定的にマルコフ連鎖 を行う場合は,f(x,y)=δ(y,g(x))/det|g(x)|となる.(δはデルタ 関数) (写像による圧縮) • 推移核を2つ確率的に使い分けることもでき,推移核 f1(x,y),f2(x,y)をそれぞれ確率w,(1-w)で使うとf(x,y)=w*f1+(1- w)*f2とできる.(混合型推移核)
  6. 6. メトロポリス・ヘイスティング法 • メトロポリス・ヘイスティング法は,提案分布q(x,y)と採択確 率w(x,y)によって詳細つり合い条件を満たす推移核を作る方法 である. • 求める確率分布をp(x)とする.採択確率が1ならば,マルコフ連 鎖は提案分布q(x,y)によって行われる(つまりf=q). →当然,詳細つり合い条件を満たすわけがない. ・ここで,提案分布によるサンプリングをwで採択(1-wで棄却) という方法を取るとすれば, p(x)q(x,y)w(x,y)=p(y)q(y,x)w(y,x)となるようにwを決めること によって(つまり,f=qw)詳細つり合い条件を満たす.
  7. 7. メトロポリス・ヘイスティング法 • ここで,wは大きい方が良いので(棄却が多いと時間がかかる ため), p(x)q(x,y)< p(y)q(y,x)としても一般性を失わないの で, w(x,y)=1,w(y,x)= p(x)q(x,y) /p(y)q(y,x)とすることで,wを最大 化したうえで, p(x)q(x,y)w(x,y)=p(y)q(y,x)w(y,x)を満たす. →pをサンプリングできた. • ここで,q(x,y)=q(y,x)なる提案分布を選べば, w(x,y)=min(1,p(x)/p(y))と採択率を単純化できる. (なので実用的にはq(x,y)はxを平均とした正規分布を用いる)
  8. 8. ギブスサンプリング • ギブスサンプリング法は,推移核を完全条件付き分布の混合型 推移核にする方法である. • すなわち,xがN次元のとき f1(x,y)=δ(x2,y2)δ(x3,y3)…δ(xN,yN) p(x1=y1|x2,..,xN) f2(x,y)= δ(x1,y1)δ(x3,y3)…δ(xN,yN) p(x2=y2|x1,x3,..,xN) … として,f=1/N{f1+f2+…fN}となる. →これは,あきらかに詳細つり合い条件を満たす. (f1,f2,…,fNが単体で詳細つり合い条件を満たしている)
  9. 9. リウビユの定理 ハミルトニアンモンテカルロ法の導入 • 位置x,運動量pの質点があったとき,位置エネルギーU(x)と,運 動エネルギーK(p)=p^2/2mを導入して,H(ハミルトニアン= 力学的エネルギー)をH=U+Kとすると,この系で質点を運動さ せるとHが保存する.(全エネルギー保存則) • (x,p)で構成される空間を位相空間とよぶ. 位相空間上で任意の閉領域を考える(位置と運動量が閉区間で定 義される制約条件内に入っているような状況をすべて集めたもの と考えられる)と,一定時間運動した後も(閉区間の形が変わ る),閉領域の面積は不変(リウビユの定理)
  10. 10. ハミルトニアンモンテカルロ法 • ハミルトニアンモンテカルロ法は,運動によってハミルトニア ンが不変で,かつ閉区間の密度が変わらないという性質を利用 する.位相空間上の一点(x,p)の運動による移動を写像g : (xn,pn)=g(x,p)ととらえて,この写像を推移核として用いるこ とを考える.すなわち, f((x,p), (xn,pn))=δ((xn,pn),g(x,p))/det|g(x,p)| となる. ここで,gによる閉区間の密度は変わらないから, det|g(x,p)|=1 より, f((x,p), (xn,pn))= δ((xn,pn),g(x,p)).
  11. 11. ハミルトニアンモンテカルロ法 よって,確率分布qに対して, q(x,p) f((x,p), (xn,pn))=q(xn,pn)f((xn,pn), (x,p)) q(x,p)δ((xn,pn),g(x,p))= q(xn,pn) δ((x,p),g(xn,pn)) q(xn,pn)=q(x,p) より,q(x,p)∝1が定常分布となる. (q(x,n)∝1とするとfが詳細つり 合い条件を満たす. ここで,求める分布p(x)を用いて, U(x)=-log(p(x))とすれば, H=p^2/2m –log(p(x))かつH一定より, q(x,p)∝1∝exp(-H)=exp(p^2/2m-log(p(x)))=exp(p^2/2m)×p(x).
  12. 12. ハミルトニアンモンテカルロ法 すなわち, q(x,p)∝ exp(p^2/2m)×p(x) から, ∫q(x,p)dp ∝p(x) →求める分布からサンプリングできた.(ただしH=一定) ・p(x)はHが変動するxを含むので,Hを変動させるために,pを ギブスサンプリングする. q(x,p)はx,pが互いに独立のため,q(p|x)∝ exp(p^2/2m)であり, これは正規分布である. →pを正規分布からサンプリングすればよい.
  13. 13. ハミルトニアンモンテカルロ法 • ただし,ハミルトニアンモンテカルロ法によって,位相空間す べてがサンプリングされると保証されているわけではない. →エルゴード性と関係?

×