マーク付き点過程2. (34)
はじめに
• 本資料は、[1]‐[4]の自分なりの理解メモです
– [1]‐[2]は、マーク付き点過程の直観的な理解、[3]‐[4]はマーク付き点過程とノンパラベイズとの関係
の理解を得るにあたって、大変参考になりました
• [1] Bognar, Matthew A. "Bayesian modeling of continuously marked spatial point patterns." Computational
Statistics 23.3 (2008): 361‐379.
• [2] Ortner, Mathias, Xavier Descombes, and Josiane Zerubia. "Building extraction from digital elevation
models.“, http://hal.archives‐ouvertes.fr/docs/00/07/20/71/PDF/RR‐4517.pdf
• [3] 佐藤一誠, “基礎からのBayesian Nonparametrics.” http://www.slideshare.net/issei_sato/bayesian‐
nonparametrics
• [4] 佐藤一誠, “Bayesian Nonparametrics入門 .“ http://www.slideshare.net/issei_sato/ppml
2
10. (34)
確率的に点とマークを打つということ(3/3)
• 強度関数= 強度×基底測度 × マーク分布
– 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度)
– 基底測度 : 時間軸の長さ、マーク分布 : マークの従う分布(局所的な点の密度)
• マークも点の次元と考える、ただし点の数は規定しない
X λ(A,B)=βG0(A)×ν(B)
G0(A)
強度関数
基底測度
β強度
ex. Gauss
G0(A)
X
基底測度
強度
β
X 点
ν(B)
マーク
M
ν(B) ex. Gauss
10
14. (34)
2つの疑問
• 基底測度とマーク分布の情報が結局 , に入ってるけど、点を打つプロセスとか意味あるの?
– あります
– 時系列・空間上の点 , は無限次元
– 次数が異なる , を扱うため、何らかの形でその次数を表現する上位モデルが必要
– この上位モデルが ,
– 値的には、 , の分配関数 , , に埋め込まれている
• , に押し付けると、何が嬉しいの?
– モデルの構成が単純になる
• 少しひねっただけで、強度関数をまともにかけなくなる
– 最適化(MCMC)の構成が超簡単になる
14
17. (34)
ディリクレ過程
• 定義
– 可測空間 Ω, の基底測度を 、集中度を とする
– 確率測度 が ~ , に従うとき、任意のdisjointなΩの分割 , … , に対して
– , … , ~Dirichlet , … ,
• 翻訳
– 基底測度 を に従う密度で離散化
– 各離散点には、正値で、総和が1となる重み(離散点を選ぶDirichlet分布のパラメータ)
G0
G0を離散化した点( G0に従う)
各点の重み(選択確率)
∗ :区間 ∗の重みの総和
17
21. (34)
パラメータ推定
• 目的関数
– 以下を満たす , を次数を含めて最適化
• ToyDataに対する最適化結果(MCMCを使う:後術の方法)
∗
, ∗
argmax
,
, , |
, , :ハイパーパラメータ
:モデルパラメータ
:混合比(非正規化)
混合数 ―真値
―推定値(xの次数)
混合比(正規化) パラメータ
w1 w2 w3 x1 x2 x3
推定値 0.158 0.242 0.604 0.177 10.036 19.871
真値 0.186 0.208 0.606 0.976 10.027 19.883
21
24. (34)
目的関数と最適化の方針
• 目的関数
– 事前分布としてマーク付き点過程が存在する場合を想定
• 最適化の方針
– MCMCを利用
• , , , | から、 所与のもと、 , をサンプリング
• サンプル平均=最適解
– 無情報事前分布を仮定したMAP推定
– アニーリングしてもよい
– 注意点
• , をサンプリングする過程で、 , のサンプリングも必要
• , は無限次元
∗, ∗ argmax
,
, , , |
尤度 事前分布:点過程
※赤字・・・Unknown
24
25. (34)
【復習】MCMC(1/2)
• から、 のサンプリング
– がわかっていなくても良い
• → → を満たす遷移確率 を用いて逐次サンプリング
• 上記条件を満たす遷移確率
→ min 1,
′
⋅
→
→
min 1,
′
⋅ ⋅
→
→
min 1,
′
⋅
→
→
→ :提案分布(任意の遷移確率により決められるサンプル候補)
25
26. (34)
【復習】MCMC(2/2)
• Given and ← 0
• Proposal Step
– sampling from →
• Acceptance‐Rejection Step
– ← with probability
– ← with probability 1
• min 1, ⋅
→
→
• ← 1
26
27. (34)
マーク付き点過程のMCMC:遷移確率
• , , , とすると、 , , , | からサンプルを得るための遷移確率 は、
→ min 1,
| , , ′
| , ,
⋅
, | ′
, |
→
→
min 1,
| , , ′
| , ,
⋅
exp , ;
exp , ;
⋅ ⋅
→
→
Likelihood Ratio Prior Ratio Proposal Ratio
Model Evidence Ratio
27
28. (34)
マーク付き点過程のMCMC:アウトライン
• Let , , , , Given , , , , and ← 0
• Proposal Step
– sampling from →
• Acceptance‐Rejection Step
– ← ∗ w.p.
– ← w.p. 1
• ← 1
min 1,
| , , ′
| , ,
⋅
exp , ;
exp , ;
⋅ ⋅
→
→
28
29. (34)
• Proposal Type
– パラメータ値の摂動
• ‐move , , , → , , , : w.p.
• ‐move , , , → , , , : w.p.
– 点の値の摂動
• ‐move , , , → , , , s. t. | | : w.p.
• ‐move , , , → , , , s. t. | | : w.p.
– 点の数の摂動
• , , , → , , ∪ , ∪ : w.p.
• , , , → , , ∖ , ∖ : w.p.
– where, ∑ ∗ 1, ∗ 0
29
30. (34)
• , , , ‐move
– Symmetric
• じゃなくてもいいけど、設計が楽なのでそうします
– (例) ‐move , , , → , , ,
• → Uniform ∆ , Δ
min 1,
| , , ′
| , ,
⋅
exp , ;
exp , ;
⋅ ⋅
→
→
30
31. (34)
• ,
– Symmetricには出来ない
• 点を支配する確率(押し付け後のスッキリした奴)に従ってサンプリング
– ,
– | |
– : Uniform
– , , , → , , ∪ , ∪
• , :点とマークの定義域とすると
– , , , → , , ∖ , ∖
• :点 の数とすると
→
,
,
1
∵ : Uniform, | |
→
1
∵ | |
31
33. (34)
というわけでマーク付き点過程のMCMC
• Let , , , , Given , , , , and ← 0
• Proposal Step
– sampling from →
• , , , ‐move : e.x. ‐move : Uniform ∆ , Δ
• : ⁄ , : ⁄
• Acceptance‐Rejection Step
– estimate ⁄ using Importance Sampling
– ← ∗ w.p. , ← w.p. 1
• ← 1
min 1,
| , , ′
| , ,
⋅
exp , ;
exp , ;
⋅, , , ‐move
min 1,
| , , ′
| , ,
⋅
exp , ;
exp , ;
⋅ ⋅
1
min 1,
| , , ′
| , ,
⋅
exp , ;
exp , ;
⋅ ⋅
33