Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章

3 532 vues

Publié le

Osaka.stan #3にて発表した6章「統計モデリングの視点から確率分布の紹介」という資料です。

Publié dans : Données & analyses
  • Soyez le premier à commenter

StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章

  1. 1. 統計モデリングの視点 から確率分布の紹介 Osaka.Stan #3 広島大学 難波修史 StanとRで ベイズ統計モデリング読書会
  2. 2. 自己紹介 • 難波修史 @Nsushi • 広島大学教育学研究科心理学専攻D生 • 専門:顔、感情、ド文系 • 興味:ベイズ • 使用言語:Python, R • R歴:初心者
  3. 3. 過去の発表 日本最大級のRのイベントで「にっこにっこにー」 というアニメの決め台詞を口にし、ダダ滑りした人
  4. 4. 本発表の対象者 •「数式に苦手意識あり」、「統計モ デリング初学者」、「でも勉強しと かないとやばい気がする」という 方々をメインにしています。 •僕も上記の対象者に含まれます。
  5. 5. これまでのOsaka.Stan (=本書で扱われてきたモデル 応答変数が正規分布に 従う、という仮定 上図=Wikiより参照: https://ja.wikipedia.org/wiki/%E 6%AD%A3%E8%A6%8F%E5 %88%86%E5%B8%83 俗にいう「線形モデル」を扱ってきました!
  6. 6. これまでの (心理) 統計 • 因子分析の前提=データが正規分布して いること (松尾・中村、2002) • 分散分析の前提=データが正規分布して いること(村山先生のHP 我々=すでに正規分布のフレンズ
  7. 7. 感想 正 規 分 布 ©なんJ
  8. 8. 今後の話 線形モデル (正規分布がメイン 一般化線形モデル (Chapter 5も含む 正規分布以外 の確率分布を 扱いたい。 このための準備 (正規分布以外 の確率分布の知識) が必要!!
  9. 9. 正規分布以外の分布を 使う必要性? •応答変数が明らかに正規分布しない 例:出席率 (5-2等)、履修登録 (5-4) •データが少ない場合に推定がうまく いかない → 事前分布による調整が 必要な場合も 例:コーシー分布や t 分布 (10章等)
  10. 10. 他の分布の理解は必要不可欠 •ベイズ統計モデリングでは、事前分 布を選択する時にも確率分布に関す る最低限の理解が必要 • 色んな分布と適用例を詳しく 知りたい人は豊田 (2015, 2017) を読もう→
  11. 11. この章の目的 •この本の読者 =統計モデリングがしたい! •基本的な道具を知っておかないと! (よく使われる)確率分布 をまずは知りましょう!!
  12. 12. ま だ
  13. 13. 分布の紹介時の注意① • 本資料では松浦本と同様、数学的に扱い やすい分散でなく標準偏差を記載します。 • 理由1.平均と標準偏差は同じ単位で比 較しやすく、モデリングを考察しやすい • 理由2.正規分布を指定する関数では引 数として、標準偏差をとるため
  14. 14. 分布の紹介時の注意② 関数や平均などの情報も一応記載 していますが、基本的にはイメー ジをつかむことを優先して淡々と 作成した資料です。 過度な期待はしないでください。 (また、誤りがあれば適宜ご指摘ください
  15. 15. 分布勉強におすすめのアプリ • http://statdist.ksmzn.com/ • @ksmzn様が作成したShinyで確率分布 を動かして遊べるページがあります。 • 6章を読みながらパラメータをいじって いろんな確率分布とフレンドになりま しょう!! • 右図=Interface 「確率分布いろいろ」でググる!
  16. 16. 分布勉強におすすめの…
  17. 17. 一様分布
  18. 18. 一様分布とは •特定区間の確率が等しい分布
  19. 19. 6.1 一様分布 • 確率密度関数(確率変数を記述する関数 • Uniform (y | a,b) 1 𝑏−𝑎 (a ≦ x ≦ b) 0 上記以外
  20. 20. 一様分布 • パラメータ:実数a, b (a < b) • 範囲:y=[a, b]の範囲の実数 • 平均:(a+b) / 2 • 標準偏差:(b-a) / √12
  21. 21. 一様分布の例 a = -2, b = 1
  22. 22. 使用例:無情報事前分布 • 無情報事前分布=事後分布を求める際 に、影響を与えないような分布 一様分布=特定区間の確率が等しい分布
  23. 23. Stanでは? •Stan:パラメータの事前分布を明示 的にmodelブロックで設定しない → とりうる範囲で一様な事前分布 が設定される!
  24. 24. 例:model4-5.stan • 右図では各パラメータ で明示的な事前分布が 設定されてない a ~ uniform(-∞, ∞) b ~ uniform(-∞, ∞) sigma ~ uniform(0, ∞) ← 下限設定のため modelブロックには以下 が非明示的に設定される
  25. 25. ベルヌーイ分布
  26. 26. ベルヌーイ分布とは •表裏があるコインの表が出る 確率の分布
  27. 27. 6.2 ベルヌーイ分布 • 確率質量関数(離散だと密度ではなく質量 • Bernoulli (y | θ) θ y = 1の場合 1 − θ y=0の場合 ※θ 𝑦 1 − θ 1 − 𝑦
  28. 28. ベルヌーイ分布 • パラメータ: θ [0,1] の範囲の実数 • 範囲:y=0か1のいずれかの整数値 • 平均: θ • 標準偏差:√θ(1 − θ)
  29. 29. ベルヌーイ分布の例 θ=0.2 (例:けん玉 側面にのせる 成功確率
  30. 30. 例①:コイン • コインの表・裏のような2値を表現する 際に用いる (他には薬が効く、効かない など)。
  31. 31. 例②:出席率 •パラメータθ= [0, 1] の範囲の実数 •出席率 (欠席=0、出席=1) のような 応答変数に対して、ロジスティック 関数と組み合わせて用いることが多 い (具体例など詳しくは5-3)。
  32. 32. 二項分布
  33. 33. 二項分布とは •ベルヌーイ分布に従う試行 をN回行った結果の確率に 関する分布
  34. 34. 6.3 二項分布 • 確率質量関数 • Binomial (y | N, θ) N! 𝑦! 𝑁 −𝑦 ! θ 𝑦 1 − θ 𝑁 − 𝑦
  35. 35. 二項分布 • パラメータ: N=正の整数、θ=[0,1] の範囲の実数 • 範囲:y=0,1, … N のいずれかの整数値 • 平均: Nθ (1いれるとベルヌーイ分布と一致 • 標準偏差:√Nθ(1 − θ)
  36. 36. 二項分布の例 N = 10 θ=0.2 × 10
  37. 37. 二項分布の再生性 • Nの異なる同じパラメータθの二項分布か ら確率変数y1とy2が生成される → y1 + y2 はBinomial (N1 + N2, θ) に従う コイン表が出るパラメータ=多分0.5 × 10 × 6 = × 16 Binom (10, 0.5) Binom (6, 0.5) Binom (16, 0.5) +
  38. 38. 例 • Nが与えられた場合のベルヌーイと同様 • 具体的な例は5-2
  39. 39. ベータ分布
  40. 40. ベータ分布とは •ベルヌーイ・二項分布と共役 な関係 (事後分布算出に都合 のいい性質) を持つ分布
  41. 41. 6.4 ベータ分布 • 確率密度関数 • Beta (θ| α, β) 1 𝐵 α,β θα − 1 1 − θ β − 1
  42. 42. ベータ分布 • パラメータ: α、β=正の実数 • 範囲:θ=[0,1]の範囲の実数 • 平均: α α+β • 標準偏差: √αβ α+β √α+β+1 • 範囲 0-1 の連続型分布=確率θ生成分布 → 尤度がベルヌーイ・二項分布時に利用可能 +その他の [0, 1] の範囲の変数にも適用可能
  43. 43. ベータ分布の挙動① α=1, β=1 → 標準一様分布と等価 α固定、β変化 → β小さくなる → 平均が1へ
  44. 44. ベータ分布の挙動② α=0.5, β=0.5 → 逆正弦分布と等価 ?逆正弦分布: http://physnotes.jp/stat/asin_d/ β固定、α変化 → α大きくなる → 平均が1へ
  45. 45. ベータ分布の挙動③ 極めて多様な 分布形状をと ることができ るのが特徴 参照: http://www.ntrand.com/jp /beta-distribution/
  46. 46. 使用例:広島大学平川先生の資料より拝借(ベータ分布とは: http://www.slideshare.net/makotohirakawa3/nituite) ベルヌーイ・二項分布におけるパラメータの場合が多い
  47. 47. 書籍内での例:故障率 • 見たいパラメータ=故障率 • M個中Y個故障×N品目 イメージ図 [N = 1:アンパン] モデル式 θ ~ Beta(α、β) #故障率パラメータ Y ~ Binomial (M, θ) ジャムおじさん のパン工場 3つのアンパンと 1つのこげパン
  48. 48. ジャムおじさん (データ生成源) に関する事前情報を設定可能 • 書籍ではN品目間の違いから弱情報事前 分布をイメージ+設定 あのおじさん ムラがはんぱ ないよね。 → α、βにちょっ とした情報を載 せた解析も可能 まぁ、基本的には我々が科学的な用途で 用いる場合、無情報を設定しましょう。 かばおくん リアルな ジャムおじさん
  49. 49. カテゴリカル分布、 多項分布、 ディリクレ分布
  50. 50. 基本的に… カテゴリカル分布・多項分布・ ディリクレ分布 これらの分布はベルヌーイ分布・ 二項分布・ベータ分布を拡張した ものです。 これらが分かっていれば理解は 比較的簡単…なはず!!
  51. 51. 分布間の関係 参考:http://machine- learning.hatenablog.com/ent ry/2016/03/26/211106 ?共役=尤度関数 (データ) と掛けて事後分布を求めると関数系が同じになるやつ
  52. 52. カテゴリカル分布
  53. 53. カテゴリカル分布とは •kの目が出る確率 (生起確 率) が𝜃 𝐾であるようなK面 を持つサイコロの分布
  54. 54. 6.5 カテゴリカル分布 • 確率質量関数 • Categorigal (y = 𝑘|θ) = θk ※Categorigal (y = 2|θ) ≠ Bernoulli (θ) ※ 𝑘=1 K θ 𝑘 𝑦𝑘
  55. 55. カテゴリカル分布 • パラメータ: K=2以上の正の整数 θ=長さKのベクトル、各要素は[0,1]の 範囲の実数で合計すると1になる。 • 範囲:y=1,2, … Kのいずれかの整数 • 平均: I[y = k] の平均=θ 𝑘 • 分散共分散:I[y = k] の分散=θ 𝑘 (1 − θ 𝑘) I[y = k] とI[y = k’] の共分散 (k ≠ k’)=−θ 𝑘θ 𝑘‘ I[y = k] は y = k となる場合に1を返し、それ以外は0を返す関数
  56. 56. カテゴリカル分布の例 • 右図:K=5, 𝜃=(0.1, 0.2, 0.25,0.35, 0.1)T • 確率なので合計は1
  57. 57. 使用例:ソフトマックス回帰 • 店Aに3つの商品 (チョコ、飴、グミ) があると する (K = 3)。 • その選択に関わりそうな説明変数=性別のみと する。 すると以下のモデル式が提案可能。 • μ[n] = a + b*Sex[n] n = 個人 • θ[n] = softmax (μ[n]) = ベクトル • Y[n] ~ Categorical(θ[n]) 長さKのベクトル=3商品 の選択に関する線形結合 ※softmax関数=expを用いて [-∞, ∞] をとりう る値を正の値にしてから、合計が1になる (カテ ゴリカル分布にあう) ように規格化するもの
  58. 58. 多項分布
  59. 59. 多項分布とは •kの目が出る確率が𝜃 𝐾であるようなK 面を持つ (カテゴリカル分布に従う) サイコロ投げをN回行ったときの、 各目の出る確率を示す分布 •イメージ:二項分布の拡張 (ただし K=2の多項分布=y1, y2をカウント ⇔二項分布=生起回数のみカウン ト)
  60. 60. 6.6 多項分布 • 確率質量関数 • Multinomial (y|𝑁, θ) = N! Π 𝑘=1 𝐾 𝑦 𝑘 𝑘=1 K θ 𝑘 𝑦𝑘
  61. 61. 多項分布 • パラメータ: K=2以上の正の整数、 N=正の整数 θ=長さKのベクトル、各要素は [0,1] の 範囲の実数で合計すると1になる。 • 範囲:y=長さKのベクトル。各要素は0,1, … Nのいずれかの整数で合計するとNになる • 平均: yk の平均=Nθ 𝑘 • 分散共分散:yk の分散=Nθ 𝑘 (1 − θ 𝑘) yk と yk’ の共分散 (k ≠ k’)=−Nθ 𝑘θ 𝑘‘
  62. 62. 多項分布の例 N=3, 𝜃=(0.3, 0.3, 0.4)T (参照 http://www.biwako.shiga- u.ac.jp/sensei/mnaka/ut/statdist.html
  63. 63. 使用例 •Nが与えられたカテゴリカル分 布、でOK ⇔ 試行回数1の多項 分布=カテゴリカル分布 • 実際、平均や分散などもカテゴリカル分布 のやつにNがかけられてるだけ(本参照) (ベルヌーイ・二項分布も同じ関係
  64. 64. 式的な差異 • カテゴリカル分布 • 多項分布 試行回数の要素 中身はほぼ一緒
  65. 65. ディリクレ分布
  66. 66. ディリクレ分布とは =ベータ分布の多変量版。多項・カテゴ リカル分布の共役事前分布 =「合計すると1になる確率のベクトル𝜽」 を生成する分布。 ゆえに重要!
  67. 67. 6.7 ディリクレ分布 • 確率密度関数 • Dirichlet (θ|α) = 1 B(α) 𝑘=1 K θ 𝑘 α 𝑘−1 正規化定数 カーネル Q. 正規化定数?カーネル? A. 前者は積分を1にするための定数 (定義は本家) 後者は確率分布の本質的な部分
  68. 68. ディリクレ分布 • パラメータ: K=2以上の正の整数、 α=各要素は正の実数。 • 範囲:θ=長さKのベクトル。各要素は (0,1) の範囲の実数で合計すると1になる • 平均: θk の平均=α 𝑘/αsum • 分散共分散: θk の分散=α 𝑘 αsum − α 𝑘 / α 𝑠𝑢𝑚 2 (α 𝑠𝑢𝑚+1) θk と θk’ の共分散 (k ≠ k’)=−α 𝑘α 𝑘‘/(α 𝑠𝑢𝑚 2 (α 𝑠𝑢𝑚+1)) ※ 𝑘=1 𝐾 α 𝑘 = α 𝑠𝑢𝑚とする
  69. 69. 視覚化①(参照:http://y-mattu.hatenablog.com/entry/2016/03/03/143451 • 我々にぎりぎり可視化できる3次元の図 αが高い =確実性 が高い
  70. 70. 視覚化② • 歪んだパラメータ 平均をとると、(0.09, 0.23,0.68) =わー!確率になります!!
  71. 71. 使用例:多項・カテ分布のパラメータθベクトル生成 • θをデータから推定する。αは固定値を与 えることもあれば、データから推定する こともある。 • ディリクレ分布=どんな形のサイコロを 生成しやすいかを決める分布ともいえる。
  72. 72. 具体例 • 店Aの例 (3商品:チョコ、飴、グミ) で いうとグミだけ選ばれやすいαの事前分 布の例は以下。 • θ = Dirichlet (α1 = 1, α2 = 1, α3 = 8) • Y ~ Categorical(θ) チョコ 飴 グミ
  73. 73. 指数分布
  74. 74. 指数分布とは •事象の生起間隔 (ある事象が起こって 次にまた発生するまでの間隔) の確率 • ランダムなイベントの発生間隔を表す分布
  75. 75. 6.8 指数分布 • 確率密度関数 • Exponential (y|λ) = λexp(−λ𝑦) 超参照(指数分布とポアソン分布のいけない関係): http://www.slideshare.net/teramonagi/ss-11296227 ※ 本家ではλではなくβですが、後でポアソン分布との関係をわ かりやすくするためあえてλとしています。 ※λ𝑒 − λ𝑦
  76. 76. 指数分布 • パラメータ: λ(rate)=正の実数 • 範囲:y = y≧0の実数 • 平均: 1/λ • 標準偏差:1/λ ただ一つのパラメータ だけで特徴づけられる パラメータはいつも一つ +コナン君
  77. 77. 指数分布の例
  78. 78. 指数分布の無記憶性 • 無記憶性を持つ連続型の確率分布 • Pr(y > s+t | y > t) = P(y > s) • 次に事象が発生するまでの時間 は今まで待った時間と関係ない 指数分布の擬人化 記憶なくす人
  79. 79. 無記憶性の例 Pr(y > s+t | y > t) = P(y > s) 例: 指数分布に従うワイングラス が壊れるまでの時間 → 3年 (t) 使っても壊れない → その先1年 (s+t) で壊れる確率 = 使い始め1年 (s) で壊れる確率 2日連続で 記憶失う人
  80. 80. データ・使用例 • パラメータλの解釈=ある時間中におけ る事象の平均生起回数 → 事故・地震の発生間隔など • 正の実数を持つパラメータを生成する分 布として使うことも(10章参照
  81. 81. 計算してみる • 1時間に平均5人が訪れるWebサイト → 次の訪問者が来るまでの間隔が12分 である確率を求めよ • λ=5, y = 12 / 60を公式に代入 • 確率“密度”=1を超える tera-monagi様の資料より参照:http://www.slideshare.net/teramonagi/ss-11296227
  82. 82. ポアソン分布
  83. 83. ポアソン分布とは •単位時間 (1時間・1秒間など) 当た りのある事象の生起確率 •単位時間あたり平均λ回起こるラン ダムな事象が単位時間中にy回起こ る確率= 1 𝑦! λ 𝑦 exp(−λ)
  84. 84. 6.9 ポアソン分布 • 確率密度関数 • Poisson (y|λ) = 1 𝑦! λ 𝑦 exp(−λ) 参照=tera-monagi様の「指数分布とポアソン分布のいけない 関係」:http://www.slideshare.net/teramonagi/ss-11296227
  85. 85. ポアソン分布 • パラメータ: λ=正の実数 • 範囲:y=0,1,2…のいずれかの整数値 • 平均: λ • 標準偏差:√λ ただ一つのパラメーター だけで特徴づけられる パラメータ=平均なので 「パラメータλのポアソン分布」 or「平均λのポアソン分布」 呼び方
  86. 86. ポアソン分布の例 λ=2.5
  87. 87. ポアソン分布の再生性 • 同じパラメータλのポアソン分布から確率 変数y1とy2が生成される → y1 + y2 はPoisson (λ1 + λ2) に従う とあるアカウントがつぶやくパラメータ=1時間当たり2.5 y1 y2 y1+y2+ = 2時間に5回 4時間に10回 6時間に15回
  88. 88. 指数分布とポアソンの関係① • 単位時間あたり平均 λ 回起こるような ランダムなイベントに対して、 1.一単位時間にイベントが起きる 回数は平均 λ のポアソン分布に従う。 2.イベントの発生間隔は平均 1 / λ の指数分布に従う。
  89. 89. 指数分布とポアソンの関係② 同一のある“事象”に対して • ポアソン分布=単位時間当たり平均 λ 回 → 回数に注目 • 指数分布=平均 1/λ 単位時間に一回 → 時間に注目! シミュレーションはtera-monagi様の資料を参照(指数分布とポアソン分布 のいけない関係):http://www.slideshare.net/teramonagi/ss-11296227
  90. 90. 二項分布とポアソンの関係 •Nが大きく、θが小さい二項分布 → ポアソン分布に近似!! 証明の仕方は各自ググるなり、以下のスライドを参照するなりし てください(itoyan110様の「ベルヌーイ分布からベータ分布まで を関係づける」http://www.slideshare.net/itoyan110/ss-69491897 すごーいって 言ってるサー バルちゃん
  91. 91. 正規分布とポアソンの関係 •λが大きいポアソン分布 → 正規分布に近似!! 証明の仕方は各自ググるなりしてください すごーいって 言ってるサー バルちゃん
  92. 92. データ例① • 1日の間に観測される動物の個体数、1 時間の間に届くメールの数 (指数分布の 解説も含むよい例が以下のサイトに (http://www.ntrand.com/jp/poisson-distribution/) )、これら は背後に指数分布に従うイベントが考え られる。 例は「馬に蹴られてポアソン分布」でググ れば一番上にでてきます (2017.2月現在)。
  93. 93. データ例② • マンボウが卵を生んで、成魚になる 数、これは背後に二項分布があって、 Nが大きくθが小さいと考えられる。
  94. 94. 使用例 • カウントデータに対して使う場合が多い • 具体的な例は5-4
  95. 95. ガンマ分布
  96. 96. ガンマ分布とは? • 流れ星の例で考える • 流れ星がα個観測されるまでの時間 → ガンマ分布 =母数βの指数分布に従う事象がα回 生じるまでの時間の分布 お笑い芸人の 流れ星のプロ フィール画像
  97. 97. 6.10 ガンマ分布 • 確率密度関数 • Gamma(y|α, β) = βα Γ(α) 𝑦α−1 exp(−β𝑦) 正規化定数 カーネル 正規化定数の定義は本家を参照
  98. 98. ガンマ分布 • パラメータ:α (shape), β (rate)=正の実数 • 範囲:y=正の実数 • 平均: α/β • 標準偏差:√α/β
  99. 99. 他の分布との関連 •おなじく流れ星の例 •単位時間あたりに流れる流れ星の数 → ポアソン分布 •流れ星が初めて観測されるまでの時間 → 指数分布
  100. 100. まとめ ポアソン分布=回数、 指数・ガンマ分布=時間に注目 ただし、指数分布の場合は最初の観 測まで。ガンマ分布はα回数観測ま での時間、ゆえにαが1の場合は指数 分布と定義式が一致する(本書参照
  101. 101. ガンマ分布の例 α固定でβ大きく → 平均が小さく
  102. 102. ガンマ分布の再生性 • (一部の分布同様), 同じパラメータβのガンマ 分布から確率変数y1とy2が生成される それの和 → Gamma(α1 + α2, β) に従う 具 体 例 を 説 明 で き な い ベ ジ ー タ 思い浮か ばなかっ ただけ。
  103. 103. データ例: 広島大学山根先生の資料より拝借(ガンマ 分布:http://tyamane1969.net/?p=97)
  104. 104. 使用例:引き続き同資料より抜粋 • 正の実数を持つパラメータを生成する分布とし て使うことが多い。具体例は10章を参照。
  105. 105. 正規分布
  106. 106. 正規分布とは •平均値μから正負の両方向に 均等に広がる分布 • 色んな現象がN増やしたら概ね正規分 布に近似する (中心極限定理)、様々な 分布と関連するなど、とにかく人気の 分布・統計学における金字塔(多分
  107. 107. 6.11 (みんな大好き) 正規分布 • 確率密度関数 • Normal(y|μ, σ) = 1 √2πσ exp(− 1 2 y−μ σ 2)
  108. 108. 正規分布 • パラメータ:μ=実数、σ=正の実数 • 範囲:y=実数 • 平均: μ • 標準偏差:σ 親の顔よりも 見慣れた景色
  109. 109. 正規分布の再生性 • 確率変数y1 ~ Normal(μ1, σ1) と y2 ~ Normal(μ2, σ2) が独立で生成される → その和=Normal(μ1+ μ2, √ σ1 + σ2) に従う • 例:子供の身長+タケノコ μ1=100 μ2=30 + = μ1 + μ2=130
  110. 110. データ例 •色々。生成メカニズムがよくわかん なくてもとりあえず正規分布をあて はめることが多い。優秀すぎる。 •モデリングでは個人差や潜在変数な ども正規分布を仮定する。
  111. 111. 正規分布の特徴 •±2σを超えたあたりから、確率密度関 数の値が小さくなる(=裾が短い) → 外れ値に弱い → 後述するコーシー・t分布を使う ここら辺 ここら辺
  112. 112. 使用例 • 5-1の重回帰 • グループ差や個人差が正規分布に従うと 仮定する階層モデルを8章で扱う。 • また、y≧0の部分だけを取り出して正規 化する半正規分布はパラメータの弱情報 事前分布として用いる場合が多い (10章
  113. 113. こういう教材もあります。 ※キモオタ以外のご視聴はお勧めしておりません。 • ニコニコ動画より「月読アイの理系なお話『神 様が愛した正規分布[前編]』」
  114. 114. 対数正規分布
  115. 115. 対数正規分布とは: • 対数正規分布の名前 =“ある確率変数が対数正規分布に従うと き、その対数をとった確率変数は正規分 布になる“という性質に由来する 広島大学山根先生の資料より拝 借(Hirodai.stan発表非公開資料 「どういうこと だってばよ?」っ て言ってる忍者
  116. 116. つまり •「低い値に分布が集中する が、まれに高い値も生じ る」データ ⇒ 対数正規分布
  117. 117. 6.12 対数正規分布 • 確率密度関数 • LogNormal(y|μ, σ) = 1 √2πσ 1 𝑦 exp(− 1 2 𝑙𝑜𝑔y−μ σ 2)
  118. 118. 対数正規分布 • パラメータ:μ=実数、σ=正の実数 • 範囲:y=実数 • 平均: exp(μ + σ2 / 2) • 標準偏差:exp(μ + σ2/2) √(eσ2-1)
  119. 119. 対数正規分布の例
  120. 120. データ例・使用例 • 人間の体重、年収の金額など •上記のデータのほか、正の実数 値をとるパラメータの弱情報事 前分布として利用(10章参照
  121. 121. 多変量正規分布
  122. 122. 多変量正規分布とは •正定値対称行列である分散共分散行 列を含む、2つ以上 (m次元) の正規 分布の同時密度関数である (多分)。 2変量の 場合の例
  123. 123. 6.13 多変量正規分布 • 確率密度関数 • MultiNormal(y|μ, Σ) = 1 2π K/2 1 √|Σ| exp(− 1 2 y − μ T Σ−1 y − μ )
  124. 124. 多変量正規分布 • パラメータ:K=正の整数、 μ=長さKのベクトルで各要素は実数、 Σ=K×Kの対称な正定値行列 (分散共分散行列 • 範囲:y=長さKのベクトルで各要素は実数 • 平均:ykの平均=μk • 分散共分散:ykの分散=Σk,k ykとyk’の共分散 (k ≠ k’) =Σk,k’ 正定値行列=すべての固有値が正の実数であること、らしい。 ここがキモ!
  125. 125. 分散共分散行列:二変量の例 x1=横軸: 一次元目の 正規分布 x2=縦軸: 二次元目の 正規分布 ※多変量正 規分布はm次 元正規分布
  126. 126. 他にもいろんな特徴が •再生性あり 腕が生えてる ピッコロさん
  127. 127. すごいぞ!多変量正規分布! • 多変量正規分布に従う確率変数を線形結合 → 多変量正規分布に従う • 周辺化する → 多変量正規分布 • 各変数の条件付き分布 → 多変量正規分布 驚いてる犬
  128. 128. 余談 Q. 周辺化? A. 同時確率を足し合わせて特定の確率変 数を消すこと。 Q. 条件付き確率? A. ある事象Yが起こるという条件の下で別 の事象Xが起きる確率:P(X|Y) 黄線のx1 の分布 p124の例
  129. 129. データ・使用例 •相関しそうなデータ •例:小学生の50m走のタイムと走り 幅跳びで飛んだ距離を並べたベクト ルの分布 •本書では9.3.1項から扱っていく。
  130. 130. コーシー分布
  131. 131. コーシー分布とは •時々とんでもない外れ値を出 すことがある裾が重い分布 (シミュレーション例:山口大学小杉 先生の「Cauchy分布について」参照 http://www.slideshare.net/KojiKosugi/cauc hy20150726) ⇒ この性質がモデリングに重宝
  132. 132. 6.14 コーシー分布 • 確率密度関数 • Cauchy(y|μ, σ) = 1 πσ 1 1+ 𝑦−μ σ 2
  133. 133. コーシー分布 • パラメータ:μ=実数、σ=正の実数 • 範囲:y=実数 • 平均:存在しない(正確には定義されない • 標準偏差:存在しない
  134. 134. コーシー分布の例 μ=0, σ=1 ⇒ 標準コーシー分布(自由度1のt分布)
  135. 135. 使用例 • 分散パラメタの事前分布として Cauchy (0, 2.5), Cauchy (0, 5)など • 外れ値を含むモデルとして ごくまれに出現する外れ値を許容するモデル y[n] ~ cauchy (a + b * X[n], σ) Cf. y[n] ~ normal(a + b * X[n], σ) 広島大学平川先生の資料より拝借 (Hirodai.stan発表非公開資料 7.9節へ
  136. 136. Student の t 分布
  137. 137. Studentのt分布とは •正規分布する母集団の平均と分散が 未知で標本サイズが小さい場合に平 均を推定する問題に利用される分布 •自由度によって裾の長さは大き く変化する。 ⇒ この性質がモデリングに重宝
  138. 138. 6.15 Studentのt分布 • 確率密度関数 • Studen_t(y|ν, μ, σ) = Γ ν+1 2 Γ ν 2 𝜋𝜈𝜎 (1 + 1 ν 𝑦−μ σ )−(ν+1)/2
  139. 139. Studentのt分布 • パラメータ:ν=正の実数(自由度 μ=実数、σ=正の実数 • 範囲:y=実数 • 平均:ν > 1の場合はμ、それ以外は存在 しない • 標準偏差:ν > 2の場合はσ√ν/(ν-2). 1 < ν ≦2の場合は∞、それ以外の場合は 存在しない。
  140. 140. Studentのt分布の例 自由度 (ν) によって裾 が変化!!
  141. 141. 使用例 •コーシー分布ほどではないが、裾の 重い分布を使いたいときに自由度 2~8程度のt分布が重宝される。 •(コーシー同様)外れ値を含むモデル や、回帰係数の弱情報事前分布とし て使う場合も。7,10,12章参照
  142. 142. 二重指数分布 (ラプラス分布)
  143. 143. ラプラス分布とは •正規分布と比べると裾が長め +μを中心とした鋭いピーク を持つ分布
  144. 144. 6.16 二重指数分布 (ラプラス 分布) • 確率密度関数 • DoubleExponential(y|μ, σ) = 1 2σ 𝑒𝑥𝑝 − 𝑦−μ σ • 指数分布を二つ貼り合わせた ような分布=二重指数分布 ← p75
  145. 145. ラプラス分布 • パラメータ:μ=実数、σ=正の実数 • 範囲:y=実数 • 平均:μ • 標準偏差:√2σ
  146. 146. ラプラス分布の例 ラプラス分布のデータ例:下図 鼻が尖ってる人
  147. 147. 使用例 •鋭いピーク → 回帰係数の事前分布に設定 → 変数選択に適用可能 具体例は7章にて。
  148. 148. Rでの作り方: http://cse.naro.affrc.go.jp/ta kezawa/r-tips/r/60.html
  149. 149. このパッケージも推奨 逆ガンマ分布 など本章にな い確率分布も rIGAMMA(n, mu, sigma) な どで簡単に求 まります。
  150. 150. まだまだあるぞ!モデリング で用いる分布!! =ウィッシャート君: p, n, Σをパラメータと して持つ分布の分布を 表すモデル (wiki)
  151. 151. おわりに • 以上で6章で紹介された分布の解説を終 わります。 • 関数同士の関係、累積分布関数、算出過 程などの詳細は本家と同様に省いていま す。各自色々な資料を参照してください。 • 以下では個別学習に役立つと個人的に感 じているものをさらに2つ紹介します。
  152. 152. 1.確率分布の包括的理解に • Lawrence et al. (2008: title=Univariate Distribution Relationships) • http://www.math.wm.edu/~leemis/chart/U DR/UDR.html 分布同士の関係 が見れたり、分 布の詳細を見れ たり出来るゾ!
  153. 153. 2.物足りないあなたへ • 世界最大級のオンライン学習プラット フォームUdemyでTamaki先生が「ベイズ 推定とグラフィカルモデル」というガチ 講義を開講されています。 • 分布の知識から、コンピュータ科学への 応用までお話ししてくれて興奮します。 本資料の一部 もこれを参考 にしてます!
  154. 154. Enjoy R & Stan ! And… Bayesian Modeling!!
  155. 155. 参考文献① • 当然アヒル本 • 各ページに記載されてるURLや資料 • 各分布のWiki • ややこしい離散分布に関するまとめ http://machine- learning.hatenablog.com/entry/2016/03/26/21110 6 • 多項分布とディリクレ分布のまとめと可視化 http://y- mattu.hatenablog.com/entry/2016/03/03/143451
  156. 156. 参考文献② • 松尾太加志・中村知靖(2002) 誰も教えてく れなかった因子分析-数式が 絶対に出てこな い因子分析入門- 北大路書房 • 村山先生によるANOVAに関する解説 http://koumurayama.com/koujapanese/anova.h tm • 様々な確率分布probability distributions - 数理 的思考 - 中川雅央 【知と情報の科学】 http://www.biwako.shiga- u.ac.jp/sensei/mnaka/ut/statdist.html

×