Soumettre la recherche
Mettre en ligne
色々な確率分布とその応用
•
Télécharger en tant que PPTX, PDF
•
23 j'aime
•
8,734 vues
Hiroki Iida
Suivre
統計検定などで紹介されている確率分布同士の関係を紹介しました。
Lire moins
Lire la suite
Données & analyses
Signaler
Partager
Signaler
Partager
1 sur 50
Télécharger maintenant
Recommandé
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
MICの解説
MICの解説
logics-of-blue
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
itoyan110
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
. .
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
Recommandé
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
MICの解説
MICの解説
logics-of-blue
Rで学ぶロバスト推定
Rで学ぶロバスト推定
Shintaro Fukushima
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
ベルヌーイ分布からベータ分布までを関係づける
ベルヌーイ分布からベータ分布までを関係づける
itoyan110
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
. .
ベイズ統計学の概論的紹介-old
ベイズ統計学の概論的紹介-old
Naoki Hayashi
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
負の二項分布について
負の二項分布について
Hiroshi Shimizu
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
強化学習 と ゲーム理論 (MARL)
強化学習 と ゲーム理論 (MARL)
HarukaKiyohara
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
最適化超入門
最適化超入門
Takami Sato
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Daisuke Yoneoka
Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善
Naoaki Okazaki
Rで階層ベイズモデル
Rで階層ベイズモデル
Yohei Sato
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
MCMC法
MCMC法
MatsuiRyo
PRML輪読#1
PRML輪読#1
matsuolab
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
WAICとWBICのご紹介
WAICとWBICのご紹介
Tomoki Matsumoto
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
PRML輪読#2
PRML輪読#2
matsuolab
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
Incorporating syntactic and semantic information in word embeddings using gra...
Incorporating syntactic and semantic information in word embeddings using gra...
Hiroki Iida
Information geometry chap6
Information geometry chap6
Hiroki Iida
Contenu connexe
Tendances
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
負の二項分布について
負の二項分布について
Hiroshi Shimizu
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
強化学習 と ゲーム理論 (MARL)
強化学習 と ゲーム理論 (MARL)
HarukaKiyohara
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
最適化超入門
最適化超入門
Takami Sato
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Daisuke Yoneoka
Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善
Naoaki Okazaki
Rで階層ベイズモデル
Rで階層ベイズモデル
Yohei Sato
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
MCMC法
MCMC法
MatsuiRyo
PRML輪読#1
PRML輪読#1
matsuolab
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
WAICとWBICのご紹介
WAICとWBICのご紹介
Tomoki Matsumoto
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
PRML輪読#2
PRML輪読#2
matsuolab
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
Tendances
(20)
変分ベイズ法の説明
変分ベイズ法の説明
ベイズファクターとモデル選択
ベイズファクターとモデル選択
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
負の二項分布について
負の二項分布について
Stanコードの書き方 中級編
Stanコードの書き方 中級編
強化学習 と ゲーム理論 (MARL)
強化学習 と ゲーム理論 (MARL)
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
最適化超入門
最適化超入門
ブートストラップ法とその周辺とR
ブートストラップ法とその周辺とR
Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善
Rで階層ベイズモデル
Rで階層ベイズモデル
Stan超初心者入門
Stan超初心者入門
MCMC法
MCMC法
PRML輪読#1
PRML輪読#1
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
WAICとWBICのご紹介
WAICとWBICのご紹介
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
PRML輪読#2
PRML輪読#2
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Plus de Hiroki Iida
Incorporating syntactic and semantic information in word embeddings using gra...
Incorporating syntactic and semantic information in word embeddings using gra...
Hiroki Iida
Information geometry chap6
Information geometry chap6
Hiroki Iida
Information geometriy chap5
Information geometriy chap5
Hiroki Iida
Information geometry chap3
Information geometry chap3
Hiroki Iida
(deplicated)Information geometry chap3
(deplicated)Information geometry chap3
Hiroki Iida
Dissecting contextual word embeddings
Dissecting contextual word embeddings
Hiroki Iida
情報幾何学の基礎2章補足
情報幾何学の基礎2章補足
Hiroki Iida
組織デザインの展開 ~官僚制からティール組織まで~
組織デザインの展開 ~官僚制からティール組織まで~
Hiroki Iida
Fundations of information geometry chap0
Fundations of information geometry chap0
Hiroki Iida
Introduction to search_and_recommend_algolithm
Introduction to search_and_recommend_algolithm
Hiroki Iida
Ai for marketing
Ai for marketing
Hiroki Iida
Graph and network_chap14
Graph and network_chap14
Hiroki Iida
Introduction to baysian_inference
Introduction to baysian_inference
Hiroki Iida
内燃機関
内燃機関
Hiroki Iida
Kl entropy
Kl entropy
Hiroki Iida
レトリバ勉強会資料:深層学習による自然言語処理2章
レトリバ勉強会資料:深層学習による自然言語処理2章
Hiroki Iida
テクノロジーと組織と発展
テクノロジーと組織と発展
Hiroki Iida
Plus de Hiroki Iida
(17)
Incorporating syntactic and semantic information in word embeddings using gra...
Incorporating syntactic and semantic information in word embeddings using gra...
Information geometry chap6
Information geometry chap6
Information geometriy chap5
Information geometriy chap5
Information geometry chap3
Information geometry chap3
(deplicated)Information geometry chap3
(deplicated)Information geometry chap3
Dissecting contextual word embeddings
Dissecting contextual word embeddings
情報幾何学の基礎2章補足
情報幾何学の基礎2章補足
組織デザインの展開 ~官僚制からティール組織まで~
組織デザインの展開 ~官僚制からティール組織まで~
Fundations of information geometry chap0
Fundations of information geometry chap0
Introduction to search_and_recommend_algolithm
Introduction to search_and_recommend_algolithm
Ai for marketing
Ai for marketing
Graph and network_chap14
Graph and network_chap14
Introduction to baysian_inference
Introduction to baysian_inference
内燃機関
内燃機関
Kl entropy
Kl entropy
レトリバ勉強会資料:深層学習による自然言語処理2章
レトリバ勉強会資料:深層学習による自然言語処理2章
テクノロジーと組織と発展
テクノロジーと組織と発展
色々な確率分布とその応用
1.
色々な確率分布とその応用 株式会社レトリバ © 2017 Retrieva,
Inc.
2.
自己紹介 • 飯田 大貴(イイダ
ヒロキ) • 職歴 • PFI 2016/7~2016/10 • レトリバ 2016/11~ • 多目的最適設計探査 • 多目的最適化 • 最適化結果からのデータマイニング • 趣味 • 剣道 • アニメ・漫画 © 2017 Retrieva, Inc. 2
3.
本日の内容 • 色々な統計分布の意味づけとそれぞれの繋がり • 応用例 ©
2017 Retrieva, Inc. 3
4.
モチベーション • この本読んだら、確率分布が色々繋がっている気がして気に なったので、まとめてみた。 © 2017
Retrieva, Inc. 4 画像はamazonより
5.
よく紹介されている確率分布 離散分布 連続分布 • 離散一様分布 •
二項分布(ベルヌーイ分布) • ポアソン分布 • 超幾何分布 • 幾何分布 • 負の二項分布 • 多項分布 • 連続一様分布 • 正規分布 • 指数分布 • ガンマ分布 • ベータ分布 • コーシー分布 • 対数正規分布 • ワイブル分布 • ロジスティック分布 • 多変量正規分布 • χ2分布 • t分布 • F分布 © 2017 Retrieva, Inc. 5
6.
今回紹介する確率分布間の関係 © 2017 Retrieva,
Inc. 6 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
7.
今回紹介する確率分布間の関係 © 2017 Retrieva,
Inc. 7 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
8.
二項分布 • 成功・失敗がそれぞれ、確率p,1-pで発生する試行を独立にn回 行った時、成功x回、失敗n-x回となる確率分布 • 確率密度関数 𝑓
𝑥 = 𝑛 𝑥 𝑝 𝑥 1 − 𝑝 𝑥 • 期待値と分散 𝐸 𝑋 = 𝑛𝑝, 𝑉 𝑋 = 𝑛𝑝(1 − 𝑝) © 2017 Retrieva, Inc. 8
9.
イベント発生に関する分布 © 2017 Retrieva,
Inc. 9 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
10.
幾何分布 • 成功・失敗がそれぞれ、確率p,1-pで発生する試行について、x 回目で初めて成功する確率分布。 • 確率密度関数 𝑓
𝑥 = 𝑝𝑞 𝑥−1 ただし𝑞 = 1 − 𝑝 • 期待値と分散 𝐸 𝑋 = 1/𝑝, 𝑉 𝑋 = 𝑞/𝑝2 • 待ち時間分布とも言われる。 © 2017 Retrieva, Inc. 10
11.
負の二項分布 • 成功・失敗がそれぞれ、確率p,1-pで発生する試行について、k 回成功するまでの確率分布。(失敗はx回) • 確率密度関数 𝑓
𝑥 = 𝑘 + 𝑥 − 1 𝑥 𝑝 𝑘 𝑞 𝑥 • 期待値と分散 𝐸 𝑋 = 𝑘𝑞/𝑝, 𝑉 𝑋 = 𝑘𝑞/𝑝2 • k=1の時、幾何分布になる。 © 2017 Retrieva, Inc. 11
12.
指数分布 • 期間1/𝜆程度で1回発生するランダムなイベントの発生間隔を 表す分布 • 確率密度関数 𝑓
𝑥 = 𝜆 exp −𝜆𝑥 (𝑥 ≥ 0) • 期待値と分散 𝐸 𝑋 = 1/𝜆, 𝑉 𝑋 = 1/𝜆2 • 𝑞 = exp(−𝜆)とおくと、近似的に幾何分布と同様になる。 © 2017 Retrieva, Inc. 12
13.
指数分布 • 指数分布がランダムなイベントの発生間隔を表す分布であることの 証明 • 時刻𝑥から𝑥
+ Δ𝑥の間にイベントが発生する確率を考える 1. 確率密度の定義:𝑓 𝑥 Δ𝑥 2. 時刻xまでイベントが起こらず、それからの∆𝑥間に発生する確率: 1 − 0 𝑥 𝑓 𝑡 𝑑𝑡 𝜆Δ𝑥 • 上記より、𝑓 𝑥 = 𝜆 − 𝜆 0 𝑥 𝑓 𝑡 𝑑𝑡。両辺を微分して、𝑓′ 𝑥 = −𝜆𝑓(𝑥) • この微分方程式を解くと𝑓 𝑥 = 𝐶𝑒𝑥𝑝(−𝜆𝑥) • さらに、 0 ∞ 𝑓(𝑥) 𝑑𝑥 = 1なので、𝐶 = 𝜆。よって、𝑓 𝑥 = 𝜆𝑒𝑥𝑝(−𝜆𝑥) © 2017 Retrieva, Inc. 13
14.
ガンマ分布 • 期間1/𝜆程度で1回発生するランダムなイベントがn回起こるま での時間を表す分布。𝐺𝑎(𝑛, 𝜆)と書く。 •
確率密度関数 𝑓 𝑥: 𝑛, 𝜆 = 𝜆 𝑛 Γ(𝑛) 𝑥 𝑛−1exp(−𝜆𝑥) • 期待値と分散 𝐸 𝑋 = 𝑛/𝜆, 𝑉 𝑋 = 𝑛/𝜆2 • nを整数でない場合でも問題ない。 © 2017 Retrieva, Inc. 14
15.
ガンマ分布 • ガンマ分布の証明 • 𝑋1,
𝑋2, ⋯ , 𝑋 𝑛が互いに独立な平均1/𝜆の指数分布に従う • 𝑌 = 𝑋1 + 𝑋2 + ⋯ + 𝑋 𝑛とおく。 • 特性関数の性質より、𝜑 𝑌 = 𝑖=1 𝑛 𝜑 𝑋 𝑖 • 指数関数とガンマ関数の特性関数はそれぞれ以下の通り • 指数分布:𝜑 𝑋 = 𝜆 𝜆−𝑖𝑡 • ガンマ関数:𝜑 𝑋 = 𝜆 𝜆−𝑖𝑡 n • よって、ガンマ分布が期間1/𝜆程度で1回発生するランダムなイベン トがn回起こるまでの時間を表す分布であることがわかる。 © 2017 Retrieva, Inc. 15
16.
イベント発生系分布から導出できる分布 © 2017 Retrieva,
Inc. 16 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
17.
ポアソン分布 • 単位期間あたり、𝜆回発生するイベントが、単位時間あたりにx回発 生する確率分布。𝑃𝑜(𝜆)と書く。 • 確率密度関数 𝑓
𝑥 = 𝜆 𝑥 𝑥! exp(−𝜆) • 期待値と分散 𝐸 𝑋 = 𝜆, 𝑉 𝑋 = 𝜆 • 指数分布の反転だとわかる。 • 交通事故件数、大量生産の不良品数、破産件数、火災件数などに使 用される。 © 2017 Retrieva, Inc. 17
18.
ワイブル分布 • 単位期間あたりにイベントが発生する回数が、ある時間に関す る関数𝑐𝑥 𝑏 に従うとした時の、イベントの発生間隔を表す分布 •
確率密度関数 𝑓 𝑥; 𝑏, 𝑐 = 𝑐𝑥 𝑏exp(− 𝑐𝑥 𝑏+1 𝑏 + 1 ) • 期待値と分散 𝐸 𝑋 = 𝑚Γ 1 + 𝜅 , 𝑉 𝑋 = 𝑚2 Γ 1 + 2𝜅 − Γ2 1 + 𝜅 • ただし、𝜅 = 1 𝑏+1 , 𝑚 = 𝑏+1 𝑐 𝜅 © 2017 Retrieva, Inc. 18
19.
指数分布とワイブル分布の比較 • 危険率:𝑟 𝑥
= lim ∆𝑡→0 𝑃 𝑡 < 𝑇 < 𝑡 + ∆𝑡 𝑇 > 𝑡) = lim Δ𝑡→0 𝐹 𝑡+∆𝑡 −𝐹 𝑡 ∆𝑡 1 1−F(t) = f(t) 1−F(t) = d dx log 1 − F x を置く。 • 指数分布とワイブル分布の危険率はそれぞれ以下の通り • 指数分布:𝑟 𝑥 = −𝜆 • ワイブル分布:𝑟 𝑥 = −𝑐𝑥 𝑏 © 2017 Retrieva, Inc. 19
20.
2項分布の拡張・ベイズ共役 © 2017 Retrieva,
Inc. 20 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
21.
ベータ分布 • 2項分布のp変数を変数としたもの。𝐵𝑒(𝛼, 𝛽)とかく。 •
確率密度関数 𝑓 𝑥: 𝛼, 𝛽 = 1 𝐵 𝛼, 𝛽 𝑥 𝛼−1 1 − 𝑥 𝛽−1 • 期待値と分散 𝐸 𝑋 = 𝛼 𝛼 + 𝛽 𝑉 𝑋 = 𝛼𝛽 𝛼 + 𝛽2 𝛼 + 𝛽 + 1 • 𝑓 𝑥: 1, 1 で、区間[0,1]の一様分布となる。 • 2項分布の共役事前分布でもある。 © 2017 Retrieva, Inc. 21
22.
多項分布 • 結果がK個のカテゴリーに分類され、それぞれのカテゴリーでの発生確率 が、𝑝1, 𝑝2,
⋯ , 𝑝 𝐾の試行を独立にn回繰り返した時の確率分布。 • 確率密度関数(ただし、各カテゴリーの発生回数を𝑿 = (𝑋1, ⋯ 𝑋 𝐾)とする) 𝑓 𝒙 = 𝑛! 𝑥1! ⋯ 𝑥 𝐾! 𝑝1 𝑥1 ⋯ 𝑝 𝐾 𝑥 𝐾 • 期待値と分散と共分散 𝐸 𝑋𝑖 = 𝑛𝑝𝑖, 𝑉 𝑋𝑖 = 𝑛𝑝𝑖 1 − 𝑝𝑖 , 𝐶𝑜𝑣 𝑋𝑖, 𝑋𝑗 = −𝑛𝑝𝑖 𝑝𝑗 • 2項分布を複数化したものと見なせる。 © 2017 Retrieva, Inc. 22
23.
ディレクレ分布 • 多項分布のpiを変数としたもの • 確率密度関数(𝛼
= 𝛼𝑖) 𝑓 𝒙: α1, ⋯ 𝛼 𝐾 = Γ 𝛼 Γ 𝛼1 ⋯ Γ 𝛼 𝐾 𝑥1 𝛼1 ⋯ 𝑥 𝐾 𝛼 𝐾 • ベータ分布を多項に拡張したもの。 • 多項分布の共役事前分布 © 2017 Retrieva, Inc. 23
24.
正規分布 © 2017 Retrieva,
Inc. 24 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
25.
正規分布 • 自然界や人間の行動・性質など様々な現象に対してよく当ては まる分布。平均𝜇、分散𝜎として、N(μ, 𝜎)とかく。 •
確率密度関数 𝑓 𝑥; 𝜇, 𝜎 = 1 2𝜋𝜎2 exp(− 𝑥 − 𝜇 2 2𝜎2 ) • 期待値と分散 𝐸 𝑋 = 𝜇, 𝑉 𝑋 = 𝜎 © 2017 Retrieva, Inc. 25
26.
正規分布 • 2項分布から見るポアソン分布と正規分布の違い • ポアソン分布 •
n → ∞, 𝑛𝑝 → 𝜆 • λが大きいとポアソン分布は正規分布で近似できる。 • 正規分布 • nが大きいと、𝑁 𝑛𝑝, 𝑛𝑝 1 − 𝑝 で二項分布を近似できる。 © 2017 Retrieva, Inc. 26
27.
標準正規分布 • 正規分布を𝑧 = 𝑥−𝜇 𝜎 と変数変換したもの。 •
確率密度関数 𝑓 z = 1 2𝜋 exp(− z2 2 ) • 期待値と分散 𝐸 𝑋 = 0, 𝑉 𝑋 = 1 © 2017 Retrieva, Inc. 27
28.
標本の分布 © 2017 Retrieva,
Inc. 28 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
29.
χ2分布 • 𝑋1, ⋯
𝑋 𝑘が標準正規分布に従うとき、𝑋 = 𝑋1 2 + ⋯ + 𝑋 𝐾 2 が従う分布を自由度Kのχ2分布といい、 χ2(k)とかく。 • 確率密度関数 𝑓 𝑥: 𝐾 = 1/2 𝐾 2 Γ 𝐾 2 𝑥 𝐾 2 −1 exp − 𝑥 2 (𝑥 ≥ 0) 𝑓 𝑥 = 0 (𝑥 < 0) • 期待値と分散 • χ2分布は𝐺𝑎 𝐾 2 , 1 2 である。 • 𝑋 = 𝑛 − 1 𝑠2/𝜎2、𝑠 = 1 𝑛−1 𝑖=1 𝑛 𝑋 − 𝑋 2とすることで、 χ2分布から標本分散の分布を求めること ができる。 © 2017 Retrieva, Inc. 29
30.
χ2分布 • 確率密度関数の導出 • χ2(1)を考える。Y~N(0,1)として、X=Y2とすると𝑃
𝑋 ≤ 𝑥 = 𝑃(− 𝑥 ≤ 𝑌 ≤ 𝑥)である。そのため、 𝑓 𝑥 = 𝑑 𝑑𝑥 − 𝑥 𝑥 1 2𝜋 exp − 𝑦2 2 𝑑𝑦 = 1 2𝜋 𝑥−1/2 exp − 𝑥 2 となる。これは、Ga(1/2,1/2)と一致する。また、 𝑋𝑖~𝐺𝑎(𝑎𝑖, 𝑏)のとき、𝑋1 + 𝑋2~𝐺𝑎(𝑎1 + 𝑎2, 𝑏)となるので、 χ2(K)は、 𝐺𝑎 𝐾 2 , 1 2 と一致する。 © 2017 Retrieva, Inc. 30
31.
t分布 • Uが標準正規分布に従い、Wが自由度nのカイ二乗分布に従うとき、統計量𝑡 = 𝑈/
𝑊/𝑛がしたがう分布.t(n)と書く。 • 確率密度関数 𝑓 𝑡 = 1 𝑛𝜋𝐵( 𝑝 2 , 1 2 ) 1 + 𝑡2 𝑛 −(𝑛+1)/2 • 期待値と分散 𝐸 𝑋 = 0 𝑛 > 1 , 𝑉 𝑋 = 𝑛 𝑛 − 2 (𝑛 > 2) • t分布は、正規分布𝑁(0,1/ 𝑊)とガンマ分布𝐺𝑎( 𝑛 2 , 1 2 )の混合とすることで得られる。 • t分布は、分散が未知の場合の、正規分布の標本平均の分布になる © 2017 Retrieva, Inc. 31
32.
F分布 • Uがχ2(p)に従い、Vが χ2(q)に従っており、UとVが独立とする。 •
この時、𝐹 = 𝑈/𝑝 𝑉/𝑞 が従う分布を自由度(p,q)のF分布といい、 F (p,q)と書く • 確率密度関数 𝑓 𝑥; 𝑝, 𝑞 = 𝑝 𝑝/2 𝑞 𝑞/2 𝐵( 𝑝 2 , 𝑞 2 ) 𝑥 𝑝 2−1 𝑝𝑥 + 𝑞 (𝑝+𝑞)/2 • 期待値と分散 𝐸 𝑋 = 𝑞 𝑞 − 2 𝑞 > 2 , 𝑉 𝑋 = 2 𝑞 𝑞 − 2 2 𝑝 + 𝑞 − 2 𝑝 𝑞 − 4 (𝑞 > 4) © 2017 Retrieva, Inc. 32
33.
F分布 • 標本分散について、F分布は以下のようにかける。 • 𝑈
= 𝑚 − 1 𝑠1 2 /𝜎1 2 、𝑉= 𝑛 − 1 𝑠2 2 /𝜎2 2 とすると、F = 𝑠1 2 𝑠2 2 𝜎2 2 𝜎1 2となる • 特に、比べている分布の母分散が等しい時、標本分散の比の標本分布 となる。 © 2017 Retrieva, Inc. 33
34.
その他 © 2017 Retrieva,
Inc. 34 幾何分布 指数分布 負の二項分布 ガンマ分布 複数化 連続化 連続化 複数化 ワイブル 分布 一般化 ポアソン 分布 二項分布 (ベルヌー イ分布) 反転 反転 無限 無限混合 ベータ分布 ディリクレ 分布 変数変換 複数化 多項分布 複数化 ベイズ共役 変数の変更 ベイズ 共役 反転 χ2分布 特殊化 正規分布 標準 正規分布 T分布 F分布 混合 コーシー 分布 無限 一様 分布 特殊化
35.
コーシー分布 • 外れ値をとる場合が高い時に使用する確率分布 • 確率密度関数 𝑓
𝑥 = 1 𝜋 1 + 𝑥2 一般形は𝑓 𝑥 = 𝛼 𝜋 𝛼2+ 𝑥−𝜆 2 • 期待値と分散:存在しない。 • コーシー分布はt(1)である。 © 2017 Retrieva, Inc. 35
36.
応用編 © 2017 Retrieva,
Inc. 36
37.
マーケティング応用 • 負の2項分布(NDB)モデル • ディリクレNDBモデル ©
2017 Retrieva, Inc. 37
38.
NDBモデル • カテゴリーやブランドにおける購入回数のモデル。 • 世帯パネルデータの補正に使用できる。 ©
2017 Retrieva, Inc. 38
39.
NDBモデル • 仮説 1. 消費者一人一人が独自に意思決定をしている 2.
購入行動はランダムに発生している(ポアソン分布) 3. それぞれのカテゴリーに対してほぼ一定のプレファレンスを持って いる 4. プレファレンスの高いものはより高頻度で購入される(ガンマ分布) © 2017 Retrieva, Inc. 39
40.
NDBモデル • モデル式 𝑃𝑟 = 1
+ 𝑀 𝐾 −𝐾 Γ 𝐾 + 𝑟 Γ 𝑟 + 1 Γ 𝐾 𝑀 𝑀 + 𝐾 𝑟 • 通常の負の二項分布からの導出 • 負の2項分布 𝑓 𝑥 = 𝑘 + 𝑥 − 1 𝑥 𝑝 𝑘 𝑞 𝑥 • 𝑥 = 𝑟, 𝑘 = 𝐾, 𝑝 = 𝐾 𝑀+𝐾 , 𝑞 = 𝑀 𝑀+𝐾 と置くと上記の式になる。 © 2017 Retrieva, Inc. 40
41.
NDBモデル • それぞれのパラメータについて • r:購買回数 •
M:平均購買回数 • K:プリファレンス • モデルの意味について • p:1試行で購入しない確率 • q:1試行で購入確率 • 𝐸 𝑋 = 𝐾𝑞 𝑝 = 𝑀となっている。 © 2017 Retrieva, Inc. 41
42.
NDBモデル • 確率思考の戦略論を再現してみた。 © 2017
Retrieva, Inc. 42 2週間でパンケーキを食べた回数 (1000世帯) 𝑀 = 0.736, 𝐾 = 0.6016 4半期のうち歯磨き粉を 購入した回数(5240世帯) 𝑀 = 1.46, 𝐾 = 0.78 図書館において1年間で 1冊あたりの貸し出された 回数 (5240世帯) 𝑀 = 0.736, 𝐾 = 0.6016
43.
ディリクレNDBモデル • NDBモデルを拡張したモデル。 • カテゴリー中の全てのブランドの購入率と購入回数、ブランド スイッチを予測分析するのに役立つ。 •
このモデルが当てはまらない場合 • 規則的に買われる商品(タバコなど) • 短期間に急激に変貌しているカテゴリー © 2017 Retrieva, Inc. 43
44.
ディリクレNDBモデル • 仮説 1. あるカテゴリーにおける各消費者の購入は、それぞれ独立して起きる。 2.
あるカテゴリーにおける購入時のブランド選択は、消費者のそれぞれのブ ランドに対するプレファレンスによって決まる確率に従い、その時点でど のブランドが選択されるかはランダムに決まっている。(多項分布してい る) 3. あるカテゴリーにおける消費者のブランド選択は、プレファレンスの順位 が高ければ高いほど、購入確率がより高くなる傾向にある(ガンマ分布し ている) 4. あるカテゴリーにおける消費者のブランド選択は、プレファレンスによっ て定まる確率に従い、それは、カテゴリーの平均購入回数の多い少ないに 関係がない。 © 2017 Retrieva, Inc. 44
45.
ディリクレNDBモデル • モデル式 𝑃𝑟 𝑅,
𝑟1, 𝑟2 ⋯ , 𝑟𝑔 = Γ 𝑆 𝑗=1 𝑔 Γ(𝛼 𝑗) 𝑗=1 𝑔 Γ 𝑟𝑗 + 𝛼𝑗 Γ 𝑆 + 𝑅 1 𝑗=1 𝑔 𝑟𝑗! Γ 𝑅 + 𝐾 Γ 𝐾 1 + 𝐾 𝑀𝑇 −𝑅 1 + 𝑀𝑇 𝐾 −𝐾 • 導出 𝑃𝑟 𝑅, 𝑟1, 𝑟2 ⋯ , 𝑟𝑔 = 0 ∞ Multinomial r p, R 𝐷𝑖𝑟𝑖𝑐ℎ𝑙𝑒𝑡 𝑝 𝛼 dp 0 ∞ 𝑃𝑜𝑖𝑠𝑠𝑜𝑛 𝑅 𝜇𝑇 𝐺𝑎𝑚𝑚𝑎 𝜇 𝐾, 𝑀 𝐾 𝑑𝜇 © 2017 Retrieva, Inc. 45 仮説1 仮説3仮説2
46.
ディリクレNDBモデル • それぞれのパラメータについて • T:期間 •
R:期間Tにあるカテゴリーでの購入回数 • ri:期間Tにカテゴリー内のある商品jでの購入回数 • M:平均購入回数 • S:プリファレンスの関数 • 𝛼𝑗 = S ×(商品jの購入頻度に基づくマーケットシェア) • Sについて • 𝑅~𝐺𝑎𝑚𝑚𝑎 𝑆, 𝛽 → 𝐸 𝑅 = 𝑆 𝛽 = 𝑀𝑇 → 𝑆 = 𝑀𝑇𝛽 © 2017 Retrieva, Inc. 46
47.
ディリクレNDBモデル • 確率思考の戦略論を再現してみた。(さっきの歯磨き粉の例を商品毎に。 S=1.2) © 2017
Retrieva, Inc. 47 四半期 年間 購入確率 平均購入回数
48.
確率分布曼荼羅:もっと知りたい人へ © 2017 Retrieva,
Inc. 48
49.
参考資料 • 統計学入門(東京大学出版会編) • 統計学(日本統計学会編) •
確率思考の戦略論(著:森岡 毅、今西 聖貴) • 高校数学の美しい物語:http://mathtrain.jp/ © 2017 Retrieva, Inc. 49
50.
© 2017 Retrieva,
Inc.
Télécharger maintenant