SlideShare une entreprise Scribd logo
1  sur  25
パラメトリックブートストラップ検定
と確率分布
1
1日目-第5講
名前:馬場真哉
所属:北大水産 修士課程2年
Webサイト: logics of blue で検索
2
正規線形モデルの理解のために
統計の基本とt検定
分散分析(ANOVA)
回帰分析と分散分析
PB検定と確率分布
モデル選択とAIC
出来れば
Type II ANOVA、交互作用
3
検定
を理解するのが目標
4
① 絶対に予測誤差がナイーブ予測と有意に
異ならないとわかっているデータをたくさん集める
F比が12.79を超えた回数が、100回中5回以内だった
→偶然でt値が12.79を超える確率は小さい
→有意差あり
② そのデータのF比を計算する
③ 0とは有意に異ならないデータにおける
F比を例えば100回計算する。
④ 100回中、F比が12.79を超えた回数を記録
F比の大小の判別方法(F比が12.79の時)
5
F比の大小の判別方法(F比が12.79の時)
100回中、F比が12.79を超えた回数を算出
=
12.79を超えた回数
100
p値
p値≦0.05なら有意とみなす
=偶然で今回計算された
統計量( F比)を超える確率
6
① 絶対に予測誤差がナイーブ予測と有意に
異ならないとわかっているデータをたくさん集める
② そのデータのF比を計算する
③ 0とは有意に異ならないデータにおける
F比を例えば100回計算する。
④ 100回中、F比が12.79を超えた回数を記録
F比の大小の判別方法(F比が12.79の時)
7
① 絶対に予測誤差がナイーブ予測と有意に
異ならないとわかっているデータをたくさん集める
F比の大小の判別方法(F比が12.79の時)
8
① 絶対に予測誤差
がナイーブ予測と有
意に異ならないとわ
かっているデータをた
くさん集める
F比の大小の判別方法(F比が12.79の時)
9
どうやって?
パラメトリックブートストラップ
を使って
10
パラメトリックブートストラップ?
シミュレーションによりある確率分布に従う
ランダムなデータを生成して、
統計量を算出すること
11
今回の内容
1.RをつかってPB検定する
2.確率分布を理解する
3.正規分布~正規線形モデルを理解する
12
実演
Histogram of sim.F.value
Density
0 5 10 15 20
0.00.20.40.60.81.0
確率分布
○~×に位置するデータの割合が求まる
14
確率分布
シミュレーションで出すのは大変・・・
もっと簡単にp値を計算できないか?
http://ja.wikipedia.org/wiki/F%E5%88%86%E5%B8%83
計算で出せる(df()の中身)
15
まとめ
① 絶対に予測誤差がナイーブ予測と有意に
異ならないとわかっているデータをたくさん集める
パラメトリックブートストラップ
計算が面倒なので
普通は偉い人の数式を使って確率分布を導く
質問どうぞ!
16
Simulate関数
Simulate関数は
どのようにしてデータを作っている?
1.データはあるモデルに従って生成される
2.しかし、データはモデルの方程式通りに
出てくるのではなく、
方程式の出力を期待値とした
独立な正規分布に従って生成される
17
データはあるモデルに従って生成される
YはOptionの影響を受けていない
と考えたモデルから擬似データを生成した
毎回値が変わるのはなぜ?
正規分布に従う乱数から出された値だから
18
正規分布とは?
確率分布です
○~×に位置するデータの割合が求まる
用例)
ある正規分布において、
データが3~2の範囲内に収まる確率は?
→10%です!
19
正規分布とは?
平均を中心に左右対称な確率分布です
用例)
平均0の正規分布において、
データが3~2の範囲内に収まる確率=10%なら
-3~-2の範囲内に収まる確率も10%
20
正規分布とは?
平均によって中心位置が変わります
分散によって裾の広さが変わります。
-6 -4 -2 0 2 4 6
0.00.10.20.30.40.5
正規分布
確率
平均0、分散1
平均2、分散1
平均0、分散4
正規分布とは?
分散小ならデータはほとんど平均のそばに現れる
分散大なら平均と離れた場所に現れる確率が上がる
-6 -4 -2 0 2 4 6
0.00.10.20.30.40.5
正規分布
確率
平均0、分散1
平均0、分散4
22
正規分布の何がすごいか
1.計算がいろいろと楽
2.正規分布に従うデータは数多い
3.合計値や期待値をとると、なぜか正規分布になる
(中心極限定理)
23
正規線形モデルとは?
• 予測の方程式は線形である
気温10度の時、温度が1度上がると10本多く売れる
気温20度の時、温度が1度上がると10本多く売れる
気温90度の時、温度が1度上がると10本多く売れる
ビールの売り上げを予測する
24
正規線形モデルとは?
• 予測の方程式は線形である
• 予測からのデータのズレは
左右対称の正規分布に従う
限界を知ったうえで活用しよう
質問どうぞ!
25
正規線形モデルの再確認
中心極限定理のシミュレーション
実演

Contenu connexe

Tendances

Tendances (20)

1 4.回帰分析と分散分析
1 4.回帰分析と分散分析1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
 
Stan超初心者入門
Stan超初心者入門Stan超初心者入門
Stan超初心者入門
 
1 2.t検定
1 2.t検定1 2.t検定
1 2.t検定
 
【読書会資料】『StanとRでベイズ統計モデリング』Chapter12:時間や空間を扱うモデル
【読書会資料】『StanとRでベイズ統計モデリング』Chapter12:時間や空間を扱うモデル【読書会資料】『StanとRでベイズ統計モデリング』Chapter12:時間や空間を扱うモデル
【読書会資料】『StanとRでベイズ統計モデリング』Chapter12:時間や空間を扱うモデル
 
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
 
MCMCでマルチレベルモデル
MCMCでマルチレベルモデルMCMCでマルチレベルモデル
MCMCでマルチレベルモデル
 
社会心理学とGlmm
社会心理学とGlmm社会心理学とGlmm
社会心理学とGlmm
 
Stanコードの書き方 中級編
Stanコードの書き方 中級編Stanコードの書き方 中級編
Stanコードの書き方 中級編
 
Mplusの使い方 初級編
Mplusの使い方 初級編Mplusの使い方 初級編
Mplusの使い方 初級編
 
ベイジアンモデリングによるマーケティングサイエンス〜状態空間モデルを用いたモデリング
ベイジアンモデリングによるマーケティングサイエンス〜状態空間モデルを用いたモデリングベイジアンモデリングによるマーケティングサイエンス〜状態空間モデルを用いたモデリング
ベイジアンモデリングによるマーケティングサイエンス〜状態空間モデルを用いたモデリング
 
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
 
第4回DARM勉強会 (構造方程式モデリング)
第4回DARM勉強会 (構造方程式モデリング)第4回DARM勉強会 (構造方程式モデリング)
第4回DARM勉強会 (構造方程式モデリング)
 
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
 
因果関係を時系列変化で分析
因果関係を時系列変化で分析因果関係を時系列変化で分析
因果関係を時系列変化で分析
 
PRML輪読#8
PRML輪読#8PRML輪読#8
PRML輪読#8
 
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
 
1 1.はじめに
1 1.はじめに1 1.はじめに
1 1.はじめに
 
反応時間データをどう分析し図示するか
反応時間データをどう分析し図示するか反応時間データをどう分析し図示するか
反応時間データをどう分析し図示するか
 
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
StanとRでベイズ統計モデリングに関する読書会(Osaka.stan) 第四章
 
ファクター投資と機械学習
ファクター投資と機械学習ファクター投資と機械学習
ファクター投資と機械学習
 

En vedette

El naixement d'una llengua
El naixement d'una llenguaEl naixement d'una llengua
El naixement d'una llengua
gerard vilanova
 

En vedette (9)

1 8.交互作用
1 8.交互作用1 8.交互作用
1 8.交互作用
 
1 6.変数選択とAIC
1 6.変数選択とAIC1 6.変数選択とAIC
1 6.変数選択とAIC
 
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
 
2 1.予測と確率分布
2 1.予測と確率分布2 1.予測と確率分布
2 1.予測と確率分布
 
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
 
2 2.尤度と最尤法
2 2.尤度と最尤法2 2.尤度と最尤法
2 2.尤度と最尤法
 
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
 
予測理論とpredictability
予測理論とpredictability予測理論とpredictability
予測理論とpredictability
 
El naixement d'una llengua
El naixement d'una llenguaEl naixement d'una llengua
El naixement d'una llengua
 

Dernier

Dernier (10)

論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 

1 5.パラメトリックブートストラップ検定と確率分布