Soumettre la recherche
Mettre en ligne
1 6.変数選択とAIC
•
8 j'aime
•
29,570 vues
L
logics-of-blue
Suivre
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-6.変数選択とAIC 検定とAICを用いて変数選択する方法について説明します。
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 25
Recommandé
混合モデルを使って反復測定分散分析をする
混合モデルを使って反復測定分散分析をする
Masaru Tokuoka
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
Sayuri Shimizu
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
rstanで簡単にGLMMができるglmmstan()を作ってみた
rstanで簡単にGLMMができるglmmstan()を作ってみた
Hiroshi Shimizu
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
shima o
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
Hiroshi Shimizu
Recommandé
混合モデルを使って反復測定分散分析をする
混合モデルを使って反復測定分散分析をする
Masaru Tokuoka
ロジスティック回帰分析の書き方
ロジスティック回帰分析の書き方
Sayuri Shimizu
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
Yu Tamura
rstanで簡単にGLMMができるglmmstan()を作ってみた
rstanで簡単にGLMMができるglmmstan()を作ってみた
Hiroshi Shimizu
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
shima o
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
状態空間モデルの考え方・使い方 - TokyoR #38
状態空間モデルの考え方・使い方 - TokyoR #38
horihorio
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
Hiroshi Shimizu
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Hiroshi Shimizu
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
03 「重回帰分析」の入門
03 「重回帰分析」の入門
Shuhei Ichikawa
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
社会心理学とGlmm
社会心理学とGlmm
Hiroshi Shimizu
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
潜在クラス分析
潜在クラス分析
Yoshitake Takebayashi
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
Masakazu Shinoda
MCMCでマルチレベルモデル
MCMCでマルチレベルモデル
Hiroshi Shimizu
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
Shohei Kumagai
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
負の二項分布について
負の二項分布について
Hiroshi Shimizu
多重代入法の書き方 公開用
多重代入法の書き方 公開用
Koichiro Gibo
スパース推定法による統計モデリング(入門)
スパース推定法による統計モデリング(入門)
Hidetoshi Matsui
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
1 8.交互作用
1 8.交互作用
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
Contenu connexe
Tendances
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Hiroshi Shimizu
Stan超初心者入門
Stan超初心者入門
Hiroshi Shimizu
関数データ解析の概要とその方法
関数データ解析の概要とその方法
Hidetoshi Matsui
03 「重回帰分析」の入門
03 「重回帰分析」の入門
Shuhei Ichikawa
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
社会心理学とGlmm
社会心理学とGlmm
Hiroshi Shimizu
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
潜在クラス分析
潜在クラス分析
Yoshitake Takebayashi
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
Masakazu Shinoda
MCMCでマルチレベルモデル
MCMCでマルチレベルモデル
Hiroshi Shimizu
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
Shohei Kumagai
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
負の二項分布について
負の二項分布について
Hiroshi Shimizu
多重代入法の書き方 公開用
多重代入法の書き方 公開用
Koichiro Gibo
スパース推定法による統計モデリング(入門)
スパース推定法による統計モデリング(入門)
Hidetoshi Matsui
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
Masaharu Kinoshita
Tendances
(20)
心理学者のためのGlmm・階層ベイズ
心理学者のためのGlmm・階層ベイズ
Stan超初心者入門
Stan超初心者入門
関数データ解析の概要とその方法
関数データ解析の概要とその方法
03 「重回帰分析」の入門
03 「重回帰分析」の入門
ベイズファクターとモデル選択
ベイズファクターとモデル選択
Stanコードの書き方 中級編
Stanコードの書き方 中級編
社会心理学とGlmm
社会心理学とGlmm
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
2 3.GLMの基礎
2 3.GLMの基礎
潜在クラス分析
潜在クラス分析
20180118 一般化線形モデル(glm)
20180118 一般化線形モデル(glm)
MCMCでマルチレベルモデル
MCMCでマルチレベルモデル
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
Partial least squares回帰と画像認識への応用
Partial least squares回帰と画像認識への応用
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
負の二項分布について
負の二項分布について
多重代入法の書き方 公開用
多重代入法の書き方 公開用
スパース推定法による統計モデリング(入門)
スパース推定法による統計モデリング(入門)
時系列問題に対するCNNの有用性検証
時系列問題に対するCNNの有用性検証
En vedette
1 8.交互作用
1 8.交互作用
logics-of-blue
1 2.t検定
1 2.t検定
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
1 3.分散分析 anova
1 3.分散分析 anova
logics-of-blue
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
変数選択におけるAICの利用:理論と実装
変数選択におけるAICの利用:理論と実装
sstat3
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Takahiro Yoshinaga
Kobe.R #18: 本の紹介: 通称「緑本」
Kobe.R #18: 本の紹介: 通称「緑本」
tnoda
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
Hirofumi Tsuruta
幾何を使った統計のはなし
幾何を使った統計のはなし
Toru Imai
時系列データ分析とPython
時系列データ分析とPython
Hirofumi Tsuruta
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Masanori Takano
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
En vedette
(20)
1 8.交互作用
1 8.交互作用
1 2.t検定
1 2.t検定
1 7.Type II ANOVA
1 7.Type II ANOVA
1 1.はじめに
1 1.はじめに
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
1 3.分散分析 anova
1 3.分散分析 anova
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 1.予測と確率分布
2 1.予測と確率分布
2 2.尤度と最尤法
2 2.尤度と最尤法
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
変数選択におけるAICの利用:理論と実装
変数選択におけるAICの利用:理論と実装
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Kobe.R #18: 本の紹介: 通称「緑本」
Kobe.R #18: 本の紹介: 通称「緑本」
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
幾何を使った統計のはなし
幾何を使った統計のはなし
時系列データ分析とPython
時系列データ分析とPython
みどりぼん読書会 第4章
みどりぼん読書会 第4章
階層ベイズとWAIC
階層ベイズとWAIC
Dernier
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Dernier
(9)
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
1 6.変数選択とAIC
1.
変数選択とAIC 1 1日目-第6講 名前:馬場真哉 所属:北大水産 修士課程2年 Webサイト: logics
of blue で検索
2.
2 正規線形モデルの理解のために 統計の基本とt検定 分散分析(ANOVA) 回帰分析と分散分析 PB検定と確率分布 変数選択とAIC 是非 Type II ANOVA、交互作用
3.
3 変数選択って? 変数選択とは、モデルに入る変数を選ぶ作業です
4.
4 変数選択 漁獲量 天気 漁獲量 天気
5.
5 ネコ 漁獲量 天気 ネコのデータはいらない
6.
6 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる
7.
7 変数選択のご利益 1.実世界に対する理解が深まる 現象の見える化 →漁獲量に効く要因は何? →売り上げに効く要因は何? 2.実世界の模倣ができる 予測ができる
8.
8 今回の内容 1.変数選択の方法論(検定&AIC)の理解 2.Rを使って変数選択する
9.
9 検定を使って変数選択 = ナイーブ予測の予測残差 ー 予測値変化モデルの残差 予測値変化モデルの予測残差の大きさ F比 普通の分散分析(回帰分析) 検定とは「予測誤差の比較」である =ナイーブ予測と比べてどれだけ予測残差が減ったか
10.
10 = モデル①の予測残差 ー モデル②の予測残差 モデル②の予測残差の大きさ F比 検定を使って変数選択 モデル①
変数が少ないモデル モデル② 変数が多いモデル 変数を増やすと残差は“有意に”減った?
11.
11 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる この当てはまりの向上は 誤差の範囲内だと示す
12.
12 = モデル①の予測残差 ー モデル②の予測残差 モデル②の予測残差の大きさ F比 検定まとめ モデル①
変数が少ないモデル モデル② 変数が多いモデル 変数を入れても残差が“有意” に減らないなら その変数はいらない 変数を増やすと残差は“有意に”減った? 質問どうぞ!
13.
13 検定結果の解釈 モデル|Y ~ X1
+ X2 + Option1 + Option2 モデル|Y ~ X1 ナイーブ予測 モデル|Y ~ X1 + X2 モデル|Y ~ X1 + X2 + Option1 モデル|Y ~ X1 + X2 + Option1 + Option2 予測残差は“有意に”減ったか? 検定 比較・検定 比較・検定
14.
14 検定結果の解釈 この2種類の検定は意味が違う モデル|Y ~ X1
+ X2 + Option1 モデル|Y ~ X1 + X2 + Option1 + Option2 モデル|Y ~ X1 + X2 モデル|Y ~ X1 + X2 + Option2 検定タイプA 検定タイプB
15.
15 情報量規準の世界 モデルに「良さの指標」があればいい 「良さの指標」がBestなモデルを選べば楽ちん AIC [Akaike’s Information Criterion]
16.
16 AICとは 未知のデータへの予測誤差が 小さくなるモデルが良いモデル AIC 細かい理屈は明日説明します!! 今日は使い方だけ!!
17.
17 ネコ 漁獲量 天気 2000年問題 西暦2000年我が家の猫がダイエットしたら サンマの漁獲量が減ってしまった!
18.
18 ネコ 2000年問題 西暦2000年我が家の猫がダイエットしたら サンマの漁獲量が減ってしまった! でも、ほかの年ではこの関係は続かないだろう
19.
19 ネコのデータの是非 ネコ 漁獲量 天気 変数を増やすと、決定係数は増える →モデルの当てはまりは(微量ながら)よくなる しかし、 未知データへの当てはまりは 良くならないはず
20.
20 検定とAIC 検定(当てはまりの向上の有意性の検定) 要因の見える化ができる →必要な要因を用いて将来予測ができる AIC(未知データへの当てはまりの最適化) (未知の)将来予測ができる →予測に必要な変数の見える化ができる 質問どうぞ!
21.
21 実演
22.
22 検定とAIC 検定 色々な手法があります →分散分析、t検定、Wald検定、スコア検定 情報量規準 いろいろあります →AIC, AICc, BIC,
TIC
23.
ある研究者の日常 この魚の成長には水温が効いているに違いない! AICを使ったらモデルに水温が入ってこなかった 分散分析でもダメだった t検定したが、惜しくもダメ BICを使ったらうまくいった。やったね!!!
24.
ある研究者の日常 この魚の成長には水温が効いているに違いない! AICを使ったらモデルに水温が入ってこなかった 分散分析でもダメだった t検定したが、惜しくもダメ BICを使ったらうまくいった。やったね!!!
25.
25 さいごに マナーを守って 楽しく明るく統計モデリング 質問どうぞ!