Submit Search
Upload
1 3.分散分析 anova
•
23 likes
•
65,530 views
L
logics-of-blue
Follow
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-3分散分析(ANOVA) 分散分析の基礎
Read less
Read more
Technology
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 33
Recommended
1 2.t検定
1 2.t検定
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
PRML 第4章
PRML 第4章
Akira Miyazawa
Recommended
1 2.t検定
1 2.t検定
logics-of-blue
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
logics-of-blue
1 1.はじめに
1 1.はじめに
logics-of-blue
1 4.回帰分析と分散分析
1 4.回帰分析と分散分析
logics-of-blue
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
logics-of-blue
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
1 7.Type II ANOVA
1 7.Type II ANOVA
logics-of-blue
PRML 第4章
PRML 第4章
Akira Miyazawa
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML輪読#3
PRML輪読#3
matsuolab
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Hiroshi Shimizu
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム
Shinagawa Seitaro
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
計量経済学と 機械学習の交差点入り口 (公開用)
計量経済学と 機械学習の交差点入り口 (公開用)
Shota Yasui
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
Koichiro Gibo
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
ロジスティック回帰分析の入門 -予測モデル構築-
ロジスティック回帰分析の入門 -予測モデル構築-
Koichiro Gibo
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章
Prunus 1350
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
順序データでもベイズモデリング
順序データでもベイズモデリング
. .
正準相関分析
正準相関分析
Akisato Kimura
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
1 8.交互作用
1 8.交互作用
logics-of-blue
More Related Content
What's hot
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML輪読#3
PRML輪読#3
matsuolab
2 3.GLMの基礎
2 3.GLMの基礎
logics-of-blue
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
Hiroshi Shimizu
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム
Shinagawa Seitaro
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
logics-of-blue
計量経済学と 機械学習の交差点入り口 (公開用)
計量経済学と 機械学習の交差点入り口 (公開用)
Shota Yasui
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
Koichiro Gibo
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
ロジスティック回帰分析の入門 -予測モデル構築-
ロジスティック回帰分析の入門 -予測モデル構築-
Koichiro Gibo
2 1.予測と確率分布
2 1.予測と確率分布
logics-of-blue
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
Kota Mori
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章
Prunus 1350
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
logics-of-blue
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
logics-of-blue
順序データでもベイズモデリング
順序データでもベイズモデリング
. .
正準相関分析
正準相関分析
Akisato Kimura
What's hot
(20)
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
PRML輪読#3
PRML輪読#3
2 3.GLMの基礎
2 3.GLMの基礎
心理学におけるベイズ統計の流行を整理する
心理学におけるベイズ統計の流行を整理する
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
情報幾何勉強会 EMアルゴリズム
情報幾何勉強会 EMアルゴリズム
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
1 5.パラメトリックブートストラップ検定と確率分布
1 5.パラメトリックブートストラップ検定と確率分布
計量経済学と 機械学習の交差点入り口 (公開用)
計量経済学と 機械学習の交差点入り口 (公開用)
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
不均衡データのクラス分類
不均衡データのクラス分類
ロジスティック回帰分析の入門 -予測モデル構築-
ロジスティック回帰分析の入門 -予測モデル構築-
2 1.予測と確率分布
2 1.予測と確率分布
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
順序データでもベイズモデリング
順序データでもベイズモデリング
正準相関分析
正準相関分析
Viewers also liked
2 2.尤度と最尤法
2 2.尤度と最尤法
logics-of-blue
1 8.交互作用
1 8.交互作用
logics-of-blue
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
logics-of-blue
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
logics-of-blue
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
Social Survey Research Information Co., Ltd.
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
Masaru Tokuoka
ベイズファクターとモデル選択
ベイズファクターとモデル選択
kazutantan
予測理論とpredictability
予測理論とpredictability
logics-of-blue
El naixement d'una llengua
El naixement d'una llengua
gerard vilanova
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
Hiroshi Shimizu
Viewers also liked
(10)
2 2.尤度と最尤法
2 2.尤度と最尤法
1 8.交互作用
1 8.交互作用
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
エクセル統計の使い方(分散分析編)
エクセル統計の使い方(分散分析編)
ベイズ主義による研究の報告方法
ベイズ主義による研究の報告方法
ベイズファクターとモデル選択
ベイズファクターとモデル選択
予測理論とpredictability
予測理論とpredictability
El naixement d'una llengua
El naixement d'una llengua
エクセルで統計分析 統計プログラムHADについて
エクセルで統計分析 統計プログラムHADについて
Recently uploaded
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(12)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
1 3.分散分析 anova
1.
分散分析 ANOVA 1 1日目-第3講 名前:馬場真哉 所属:北大水産 修士課程2年 Webサイト:
logics of blue で検索
2.
2 正規線形モデルの理解のために 統計の基本とt検定 分散分析(ANOVA) 回帰分析と分散分析 PB検定と確率分布 モデル選択とAIC 出来れば Type II ANOVA、交互作用
3.
3 分散分析とは 分散分析(ANOVA) “選択肢”を変えることによって • 結果は“有意に”変化するといえるか? • 変化するとしたらどれくらい変わるか?
4.
4 “選択肢”を変えることによって • 結果は“有意に”変化するといえるか? • 変化するとしたらどれくらい変わるか? 分散分析の例 例) 薬A,
B, Cによって魚の体長は変わるか? 体長変化モデル|体長~薬 施策によって、売上高は変わるか? 売り上げ予測モデル|売上~施策
5.
5 今回の流れ 1.Rを用いて分散分析する →分散分析の予測のメカニズムの理解 2.統計モデルにおける検定方法の理解 3.Rを使って検定する
6.
6 実演
7.
7 分散分析モデル 施策によって、売上高は変わるか? 売り上げ予測モデル|売上~施策 →施策ごとに売り上げの期待値をとって予測 選択肢ごとの期待値を予測値とする統計モデル
8.
8 分散分析な検定 統計モデルにおける「検定」とは? 1.パラメタが0かどうかを検定 →t検定、Wald検定(明日) 2.予測値が変化するかを検定 →F検定、尤度比検定(明日)
9.
9 統計モデルな検定 予測 という言葉に敏感になってください 統計モデルをやる人は
10.
10 予測と検定 分散分析 選択肢ごとに予測値が有意に変わるかの検定 期待値が0と有意に異なるかのt検定 あるデータへの予測値は0とみなせるかの検定 検定は「予測」で表せる
11.
11 おまけ 予測値は選択肢ごとの期待値に等しい 分散分析 選択肢ごとに予測値が有意に変わるかの検定 期待値の差の検定と呼ばれることもある
12.
12 有意に予測値が変化すると言うための要件 予測値の変化が大きい 予測値が比較に使える(予測残差小) サンプルサイズが大きい 期待値の差が大きい 期待値が比較に使える(分散小さい) サンプルサイズが大きい t検定の場合
13.
13 有意に予測値が変化すると言うための要件 予測値の変化が大きい ナイーブな予測とどれだけ異なるか?
14.
14 ナイーブな予測 ナイーブな予測 予測値一定 → 予測値は総平均 二つの予測モデルの 予測の違いを検定している! 予測値変化モデル 選択肢毎に異なる
→ 予測値は個別の平均
15.
15 まとめ 分散分析 選択肢ごとの期待値を予測値とする統計モデル 選択肢ごとに予測値が有意に変わるかを検定 予測値の変化が大きい 予測値が比較に使える(予測残差小) サンプルサイズが大きい ナイーブ予測との比較ともみなせる 質問どうぞ!
16.
16 分散分析の計算方法 に分ける データ =平均 + 予測効果
+ 残差
17.
17 A B C 1
4 7 2 5 8 3 6 9 4 7 10 5 8 11 データの分割 予測値 3 6 9 総平均 6 予測効果 -3 0 +3 選択肢により 結果はどう “補正” されたか? データ =平均 + 予測効果 + 残差
18.
18 予測効果 A B C -3
0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 データの分割 データ =平均 + 予測効果 + 残差 Option:A →並み(6)を3下方修正 Option:B →並み(6)のまま Option:C →並み(6)を3上方修正
19.
19 予測残差 A B C -2
-2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 データ =平均 + 予測効果 + 残差 データの分割 残差 =データ - 平均 - 予測効果 =データ -予測値
20.
20 データ A B C 1
4 7 2 5 8 3 6 9 4 7 10 5 8 11 予測効果 A B C -3 0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 予測残差 A B C -2 -2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 総平均=6 データ=平均(6)+予測効果+誤差
21.
21 統計量 F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) • 予測効果が大きい(予測の変化が大きい) •
予測残差が小さい(予測結果を信用できる) F比が大きければ有意差あり
22.
22 統計量 F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) • 予測効果が大きい •
予測残差が小さい 大きさ=分散?
23.
23 3 4 5 4 1 7 分散 1 3 3 − 4
2 + 4 − 4 2 + 5 − 4 2 1 3 1 − 4 2 + 4 − 4 2 + 7 − 4 2 分散 = 2 3 = 18 3 = 6小 大 予測値の差が小さい 予測値の差が大きい Aの予測値Aの予測値 Bの予測値Bの予測値 Cの予測値Cの予測値
24.
24 3 4 5 4 1 7 差が小さい 差が大きい 分散と差の大きさ 分散が大きい 予測値のばらつきが大きい 予測値の変化が大きい
25.
25 統計量 サンプルサイズは「分散」 の計算の時に入ってくる F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) = 期待値の差の大きさ 分散 サンプルサイズ t値 参考 •
予測効果が大きい • 予測残差が小さい F比大なら有意
26.
26 ナイーブ予測との比較 ナイーブな予測 データ = 平均
+ 残差 予測値変化モデル データ = 平均 + 予測効果 + 残差 残差 = データ - 平均 残差 = データ - 平均 - 予測効果
27.
27 ナイーブ予測との比較 ナイーブな予測の残差 残差 = データ
- 平均 予測値変化モデルの残差 残差 = データ - 平均 - 予測効果 ナイーブな予測の残差 - 予測値変化モデルの残差 =予測効果
28.
28 統計量 = ナイーブ予測の予測残差 ー 予測値変化モデルの残差 予測値変化モデルの予測残差の大きさ F比 = 予測効果の大きさ(分散) 予測残差の大きさ(分散) ナイーブ予測と比べて、 どれだけ予測残差が減ったのか? 分散分析とは 予測残差の比較である
29.
29 まとめ 分散分析 選択肢ごとの期待値を予測値とする統計モデル 選択肢ごとに予測値が有意に変わるかを検定 質問どうぞ! =ナイーブ予測と比べてどれだけ予測残差が減ったか F比 分散分析とは「予測残差の比較」である
30.
30 分散の計算方法 分散を計算するときに • Optionの数 • サンプルサイズの影響 を入れたい = 偏差平方和 自由度 分散= データ
− 期待値 2 の合計 自由度
31.
31 予測効果の分散 自由度 予測効果 A B
C -3 0 3 -3 0 3 -3 0 3 -3 0 3 -3 0 3 数字は3種類しかない ↓ 予測効果の合計は0 ↓ A, B, C のうち一つ固定 3 - 1 = 2
32.
残差 A B C -2
-2 -2 -1 -1 -1 0 0 0 1 1 1 2 2 2 32 予測効果の分散 自由度 数字はたくさん。 15データあるとみなしてよい。 ↓ 各列の予測誤差の合計は0 ↓ A, B, C の一つずつ固定 15 - 3 = 12
33.
33 実演