SlideShare une entreprise Scribd logo
1  sur  41
統計の基本と
t検定
1
1日目-第2講
名前:馬場真哉
所属:北大水産 修士課程2年
Webサイト: logics of blue で検索
2
正規線形モデルの理解のために
統計の基本とt検定
分散分析(ANOVA)
回帰分析と分散分析
PB検定と確率分布
モデル選択とAIC
出来れば
Type II ANOVA、交互作用
3
統計の基本と t検定
理解してほしい事
 用語の理解
• 平均・分散
• 不偏分散
• 標準偏差
• 標準誤差
 検定の仕組み
4
用語の理解
① 平均値と期待値
足して2で割る
正確な定義
「確率×その時の値」の合計
𝑝𝑖 𝑥𝑖
𝑛
𝑖=1
n:サンプルサイズ
p:確率
x:変数
5
期待値(「確率×その時の値」の合計)の例
大阪の気温10日分
{19, 19, 20, 20, 20, 20, 20, 21, 21, 21}
19になる確率 = 2÷10
20になる確率 = 5÷10
21になる確率 = 3÷10
19 ×
2
10
+ 20 ×
5
10
+ 21 ×
3
10
= 20.1
6
期待値とは何か
期待値とは
データを表す「代表値」です
「確率×その時の値」の合計
• 大きい値がたくさんあるとでかくなる
• 大きい値が少ししかないとデカくならない
7
なぜ代表値が必要か
比較が楽だから
大阪
{19, 19, 20, 20, 20, 20, 20, 21, 21, 21}
東京
{-50, 0, 0, 20, 20, 20, 20, 20, 70, 70}
比較が大変
20.1 VS 19一目瞭然!
8
用語その2
分散
期待値の「役に立たなささ」
• 比較に使える →役に立つ
• 比較に使えない→役立たず
期待値の「不確実性」
ではない
9
分散の定義
分散
𝑝𝑖 𝑥𝑖 − 𝜇 2
𝑛
𝑖=1
n:サンプルサイズ
p:確率
x:変数
µ:期待値
1
𝑛
𝑥𝑖 − 𝜇 2
𝑛
𝑖=1
「(Data-期待値)の2乗」の期待値
10
分散とは何か
分散
「(Data-期待値)の2乗」の期待値
Dataと期待値の乖離
一つ一つのデータは期待値から
どれだけ離れていると期待できるか
(データの「ばらつき」の大きさ)
11
期待値と分散の例
大阪
{19, 19, 20, 20, 20, 20, 20, 21, 21, 21}
東京
{-50, 0, 0, 20, 20, 20, 20, 20, 70, 70}
期待値:20.1 分散:0.54…
期待値:19 分散:1069…
東京データは分散が大きすぎる
12
データの大小を比較するとき
期待値の差が大きい
期待値が比較に使える(分散小さい)
「差がある」とは?
13
まとめ
① データは期待値で比較する
楽だから
② 期待値が使えるかを分散で判断
「データが期待値からどれだけ
離れていると期待できるか」
質問どうぞ!
14
ここからは……
分散をもっと使いやすくしよう!
• 不偏分散
• 標準偏差
• 標準誤差
15
不偏分散とは
「不偏」=偏りがない
たくさんサンプリングしたら
漸近的に正しい値に近づいていく
漸近的に0に近づく
16
普通の分散、不偏な分散
普通の分散には偏りがある
たくさんサンプリングをしても
正しい値に近づかない
ちょっと怪しげな解説
17
{1, 2, 3, 4, 5,・・・ , 98, 99, 100}
データ
普通の分散はなぜ不偏でないか
「真の」期待値
50.5
「真の」分散
833.25
{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
10個だけサンプリングしてみた
「データの」期待値
5.5
18
「真の」期待値「データの」期待値
1 100
正しい分散の計算
19
「真の」期待値「データの」期待値
1 100
ウソの分散の計算
20
「真の」期待値「データの」期待値
1 100
ウソの分散の計算
正しい分散の計算
普通の分散は下方修正されている
21
普通の分散はなぜ不偏でないか
1.分散は期待値を計算した後に計算される
不偏分散
2.データから計算された期待値は怪しい
→ただし、漸近的には正しくなる
3.怪しい期待値から計算された分散はもっと怪しい
→漸近的にも正しくならない
22
不偏分散の計算方法
普通の分散(標本分散)
𝑝𝑖 𝑥𝑖 − 𝜇 2
𝑛
𝑖=1
n:サンプルサイズ
p:確率
x:変数
µ:期待値
1
𝑛
𝑥𝑖 − 𝜇 2
𝑛
𝑖=1
1
𝑛 − 1
𝑥𝑖 − 𝜇 2
𝑛
𝑖=1
不偏分散
分散が大きくなった
23
ここからは……
分散をもっと使いやすくしよう!
その②
標準偏差
24
標準偏差とは
標準偏差= (不偏)分散
分散の単位 ℃
2
、個
2
、kg2
標準偏差の単位 ℃ 、個 、kg
楽
25
ここからは……
分散をもっと使いやすくしよう!
その③
標準誤差
26
標準誤差とは
期待値の不確実性の尺度
標準誤差=
(不偏)分散
サンプルサイズ
なぜサンプルサイズ?
27
標準誤差の例:エレベータの搭載重量
一人だけ乗る場合
1/2 1/2
二人だけ乗る場合
よくある レアレア
四人も乗る場合
よくある 激レア激レア
人数が増えると
全員デブ or 全員ガリ
にはなりにくい
サンプルサイズは
大事!
28
標準誤差とは
標準誤差=
(不偏)分散
サンプルサイズ
たくさんデータがあった方が
期待値は信用できる
期待値の不確実性の尺度
29
データの大小を比較するとき
期待値の差が大きい
期待値が比較に使える(分散小さい)
サンプルサイズが大きい
「差がある」とは?
30
まとめ
① データは期待値で比較する
楽だから
② 期待値が使えるかを分散で判断
• 不偏分散 → バイアスの排除
• 標準偏差 → 単位を見やすく
質問どうぞ!
③ サンプルサイズも加味
標準誤差
31
ここからは…
検定やります
32
検定って?
“有意差”があるかどうかを判別すること
検定
意味の有る差?
33
データの大小を比較するとき
期待値の差が大きい
期待値が比較に使える(分散小さい)
サンプルサイズが大きい
「意味の有る差」とは?
この比較作業こそが有意性検定
34
比較に使う指標 t値
=
期待値の差の大きさ
分散
サンプルサイズ
t値
t値が大なら
• 期待値の差が大きい
• 分散が小さい(期待値を比較に使える)
• サンプルサイズ大(期待値が信用できる)
有意差あり
35
例 あるデータの期待値は
“有意に”0と異なるか?
=
データの期待値 − 0
データの分散
データのサンプルサイズ
t値
t値が大なら
• 期待値と0との差が大きい
• 分散が小さい(期待値を比較に使える)
• サンプルサイズ大(期待値が信用できる)
有意差あり
36
t値の大小
どれくらい大きければ有意になるの?
「確率」というモノサシを使う
t値が大きければ有意差ありになる!
37
① 絶対に期待値が0と有意に異ならないと
わかっているデータをたくさん集める
t値の大小の判別方法(t値が2.59の時)
t値が2.59を超えた回数が、100回中5回以内だった
→偶然でt値が2.59を超える確率は小さい
→有意差あり
② そのデータのt値を計算する
③ 0とは有意に異ならないデータにおける
t値を例えば100回計算する。
④ 100回中、t値が2.59を超えた回数を記録
38
t値の大小の判別方法(t値が2.59の時)
100回中、t値が2.59を超えた回数を算出
=
2.59を超えた回数
100
p値
p値≦0.05ならt値はデカいとみなす
→ 有意差あり!
=偶然で今回計算された
統計量(t値)を超える確率
39
t検定まとめ
① t値が大きい → 有意差あり
=
期待値の差の大きさ
分散
サンプルサイズ
t値
② p値が小さい → t値が大きい
p値 =偶然で今回計算された
統計量(t値)を超える確率
質問どうぞ!
40
① 絶対に期待値が0と有意に異ならないと
わかっているデータをたくさん集める
実際のところは
集めるのは大変なので、普通は計算で補う
偉い人が計算式を作ってくれている(t分布)
おまけ
集め方はパラメトリックブートストラップ検定で解説します
41
実演

Contenu connexe

Tendances

ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定Akira Masuda
 
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門ノンパラベイズ入門の入門
ノンパラベイズ入門の入門Shuyo Nakatani
 
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみた(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみたTakashi Yamane
 
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定2 4.devianceと尤度比検定
2 4.devianceと尤度比検定logics-of-blue
 
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門Yu Tamura
 
重回帰分析で交互作用効果
重回帰分析で交互作用効果重回帰分析で交互作用効果
重回帰分析で交互作用効果Makoto Hirakawa
 
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!takehikoihayashi
 
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)Yoshitake Takebayashi
 
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰logics-of-blue
 
Stanコードの書き方 中級編
Stanコードの書き方 中級編Stanコードの書き方 中級編
Stanコードの書き方 中級編Hiroshi Shimizu
 
MCMCでマルチレベルモデル
MCMCでマルチレベルモデルMCMCでマルチレベルモデル
MCMCでマルチレベルモデルHiroshi Shimizu
 
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門Koichiro Gibo
 
順序データでもベイズモデリング
順序データでもベイズモデリング順序データでもベイズモデリング
順序データでもベイズモデリング. .
 
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)Masaru Tokuoka
 
傾向スコアの概念とその実践
傾向スコアの概念とその実践傾向スコアの概念とその実践
傾向スコアの概念とその実践Yasuyuki Okumura
 
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル2 7.一般化線形混合モデル
2 7.一般化線形混合モデルlogics-of-blue
 
2 1.予測と確率分布
2 1.予測と確率分布2 1.予測と確率分布
2 1.予測と確率分布logics-of-blue
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)Kota Mori
 

Tendances (20)

ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
 
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
 
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみた(実験心理学徒だけど)一般化線形混合モデルを使ってみた
(実験心理学徒だけど)一般化線形混合モデルを使ってみた
 
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
 
一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門一般化線形混合モデル入門の入門
一般化線形混合モデル入門の入門
 
重回帰分析で交互作用効果
重回帰分析で交互作用効果重回帰分析で交互作用効果
重回帰分析で交互作用効果
 
比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!比例ハザードモデルはとってもtricky!
比例ハザードモデルはとってもtricky!
 
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
 
2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰2 5 2.一般化線形モデル色々_ロジスティック回帰
2 5 2.一般化線形モデル色々_ロジスティック回帰
 
Stanコードの書き方 中級編
Stanコードの書き方 中級編Stanコードの書き方 中級編
Stanコードの書き方 中級編
 
MCMCでマルチレベルモデル
MCMCでマルチレベルモデルMCMCでマルチレベルモデル
MCMCでマルチレベルモデル
 
分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門分割時系列解析(ITS)の入門
分割時系列解析(ITS)の入門
 
社会心理学とGlmm
社会心理学とGlmm社会心理学とGlmm
社会心理学とGlmm
 
順序データでもベイズモデリング
順序データでもベイズモデリング順序データでもベイズモデリング
順序データでもベイズモデリング
 
DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)DARM勉強会第3回 (missing data analysis)
DARM勉強会第3回 (missing data analysis)
 
傾向スコアの概念とその実践
傾向スコアの概念とその実践傾向スコアの概念とその実践
傾向スコアの概念とその実践
 
2 7.一般化線形混合モデル
2 7.一般化線形混合モデル2 7.一般化線形混合モデル
2 7.一般化線形混合モデル
 
2 1.予測と確率分布
2 1.予測と確率分布2 1.予測と確率分布
2 1.予測と確率分布
 
Prml 2.3
Prml 2.3Prml 2.3
Prml 2.3
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
 

En vedette

1 6.変数選択とAIC
1 6.変数選択とAIC1 6.変数選択とAIC
1 6.変数選択とAIClogics-of-blue
 
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化logics-of-blue
 
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデルlogics-of-blue
 
2 2.尤度と最尤法
2 2.尤度と最尤法2 2.尤度と最尤法
2 2.尤度と最尤法logics-of-blue
 
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデルlogics-of-blue
 
予測理論とpredictability
予測理論とpredictability予測理論とpredictability
予測理論とpredictabilitylogics-of-blue
 
El naixement d'una llengua
El naixement d'una llenguaEl naixement d'una llengua
El naixement d'una llenguagerard vilanova
 

En vedette (8)

1 8.交互作用
1 8.交互作用1 8.交互作用
1 8.交互作用
 
1 6.変数選択とAIC
1 6.変数選択とAIC1 6.変数選択とAIC
1 6.変数選択とAIC
 
2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化2 5 1.一般化線形モデル色々_CPUE標準化
2 5 1.一般化線形モデル色々_CPUE標準化
 
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
2 5 3.一般化線形モデル色々_Gamma回帰と対数線形モデル
 
2 2.尤度と最尤法
2 2.尤度と最尤法2 2.尤度と最尤法
2 2.尤度と最尤法
 
2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル2 6.ゼロ切断・過剰モデル
2 6.ゼロ切断・過剰モデル
 
予測理論とpredictability
予測理論とpredictability予測理論とpredictability
予測理論とpredictability
 
El naixement d'una llengua
El naixement d'una llenguaEl naixement d'una llengua
El naixement d'una llengua
 

Similaire à 1 2.t検定

Rm20140507 4key
Rm20140507 4keyRm20140507 4key
Rm20140507 4keyyouwatari
 
Analysis of clinical trials using sas 勉強用 isseing333
Analysis of clinical trials using sas 勉強用 isseing333Analysis of clinical trials using sas 勉強用 isseing333
Analysis of clinical trials using sas 勉強用 isseing333Issei Kurahashi
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習Hirotaka Hachiya
 
K070 点推定
K070 点推定K070 点推定
K070 点推定t2tarumi
 
2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)
2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)
2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)Akira Asano
 
理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門Hiroshi Unzai
 
統計的検定と例数設計の基礎
統計的検定と例数設計の基礎統計的検定と例数設計の基礎
統計的検定と例数設計の基礎Senshu University
 
STARD2015に学ぶ「診断精度の分析」の書き方
 STARD2015に学ぶ「診断精度の分析」の書き方 STARD2015に学ぶ「診断精度の分析」の書き方
STARD2015に学ぶ「診断精度の分析」の書き方Yoshitake Takebayashi
 
異常検知と変化検知の1~3章をまとめてみた
異常検知と変化検知の1~3章をまとめてみた異常検知と変化検知の1~3章をまとめてみた
異常検知と変化検知の1~3章をまとめてみたTakahiro Yoshizawa
 
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布Seiichi Uchida
 
第5回Zansa勉強会
第5回Zansa勉強会第5回Zansa勉強会
第5回Zansa勉強会Zansa
 
R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02akira_11
 
ベイズ統計入門
ベイズ統計入門ベイズ統計入門
ベイズ統計入門Miyoshi Yuya
 
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノートWataru Shito
 
患者報告式尺度の開発方法
患者報告式尺度の開発方法患者報告式尺度の開発方法
患者報告式尺度の開発方法Senshu University
 

Similaire à 1 2.t検定 (20)

Dbda chapter15
Dbda chapter15Dbda chapter15
Dbda chapter15
 
Rm20140507 4key
Rm20140507 4keyRm20140507 4key
Rm20140507 4key
 
201803NC
201803NC201803NC
201803NC
 
Analysis of clinical trials using sas 勉強用 isseing333
Analysis of clinical trials using sas 勉強用 isseing333Analysis of clinical trials using sas 勉強用 isseing333
Analysis of clinical trials using sas 勉強用 isseing333
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習
 
K070 点推定
K070 点推定K070 点推定
K070 点推定
 
2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)
2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)
2018年度秋学期 統計学 第14回 分布についての仮説を検証するー検定 (2019. 1. 8)
 
理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門
 
tadano m
tadano mtadano m
tadano m
 
Rゼミ 3
Rゼミ 3Rゼミ 3
Rゼミ 3
 
統計的検定と例数設計の基礎
統計的検定と例数設計の基礎統計的検定と例数設計の基礎
統計的検定と例数設計の基礎
 
STARD2015に学ぶ「診断精度の分析」の書き方
 STARD2015に学ぶ「診断精度の分析」の書き方 STARD2015に学ぶ「診断精度の分析」の書き方
STARD2015に学ぶ「診断精度の分析」の書き方
 
異常検知と変化検知の1~3章をまとめてみた
異常検知と変化検知の1~3章をまとめてみた異常検知と変化検知の1~3章をまとめてみた
異常検知と変化検知の1~3章をまとめてみた
 
Toukei4
Toukei4Toukei4
Toukei4
 
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
 
第5回Zansa勉強会
第5回Zansa勉強会第5回Zansa勉強会
第5回Zansa勉強会
 
R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02R実践 機械学習による異常検知 02
R実践 機械学習による異常検知 02
 
ベイズ統計入門
ベイズ統計入門ベイズ統計入門
ベイズ統計入門
 
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 1.講義ノート
 
患者報告式尺度の開発方法
患者報告式尺度の開発方法患者報告式尺度の開発方法
患者報告式尺度の開発方法
 

1 2.t検定