SlideShare une entreprise Scribd logo
1  sur  35
仮説検定
高橋秀征
用語の準備
帰無仮説(𝐻0)…一般に捨てたい仮説(p.129)
対立仮説(𝐻1)…帰無仮説に対立する仮説(p.129)
棄却する…帰無仮説を捨てる(偽と見なす)こと(p.129)
採択する…帰無仮説を採用する(真と見なす)こと(p.129)
有意水準…棄却・採択の判断基準となる確率の値(p.130)
用語の準備
両側検定…𝐻0:𝜇 ≠ 𝜇0 (𝜇0はある値) の検定(p.132)
片側検定 右片側検定…𝐻1:𝜇 > 𝜇0 (p.132)
左片側検定…𝐻1:𝜇 < 𝜇0 (p.132)
単純仮説…パラメータの値が1点だけの仮説(p.133)
複合仮説…パラメータの値が1点だけではない仮説(p.133)
(パラメータの値が範囲を持つ仮説)
用語の準備
検定統計量…統計的仮説検定に用いる統計量
(p.135)
(正規分布の場合はZ =
𝑋−𝜇
𝜎2
𝑛
)
検定統計値…検定統計量の実現値(p.135)
(正規分布の場合はZ =
𝑥−𝜇
𝜎2
𝑛
)
用語の準備
棄却域…{𝑍 > 𝑧 𝛼}や{𝑍 < −𝑧 𝛼},{ 𝑍 > 𝑧 𝛼
2
}(p.134)
採択域…{𝑍 ≦ 𝑧 𝛼}や{Z ≧ −𝑧 𝛼},{ 𝑍 ≦ 𝑧 𝛼
2
}(p.134)
棄却点…𝑧 𝛼や𝑧 𝛼
2
(p.134)
8.1 仮説検定の考え方
背理法
2を有理数と仮定する ( 2 =
𝑛
𝑚
)
2𝑛 = 𝑚 ⇄ 2𝑛2
= 𝑚2
左辺の因数は奇数個に対し
右辺の因数の数は偶数個
これは素因数分解の一意性に反する
よって矛盾である
ゆえに 2は無理数である ■
仮説検定
帰無仮説(𝐻0)が真と仮定する
その仮定の下で確率を求める
確率が低い 確率が低くない
↓ ↓
帰無仮説を棄却 帰無仮説を採択
対立仮説(𝐻1)が真 帰無仮説(𝐻0)が真
仮定
推論
矛盾
帰無仮定の下で確率を求める
8.2 平均の検定(正規母集団,母分散が既知)
8.4 平均の検定(正規母集団,母分散が未知)
8.5 平均の差の検定
8.6 等分散の検定
8.7 比率の検定
8.2 平均の検定(正規母集団,母分散が既知)
𝐻0:μ=𝜇0 𝐻1:μ≠𝜇0 について考える。
𝑁(𝜇, 𝜎2
)から大きさ𝑛の無作為標本を抽出する。
標本平均を 𝑋とすると、標準化変量Zは
Z =
𝑋 − 𝜇
𝜎2
𝑛
~𝑁(0,1)
𝐻0のもとではZ=
𝑋−𝜇0
𝜎2
𝑛
~𝑁(0,1)となるはずである。
既知の値を代入することで平均からどれほど離れているか
がわかる。
8.2 平均の検定(正規母集団,母分散が既知)
帰無仮説が正しければ、
𝑃 𝑍 > 𝑧 𝛼
2
= 𝛼 を満たす𝑧 𝛼
2
を求めることが出来る。
実際に 𝑍 > 𝑧 𝛼
2
(𝑍 < −𝑧 𝛼
2
, 𝑧 𝛼
2
< 𝑍)となった時、𝛼の確率
の事象が起こったこととなる。
この𝛼を棄却点とすると、𝐻0を棄却できる。
逆に、 𝑍 ≦ 𝑧 𝛼
2
となった時、(1 − 𝛼)の確率が起こったこ
ととなる。よって、𝐻0は採択される。
8.2 平均の検定(正規母集団,母分散が既知)
𝐻0: 𝜇 = 𝜇0 𝐻1: 𝜇 > 𝜇0 (右片側検定)の場合
Z =
𝑋−𝜇0
𝜎2
𝑛
として、Z > 𝑧 𝛼となるかどうかを調べる。
𝐻0:𝜇 = 𝜇0 𝐻1:μ<𝜇0 (左片側検定)の場合
Z =
𝑋−𝜇0
𝜎2
𝑛
として、Z < −𝑧 𝛼となるかどうかを調べる。
帰無仮定の下で確率を求める
8.2 平均の検定(正規母集団,母分散が既知)
8.4 平均の検定(正規母集団,母分散が未知)
8.5 平均の差の検定
8.6 等分散の検定
8.7 比率の検定
8.4.0 平均の検定(正規分布,分散が未知)の準備
p.97 定理6.5
正規母集団𝑁(𝜇, 𝜎2
)から大きさnの無作為標本
を抽出する。
標本平均を 𝑋, 標本分散を𝑆2
で表す。この時、
𝑇𝑛 =
𝑋−𝜇
𝑆2
𝑛
~𝑡(𝑛 − 1) (ただし𝑆2 =
1
𝑛−1 𝑖=1
𝑛
(𝑋𝑖 − 𝑋)2)
8.4.1 平均の検定(正規分布,分散が未知)
𝑁(𝜇, 𝜎2
)から大きさ𝑛の無作為標本を抽出する。
標本平均を 𝑋とすると、
Z =
𝑋 − 𝜇
𝜎2
𝑛
~𝑁(0,1)が成り立つ。
ここでσが未知より、T =
𝑋−𝜇
𝑆2
𝑛
~𝑡(𝑛 − 1) となる。
8.4.1 平均の検定(正規分布,分散が未知)
𝐻0:𝜇 = 𝜇0 𝐻1:𝜇 ≠ 𝜇0 (両側検定)の場合
𝐻0が正しい時、検定統計量は𝑇 =
𝑋−𝜇0
𝑆2
𝑛
となる。
また、𝑃 𝑇 > 𝑡 𝛼
2
𝑛 − 1 = 𝛼 が成立する。
𝑇 > 𝑡 𝛼
2
の時、有意水準𝛼で𝐻0は棄却、
𝑇 ≦ 𝑡 𝛼
2
の時、有意水準𝛼で𝐻0は採択される。
8.4.1 平均の検定(正規分布,分散が未知)
𝐻0:μ=𝜇0 𝐻1:μ>𝜇0 (右片側検定)の場合
𝑇 =
𝑋−𝜇0
𝑆2
𝑛
として,𝑇 > 𝑡 𝛼となるかどうかを調べる。
𝐻0:𝜇 = 𝜇0 𝐻1:μ<𝜇0 (左片側検定)の場合
𝑇 =
𝑋−𝜇0
𝑆2
𝑛
とし,𝑇 < −𝑡 𝛼となるかどうかを調べる。
帰無仮定の下で確率を求める
8.2 平均の検定(正規母集団,母分散が既知)
8.4 平均の検定(正規母集団,母分散が未知)
8.5 平均の差の検定
8.6 等分散の検定
8.7 比率の検定
8.5.0 平均値の差の検定の準備
p.60 定理4.5
確率変数𝑋, 𝑌について
𝐸[𝑋 ± 𝑌] = 𝐸[𝑋] ± 𝐸[𝑌] (複合同順)
p.62 定理4.8
相関係数𝜌(𝑋, 𝑌) = 0であるならば、
𝑉(𝑋 ± 𝑌) = 𝑉(𝑋) + 𝑉(𝑌)
8.5.1 平均値の差の検定(正規分布,分散が既知)
N(𝜇1, 𝜎1
2
)から大きさ𝑛1の無作為標本を抽出する。
𝑁(𝜇2, 𝜎2
2
)から大きさ𝑛2の無作為標本を抽出する。
標本平均は 𝑋1~N(𝜇1 ,
𝜎1
2
𝑛1
) 𝑋2~𝑁(𝜇2,
𝜎2
2
𝑛2
)
𝐸[X1 − X2] = E[X1] − E[X2] = 𝜇1 − 𝜇2
𝑉(X1 − X2) = 𝑉(X1) + V X2 =
𝜎1
2
𝑛1
+
𝜎2
2
𝑛2
分布の再生性より 𝑋1 − 𝑋2~N(μ1 − μ2,
𝜎1
2
𝑛1
+
𝜎2
2
𝑛2
)
8.5.1 平均値の差の検定(正規分布,分散が既知)
𝐻0:𝜇1 − 𝜇2 = 0 𝐻1:𝜇1 − 𝜇2 ≠ 0 (両側検定)の場合
𝐻0の下では𝑋1 − 𝑋2~𝑁(0,
𝜎1
2
𝑛1
+
𝜎2
2
𝑛2
)
検定統計量はZ =
𝑋1− 𝑋2
𝜎1
2
𝑛1
+ 𝜎2
2
𝑛2
~𝑁(0,1)
𝑍 > 𝑧 𝛼
2
の時、有意水準𝛼で𝐻0を棄却、 𝑍 ≦ 𝑧 𝛼
2
の時、
有意水準𝛼で𝐻0を採択する。
8.5.1 平均値の差の検定(正規分布,分散が既知)
𝐻0: 𝜇1-𝜇2=0 𝐻1: 𝜇1-𝜇2>0 の場合
𝑍 =
𝑋1−𝑋2
𝜎1
2
𝑛1
+
𝜎2
2
𝑛2
として,𝑍 > 𝑧 𝛼となるかどうかを調べる。
𝐻0:𝜇1−𝜇2=0 𝐻1:𝜇1-𝜇2<0 の場合
𝑍 =
𝑋1−𝑋2
𝜎1
2
𝑛1
+
𝜎2
2
𝑛2
として,𝑍 < −𝑧 𝛼となるかどうかを調べる。
8.5.2 平均値の差の検定(正規分布,分散が未知)
𝜎1
2
, 𝜎2
2
が未知で𝜎1
2
≠ 𝜎2
2
の時、一般には厳密な検定は不可能。
ただし、𝑛1, 𝑛2が共に大きい時のみ可能。
𝜎1
2
, 𝜎2
2
を不偏推定量𝑆1
2
, 𝑆2
2
で置き換えると
検定統計量は𝑍 =
𝑋1−𝑋2
𝑆1
2
𝑛1
+
𝑆2
2
𝑛2
仮定より中心極限定理が使え、𝑍は正規分布に近づいていく。
帰無仮定の下で確率を求める
8.2 平均の検定(正規母集団,母分散が既知)
8.4 平均の検定(正規母集団,母分散が未知)
8.5 平均の差の検定
8.6 等分散の検定
8.7 比率の検定
8.6.0 等分散の検定の準備
p.94 定理6.3
𝑆2をN(𝜇, 𝜎2)から大きさnの無作為抽出された標本不偏分散
とする。
この時、𝑈 =
(𝑛−1)𝑆2
𝜎2 = 𝑖=1
𝑛
(
𝑋 𝑖− 𝑋
𝜎
)2
~𝜒2
(𝑛 − 1)
p.94 定理6.6
U~𝜒2
m ,V~𝜒2
(𝑛)でU, Vが互いに独立に分布するとき、
Y =
𝑈
𝑚
𝑉
𝑛
~𝜒2
(𝑚, 𝑛)
8.6.1 等分散の検定
𝑁(𝜇1 , 𝜎1
2
)から大きさ𝑛1の無作為標本を抽出する。
N(𝜇2, 𝜎2
2
)から大きさ𝑛2の無作為標本を抽出する。
これらの標本不偏分散を𝑆1
2
, 𝑆2
2
とする。
これらは独立で
(𝑛1−1)𝑆1
2
𝜎1
2 ~𝜒2
(𝑛1 − 1)
(𝑛2−1)𝑆2
2
𝜎2
2 ~𝜒2
(𝑛2 − 1)
となる。
8.6.1 等分散の検定
𝐻0:𝜎1
2
= 𝜎2
2
𝐻1:𝜎1
2
> 𝜎2
2
の場合
V =
(𝑛1−1)𝑆1
2
(𝑛1−1)𝜎1
2
(𝑛2−1)𝑆2
2
(𝑛2−1)𝜎2
2
=
𝑆1
2
𝑆2
2
𝜎2
2
𝜎1
2
𝐻0の下では、V =
𝑆1
2
𝑆2
2
検定統計量はV =
𝑆1
2
𝑆2
2
𝑉 > 𝐹𝛼(𝑛1 − 1, 𝑛2 − 1)となるとき、有意水準αで𝐻0を棄却、
𝑉 ≦ 𝐹𝛼(𝑛1 − 1, 𝑛2 − 1)となるとき有意水準αで𝐻0を採択する。
8.6.1 等分散の検定
𝐻0:𝜎1
2
= 𝜎2
2
𝐻1:𝜎1
2
< 𝜎2
2
の場合
V =
𝑆2
2
𝑆1
2として、V > 𝐹𝛼 𝑛2 − 1, 𝑛1 − 1 となるかどうかを調
べる。
𝐻0:𝜎1
2
= 𝜎2
2
𝐻1:𝜎1
2
≠ 𝜎2
2
の場合
V =
𝑆2
2
𝑆1
2として,V > 𝐹𝛼 𝑛2 − 1, 𝑛1 − 1 となるかどうか
V =
𝑆1
2
𝑆2
2として,V > 𝐹𝛼 𝑛1 − 1, 𝑛2 − 1 となるかどうか
帰無仮定の下で確率を求める
8.2 平均の検定(正規母集団,母分散が既知)
8.4 平均の検定(正規母集団,母分散が未知)
8.5 平均の差の検定
8.6 等分散の検定
8.7 比率の検定
8.7.0 比率の検定の準備
p.90 定理6.1 中心極限定理
𝑍 𝑛 =
𝑋−𝜇
𝜎2
𝑛
( 𝑋 =
1
𝑛 𝑖=1
𝑛
𝑋𝑖)
は𝑛が大きくなるにつれて𝑍 𝑛~𝑁 0,1 に近づく。
8.7 比率の検定
母集団から大きさ𝑛の標本を無作為抽出する。
𝑋𝑖 = 1(ある属性を持つ) 𝑋𝑖 = 0 (持たない)とする。
ある属性を持つものの割合𝑝の点推定量 𝑝は
𝑝 =
1
𝑛 𝑖=1
𝑛
𝑋𝑖となる。
8.7 比率の検定
𝑛がある程度大きいとき
𝑝−𝑝
𝑝(1−𝑝)
𝑛
~𝑁(0,1)となる。
𝐻0:𝑝 = 𝑝0 𝐻1: 𝑝 ≠ 𝑝0 の場合
𝐻0の下では、𝑍 =
𝑝−𝑝0
𝑝0(1−𝑝0)
𝑛
~𝑁(0,1)
検定統計量はZ =
𝑝−𝑝0
𝑝0(1−𝑝0)
𝑛
となる。
𝑍 > 𝑧 𝛼
2
となるとき有意水準αで𝐻0を棄却、
𝑍 ≦ 𝑧 𝛼
2
となるとき有意水準αで𝐻0を採択する。
8.7 比率の検定
𝐻0: 𝑝 = 𝑝0 𝐻1: 𝑝 > 𝑝0 の場合
𝑍 =
𝑝−𝑝0
𝑝0(1−𝑝0)
𝑛
としてZ > 𝑧 𝛼となるかどうかを調べる。
𝐻0:𝑝 = 𝑝0 𝐻1:𝑝<𝑝0 の場合
𝑍 =
𝑝−𝑝0
𝑝0(1−𝑝0)
𝑛
として、Z < −𝑧 𝛼となるかどうかを調べる。
各検定のまとめ
検定
正規母集団
平均
一つの平均
分散既知 Z検定
分散未知 T検定
2つの平均 分散既知 Z検定
分散 2つの分散 F検定
標本サイズ
が大きい
比率 Z検定
8.1 仮説検定の考え方
背理法
2を有理数と仮定する ( 2 =
𝑛
𝑚
)
2𝑛 = 𝑚 ⇄ 2𝑛2
= 𝑚2
左辺の因数は奇数個に対し
右辺の因数の数は偶数個
これは素因数分解の一意性に反する
よって矛盾である
ゆえに 2は無理数である ■
仮説検定
帰無仮説(𝐻0)が真と仮定する
その仮定の下で確率を求める
確率が低い 確率が低くない
↓ ↓
帰無仮説を棄却 帰無仮説を採択
𝑯 𝟏を真と見なす 𝑯 𝟎を偽ではない
とする
仮定
推論
矛盾
8.3 2種類の過誤
仮説検定は100%正しいわけではない
行動
H0を採択 H0を棄却
母集団のあり
得る状態
H0が真
正しい
第1種の過誤
アルファエラー
H0が偽 第2種の過誤
ベータエラー 正しい
8.3 2種類の過誤
αエラー…確率は有意水準に一致
βエラー…確率は採択域に対立仮説の分布が
重なる部分
検出力,検定力…帰無仮説が正しくない場合に
帰無仮説を棄却する確率(1-β)

Contenu connexe

Tendances

2014年5月14日_水曜セミナー発表内容_FINAL
2014年5月14日_水曜セミナー発表内容_FINAL2014年5月14日_水曜セミナー発表内容_FINAL
2014年5月14日_水曜セミナー発表内容_FINALTomoshige Nakamura
 
20140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv120140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv1Tomoshige Nakamura
 
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習ssuserf4860b
 
卒論プレゼンテーション -DRAFT-
卒論プレゼンテーション -DRAFT-卒論プレゼンテーション -DRAFT-
卒論プレゼンテーション -DRAFT-Tomoshige Nakamura
 
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法Ken'ichi Matsui
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習Hirotaka Hachiya
 
データ解析6 重回帰分析
データ解析6 重回帰分析データ解析6 重回帰分析
データ解析6 重回帰分析Hirotaka Hachiya
 
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知Yuya Takashina
 
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料Ken'ichi Matsui
 
相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定Joe Suzuki
 
データ解析11 因子分析の応用
データ解析11 因子分析の応用データ解析11 因子分析の応用
データ解析11 因子分析の応用Hirotaka Hachiya
 
20140514_水曜セミナー発表資料_中村知繁
20140514_水曜セミナー発表資料_中村知繁20140514_水曜セミナー発表資料_中村知繁
20140514_水曜セミナー発表資料_中村知繁Tomoshige Nakamura
 
第5章 統計的仮説検定 (Rによるやさしい統計学)
第5章 統計的仮説検定 (Rによるやさしい統計学)第5章 統計的仮説検定 (Rによるやさしい統計学)
第5章 統計的仮説検定 (Rによるやさしい統計学)Prunus 1350
 
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析Numpy scipyで独立成分分析
Numpy scipyで独立成分分析Shintaro Fukushima
 
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎Hirotaka Hachiya
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)Kota Mori
 

Tendances (20)

C06
C06C06
C06
 
2014年5月14日_水曜セミナー発表内容_FINAL
2014年5月14日_水曜セミナー発表内容_FINAL2014年5月14日_水曜セミナー発表内容_FINAL
2014年5月14日_水曜セミナー発表内容_FINAL
 
20140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv120140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv1
 
ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習ラビットチャレンジレポート 機械学習
ラビットチャレンジレポート 機械学習
 
C02
C02C02
C02
 
卒論プレゼンテーション -DRAFT-
卒論プレゼンテーション -DRAFT-卒論プレゼンテーション -DRAFT-
卒論プレゼンテーション -DRAFT-
 
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
基礎からのベイズ統計学 輪読会資料 第4章 メトロポリス・ヘイスティングス法
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習
 
データ解析6 重回帰分析
データ解析6 重回帰分析データ解析6 重回帰分析
データ解析6 重回帰分析
 
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
 
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料「全ての確率はコイン投げに通ず」 Japan.R 発表資料
「全ての確率はコイン投げに通ず」 Japan.R 発表資料
 
相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定相互情報量を用いた独立性の検定
相互情報量を用いた独立性の検定
 
データ解析11 因子分析の応用
データ解析11 因子分析の応用データ解析11 因子分析の応用
データ解析11 因子分析の応用
 
20140514_水曜セミナー発表資料_中村知繁
20140514_水曜セミナー発表資料_中村知繁20140514_水曜セミナー発表資料_中村知繁
20140514_水曜セミナー発表資料_中村知繁
 
第5章 統計的仮説検定 (Rによるやさしい統計学)
第5章 統計的仮説検定 (Rによるやさしい統計学)第5章 統計的仮説検定 (Rによるやさしい統計学)
第5章 統計的仮説検定 (Rによるやさしい統計学)
 
PRML セミナー
PRML セミナーPRML セミナー
PRML セミナー
 
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
 
データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎データ解析7 主成分分析の基礎
データ解析7 主成分分析の基礎
 
偏微分と連続
偏微分と連続偏微分と連続
偏微分と連続
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
 

仮説検定