26. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y
y = a + bx
x = xi のとき
27. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y
xi
y = a + bx
x = xi のとき
28. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
29. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
30. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
31. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
32. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
実際は yi
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
33. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
実際は yi
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
34. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
実際は yi
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
35. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
実際は yi
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
y = a + bx
x = xi のとき モデルによれば y = a + bxi
36. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
実際は yi
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
y = a + bx
差
yi – (a + bxi )
x = xi のとき モデルによれば y = a + bxi
37. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
13
実際は yi
差が最小になるように a,b を決める
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
y = a + bx
差
yi – (a + bxi )
x = xi のとき モデルによれば y = a + bxi
38. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
14
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
差
yi – (a + bxi )
39. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
14
すべての xi について,差の合計が最小になるようにa, b を決める
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
差
yi – (a + bxi )
40. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
14
すべての xi について,差の合計が最小になるようにa, b を決める
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
差
yi – (a + bxi )
の2乗
41. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
14
すべての xi について,差の合計が最小になるようにa, b を決める
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
差
yi – (a + bxi )
L =
n
i=1
{yi − (a + bxi)}2
の2乗
42. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
パラメータの決定
14
すべての xi について,差の合計が最小になるようにa, b を決める
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
差
yi – (a + bxi )
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
の2乗
44. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
45. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
46. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
a
b
L
★
a
b
L
47. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
a
b
L
★
a
b
L
a だけの関数と考えて微分
48. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
a
b
L
★
a
b
L
a だけの関数と考えて微分
49. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
a
b
L
★
a
b
L
a だけの関数と考えて微分
b だけの関数と考えて微分
50. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
a
b
L
★
a
b
L
a だけの関数と考えて微分
b だけの関数と考えて微分
51. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「偏微分」による方法
16
L =
n
i=1
{yi − (a + bxi)}2
が最小になるa, b を求める
a, b の2次関数
a
b
L
★
a
b
L
a だけの関数と考えて微分
b だけの関数と考えて微分
微分?😵😵
53. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
微分?
17
a
b
L
★
a
b
L
a だけの関数と考えて微分
微分は,傾きを求める計算
54. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
微分?
17
a
b
L
★
a
b
L
a だけの関数と考えて微分
微分は,傾きを求める計算
下り(–)
55. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
微分?
17
a
b
L
★
a
b
L
a だけの関数と考えて微分
微分は,傾きを求める計算
下り(–)
上り(+)
56. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
微分?
17
a
b
L
★
a
b
L
a だけの関数と考えて微分
微分は,傾きを求める計算
下り(–)
上り(+)
底では微分=0
57. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
微分?
17
a
b
L
★
a
b
L
a だけの関数と考えて微分
微分は,傾きを求める計算
下り(–)
上り(+)
底では微分=0
b についても同じ,底では微分=0
58. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
微分?
17
a
b
L
★
a
b
L
a だけの関数と考えて微分
微分は,傾きを求める計算
下り(–)
上り(+)
底では微分=0
b についても同じ,底では微分=0 底で L が最小だから,
これらから a, b を求める
60. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
計算はともかく結論は
18
•偏微分による方法(付録1)
•「2次関数の最大・最小」による方法(付録2)
b =
σxy
σ2
x
a = ȳ − bx̄
61. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
計算はともかく結論は
18
•偏微分による方法(付録1)
•「2次関数の最大・最小」による方法(付録2)
b =
σxy
σ2
x
a = ȳ − bx̄
x, y の共分散
62. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
計算はともかく結論は
18
•偏微分による方法(付録1)
•「2次関数の最大・最小」による方法(付録2)
b =
σxy
σ2
x
a = ȳ − bx̄
x, y の共分散
x の分散
63. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
計算はともかく結論は
18
•偏微分による方法(付録1)
•「2次関数の最大・最小」による方法(付録2)
b =
σxy
σ2
x
a = ȳ − bx̄
x, y の共分散
x の分散
y の平均
64. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
計算はともかく結論は
18
•偏微分による方法(付録1)
•「2次関数の最大・最小」による方法(付録2)
b =
σxy
σ2
x
a = ȳ − bx̄
x, y の共分散
x の分散
x の平均
y の平均
65. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
最小二乗法
19
を最小にしたので[最小二乗法]
b =
σxy
σ2
x
a = ȳ − bx̄
[回帰係数]
L =
n
i=1
{yi − (a + bxi)}2
y = a + bx [回帰方程式]あるいは[回帰直線]
66. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
ところで
20
x
y
x
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
y
y = a + bx
帰係数
a = ȳ − bx̄
から y − ȳ = b(x − x̄)
回帰直線は を通る
(x̄, ȳ)
96. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
残差
27
a, b が求められて,回帰直線が確定したとき
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
xi に対する,回帰直線による y の推定値
97. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
残差
27
a, b が求められて,回帰直線が確定したとき
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
ˆ
yi = a + bxi
xi に対する,回帰直線による y の推定値
98. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
残差
27
a, b が求められて,回帰直線が確定したとき
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
回帰直線が確定しても残っている,
推定値と実測値の差
ˆ
yi = a + bxi
xi に対する,回帰直線による y の推定値
ˆ
yi yi
99. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
残差
27
a, b が求められて,回帰直線が確定したとき
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温
(℃)
緯度
(度)
x
y a + bxi
xi
yi
回帰直線が確定しても残っている,
推定値と実測値の差
ˆ
yi = a + bxi
xi に対する,回帰直線による y の推定値
ˆ
yi yi
この差を[残差]という
di
113. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
決定係数の意味
29
残差の2乗の平均
d2
i = (1 − r2
xy)
(yi − ȳ)2
より
1 − r2
xy =
d2
i /n
(yi − ȳ)2/n
y の偏差の2乗の平均 = y の分散
決定係数
114. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
決定係数の意味
29
残差の2乗の平均
d2
i = (1 − r2
xy)
(yi − ȳ)2
より
1 − r2
xy =
d2
i /n
(yi − ȳ)2/n
y の偏差の2乗の平均 = y の分散
決定係数
115. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
決定係数の意味
29
残差の2乗の平均
d2
i = (1 − r2
xy)
(yi − ȳ)2
より
1 − r2
xy =
d2
i /n
(yi − ȳ)2/n
y の偏差の2乗の平均 = y の分散
決定係数
116. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
決定係数の意味
30
残差の2乗の平均
1 − r2
xy =
d2
i /n
(yi − ȳ)2/n
決定係数
y の偏差の2乗の平均 ( y の分散)
x
y
y
di = yi – yi
[残差]
y
i
y
i – y
[偏差]
y
i
x
i
117. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
決定係数の意味
30
残差の2乗の平均
1 − r2
xy =
d2
i /n
(yi − ȳ)2/n
決定係数
y の偏差の2乗の平均 ( y の分散)
もともと y はこんなに
ばらついていたが,
x
y
y
di = yi – yi
[残差]
y
i
y
i – y
[偏差]
y
i
x
i
118. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
決定係数の意味
30
残差の2乗の平均
1 − r2
xy =
d2
i /n
(yi − ȳ)2/n
決定係数
y の偏差の2乗の平均 ( y の分散)
もともと y はこんなに
ばらついていたが,
回帰直線から見ると
ばらつきはこんなに減った
x
y
y
di = yi – yi
[残差]
y
i
y
i – y
[偏差]
y
i
x
i
147. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「中くらいの相関」とは
36
決定係数0.49
相関係数0.7
相関係数0.5
決定係数0.25
x
y
x
y
148. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「中くらいの相関」とは
36
決定係数0.49
相関係数0.7
相関係数0.5
決定係数0.25
回帰直線ではもとの y の分散の
25%しか説明できていない
x
y
x
y
149. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「中くらいの相関」とは
36
決定係数0.49
相関係数0.7
相関係数0.5
決定係数0.25
回帰直線ではもとの y の分散の
25%しか説明できていない
x
y
x
y
回帰直線でもとの y の分散の
50%を説明している
150. 38
2022年度秋学期 統計学 / 関西大学総合情報学部 浅野 晃
「中くらいの相関」とは
36
決定係数0.49
相関係数0.7
相関係数0.5
決定係数0.25
こちらのほうが,中くらいの相関関係
(分散の説明という意味では)
回帰直線ではもとの y の分散の
25%しか説明できていない
x
y
x
y
回帰直線でもとの y の分散の
50%を説明している