PRML復々習レーン #3 発表資料 http://atnd.org/events/30181

1. PRML 3章 線形回帰モデル
3.1 ∼ 3.1.2
pp. 135-141
PRML復復習レーン #3
2012/07/16 yag_ays
図は全てhttp://research.microsoft.com/en-us/um/people/cmbishop/prml/webfigs.htmより

2. 3.1∼3.1.2のあらすじ
• 線形回帰
• 入力変数から目標変数を予測
• 入力変数に関して非線形な関数を導入する (xn )
• 最尤推定と最小二乗法
• パラメータを推定する
• 最小二乗法の幾何学

3. 3.1 線形基底関数モデル
最も単純な線形回帰モデルを考える
y(x, w) = w0 + w1 x1 + · · · + wD xd
入力変数： x = (x1 , . . . xD )T
パラメータ: w = (w0 , . . . wD )T
入力変数に関して線形関数に 基底関数の
なっているため，表現能力に乏しい 導入

4. 入力変数に関して非線形な関数 j (x) を噛ませる
M 1
X
y(x, w) = w0 + wj j (x)
j=1
バイアスパラメータ w0 を整理して
M 1
X
T
y(x, w) = wj j (x) = w (x)
ただし
j=0
0 (x) =1
関数 y(x, w) : 非線形
パラメータ w : 線形
基底関数 j (x) : 非線形

5. よく用いられる基底関数の例
多項式 ガウス基底関数 シグモイド関数
⇢ 2
✓ ◆
j (x µj ) x µj
j (x) =x j (x) = exp
2s2
j (x) =
s
• その他
• スプライン関数で範囲を区切る
• フーリエ基底やウェーブレットも

6. 3.1.1 最尤推定と最小二乗法
目的変数 が関数 とノイズ で与えられる時
t y(x, w) ✏
t = y(x, w) + ✏
ノイズがガウス分布に従うとすると
p(t|x, w, ) = N (t|y(x, w), 1 )
入力ベクトルと目標値が与えられた時の尤度関数は
N
Y
T 1
p(t|X, w, ) = N (tn |w (xn ), )
n=1

7. 両辺対数を取って N
X
T 1
ln p(t|X, w, ) = N (tn |w (xn ), )
n=1
N N
= ln ln 2⇡ ED (w)
2 2
このとき，二乗和誤差関数は
XN
1 T 2
ED (w) = {tn w (xn )}
2 n=1
尤度関数の最大化 ＝ 二乗和誤差関数の最小化 なので
N
X
T T
r ln p(t|X, w, ) = {tn w (xn )} (xn )
n=1

8. 勾配を0とおいて w について解く
N N
!
X T
X T
T
0= tn (xn ) w (xn ) (xn )
n=1 n=1
(展開しただけ)
w について解く
wML = ( T ) 1 T
t
計画行列

9. バイアスパラメータw0 の解釈
バイアスパラメータを残したまま
二乗和誤差関数を求めると
XN M 1
X
1 2
ED (w) = {tn w0 wj j (xn )}
2 n=1 j=1
w0 について解くと
M 1
X
¯
w0 = t wj j
j=1
N XN
1 X 1
ただし， =
¯
t tn j = j (xn )
N n=1 N n=1

10. バイアスパラメータw0 の解釈
M 1
X
¯
w0 = t wj j
j=1
目標変数の平均 ー 基底関数の平均
N
¯ 1X 1X
N
t= tn j = j (xn )
N n=1 N n=1
また，ノイズの精度パラメータ について
XN
1 1 T 2
= {tn wM L (xn )}
ML N n=1
これは回帰関数周りでの目標値との残差分散

11. 3.1.2 最小二乗法の幾何学
幾何学なんて無かった...

12. 3.1.2 最小二乗法の幾何学(補足)
• 皆様から教えてもらったことを自分なりに解釈してみる(ほとんどそ
のまま)．普通に間違ったこと書いてると思うので，指摘して頂けれ
ば幸い．
• 図3.2の見方としては，tが手前に伸びている．それを部分空間Sに正
射影したものがy．この図ではM=2，N=3．
• tのベクトルの要素はデータ点の数N個あるので，tはN次元空間で表
すことができる．基底関数の数MをNと同じにすればtを正確に表現
することができるが，それでは過学習のような状態になってしまうた
め，Nより少ない数(M<N)で何とか表現したい．
• そのときにM次元空間で扱える範囲でtに一番似せようとしたベクト
ルがyであり，これはtの正射影ベクトルになる．これがtとyと二乗和
誤差の幾何学的な関係．
• 「二乗和誤差はyとtの二乗ユークリッド距離に等しい」は，yとtが
作る三角形のもう一つの辺のこと(これが小さくなるとNより少ない
次元数でtを上手く表現できていることになって嬉しい)
• このような幾何学的解釈は，この後もPRML下巻などで出てくるらし
い