PATTERN RECOGNITION AND MACHINE LEARNING (1.1)
•
0 j'aime•796 vues
高専の授業課題で書いたスライドです。 C.M.ビショップ氏の「パターン認識と機械学習 上」より「1.1 例:多項式曲線フィッテイング」の内容です。 課題で作っただけなので、続編等作る予定は一切ありません。
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (16)
Similaire à PATTERN RECOGNITION AND MACHINE LEARNING (1.1)
Similaire à PATTERN RECOGNITION AND MACHINE LEARNING (1.1) (15)
PATTERN RECOGNITION AND MACHINE LEARNING (1.1)
- 1. PATTERN RECOGNITION AND MACHINE LEARNING 2ES-12 吉元 裕真
- 2. 第1章 序論
- 7. 7教師あり学習 訓練データ： 0 1 3 入力データ： 出力結果： 0 1 3 クラス分類問題
- 17. 17やりたいこと 実数値の入力変数 x を観測し x から実数値の目標変数 t を予測 今回はsin関数から データを生成する
- 18. 18手順 1. 訓練集合を作る 2. 訓練集合を基に学習する 3. 100個のテストデータを入力する 3.1 次数を変える 3.2 訓練集合の点数を変える 4.誤差関数の正則化と罰金項
- 20. 20訓練集合 x ⌘ (x1, . . . , xN )T t ⌘ (t1, . . . , tN )T データ
- 23. 23曲線フィッテイング y(x, w) = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjx x, w) = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjxj . ：多項式の次数Mxj ：x の j 乗 w = w0, . . . , wM ：多項式の係数（パラメータ） モデル関数
- 24. 24曲線フィッテイング 1. 次数を変更した時の パターン認識の変化を見る 2. 訓練集合の数を変更した時の パターン認識の変化を見る
- 25. 25曲線フィッテイング y(x, w) = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjxj M = 1 M = 0 M = 3 M = 9
- 26. 26誤差関数 E(w) = 1 2 NX n=1 {y(xn, w) tn}2
- 28. M = 0 M = 3 M = 9M = 1
- 29. M = 0 M = 3 M = 9M = 1 M=0,1は データに合わない sin(2πx)が表現 出来ていない 不適切
- 30. M = 0 M = 3 M = 9M = 1 M=3は よく当てはまっているように見える 適切
- 31. M = 0 M = 3 M = 9M = 1 不適切 M=9は、訓練データ（青丸）には よく当てはまっている しかし、sin(2πx)に対して無茶苦茶 過学習という
- 33. 33平均二乗平方根誤差 ERMS = p 2E(w⇤)/N ・比較には上式を使う ・統計値等の散らばり具合を表す（0に近いと高精度） ・Nで割る →サイズの異なるデータの比較 ・平方根を取る →目的変数 t と同じ尺度(単位)であると保証される
- 35. 35Mが小さい時 M = 1 ・テスト集合の誤差がかなり大きい ・対応する多項式は柔軟性に欠ける ・関数 sin(2πx) の振動を捉えられない
- 36. M = 3 36 のとき ・テスト集合の誤差は小さい ・関数 sin(2πx) の振動を捉えた sin(2πx)を生成する妥当な表現 3 M 8
- 37. M = 9 37Mが大きい時 ・訓練集合の誤差は 0 ・テスト集合の誤差がかなり大きい ・無茶苦茶に発振している
- 38. 38なんでそうなるの？ M = 9 ・訓練集合の数は 9 ・M=9 とは 自由度10 → w0,…,w9に丁度当てはまった為
- 40. 40次数を変えた時の係数の値
- 43. 43ここで… y(x, w) = w0 + w1x + w2x2 + · · · + wM xM = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjxj . ：多項式の次数 (order)M xj ：x の j 乗 w = w0, . . . , wM ：多項式の係数 次数とは係数（＝パラメータ）の数 次数を減らす = パラメータを減らす
- 45. 45変えてみた N = 15 N = 100 訓練集合を増やすほど、 過学習の問題は深刻ではなくなる M = 9
- 51. E(w) = 1 2 NX n=1 y(xn, w) tn 2 + 2 || w ||2 51正則化した誤差関数 || w ||2 ⌘ wT w = w2 0 + w2 1 + · · · + w2 M
- 52. E(w) = 1 2 NX n=1 y(xn, w) tn 2 + 2 || w ||2 52正則化した誤差関数 誤差関数を小さくするため罰金項を 小さくしないといけない || w ||2 ⌘ wT w = w2 0 + w2 1 + · · · + w2 M パラメータが小さくなる！！
- 54. 54罰金項を操作する E(w) = 1 2 NX n=1 y(xn, w) tn 2 + 2 || w ||2 λを操作してみる!!
- 55. 55罰金項を操作してみた E(w) = 1 2 NX n=1 y(xn, w) tn 2 + 2 || w ||2 ln( ) = 0 ! = e0 = 1ln( ) = 18 ! = e 18 = 1.52 ⇥ 10 8
- 60. 演習問題
- 61. 611.1 問題 関数 y(x,w) が多項式(1,1)で与えられた時の、 (1,2) の二乗和誤差関数を考える。 この誤差関数を最小にする係数 w={wi}は 以下の線形方程式の解として与えられることを示せ。 MX j=0 = Ti ただし Aij = NX n=1 (xn)i+j Ti = NX n=1 (xn)i tn
- 62. 621.1 解答 y(x, w) = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjx + w1x + w2x2 + · · · + wM xM = MX j=0 wjxj . モデル関数 E(w) = 1 2 NX n=1 {y(xn, w) tn}2 誤差関数 …(1.1) …(1.2)
- 63. 631.1 解答 E(w) = 1 2 NX n=1 { MX j=0 wjxj n tn}2 (1.1),(1.2)より ここで xn = 2 6 6 4 x0 n x1 n : xM n 3 7 7 5w = 2 6 6 4 w0 w1 : wM 3 7 7 5 なので、 E(w) = 1 2 NX n=1 {wT xn tn}2 次式になる 上式を微分して、y(xn,w)が最小となる係数wを求める
- 64. 641.1 解答 dE dw = 2 2 NX n=1 (wT xn tn) d(wT xn tn) dw = NX n=1 (wT xn tn)xn ↑これが (=0) になれば良い NX n=1 0 @ MX j=0 wjxj n tn 1 A xi n = 0 表記を元に戻して
- 65. 651.1 解答 NX n=1 0 @ MX j=0 wjxj n tn 1 A xi n = 0 （前ページより） NX n=1 0 @ MX j=0 wj(xn)(i+j) (xn)i tn 1 A = 0 MX j=0 NX n=1 wj(xn)i+j = NX n=1 (xn)i tn 移項して
- 66. 661.1 解答 MX j=0 NX n=1 wj(xn)i+j = NX n=1 (xn)i tn （前ページより） Aij = NX n=1 (xn)i+j Ti = NX n=1 (xn)i tn 問題文より が使えるので、 、 MX j=0 Aijwj = Ti （終わり）
- 67. 671.2 問題 正則化された二乗和誤差関数 (1.4) を最小にする 係数 wi が満たす、(1.122) に類似した線形方程式系を 書き下せ。 E(w) = 1 2 NX n=1 y(xn, w) tn 2 + 2 || w ||2 …(1.4) MX j=0 Aijwj = Ti …(1.122) Aij = NX n=1 (xn)i+j Ti = NX n=1 (xn)i tn、 なお
- 68. 681.2 解答 y(x, w) = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjx + w1x + w2x2 + · · · + wM xM = MX j=0 wjxj . モデル関数 …(1.1)
- 69. 691.2 解答 (1.1),(1.2)より E(w) = 1 2 NX n=1 { MX j=0 wjxj n tn}2 + 2 MX j=0 w2 j dE(w) dwi = 1 2 ⇥ 2 NX n=1 ( MX j=0 wjxj n tn) d dwi ( MX j=0 wjxj n tn) + 2 ⇥ 2 wi ↑これが (=0) になれば良い
- 70. 701.2 解答 ここで、w = wi = {w0, w1, . . . , wM } だから はwi wj の要素の1つである。よって、 y(x, w) = w0 + w1x + w2x2 + · · · + wM xM = MX j=0 wjxj より次が成り立つ y(xn, w) = w0 + w1x1 n + w2x2 n + · · · + wM xM n = MX j=0 wjxj n これを wi で微分すると dy(xn, w) dwi = xi n となる
- 71. 711.2 解答 dE(w) dwi = 1 2 ⇥ 2 NX n=1 ( MX j=0 wjxj n tn) d dwi ( MX j=0 wjxj n tn) + 2 ⇥ 2 wi （前々ページより） dy(xn, w) dwi = xi n （前ページより） = NX n=1 ( MX j=0 wjxj n tn)xi n + wi = 0 NX n=1 ( MX j=0 wjxj n tn)xi n = wi NX n=1 MX j=0 wjxi+j n = NX n=1 tnxi n wi
- 72. 721.2 解答 NX n=1 MX j=0 wjxi+j n = NX n=1 tnxi n wi （前ページより） MX j=1 wj NX n=0 (xn)i+j = NX n=1 tn(xn)i wi Aij = NX n=1 (xn)i+j Ti = NX n=1 (xn)i tn 問題文より が使えるので、 、 MX j=0 Aijwj = Ti wi （終わり）
- 73. END... THANK YOU FOR YOUR ATTENTION. 寝たい…