Contenu connexe
Plus de sleepy_yoshi (20)
PRML復々習レーン#10 補講: 正定値カーネルでないと困ること
- 2. 正定値カーネルとは
• 正定値カーネルの定義
– 𝑘 𝒙𝑖, 𝒙𝑗 を𝑖行𝑗列の要素とするグラム (カーネル)
行列𝐾が半正定値であること
𝐾 =
𝑘(𝒙1, 𝒙1) ⋯ 𝑘(𝒙1, 𝒙 𝑁)
⋮ ⋱ ⋮
𝑘(𝒙 𝑁, 𝒙1) ⋯ 𝑘 𝒙 𝑁, 𝒙 𝑁
– ※厳密には半正定値カーネルと呼ぶべきなのだ
ろうけれど細かいことは気にしない
2
- 4. 距離のカーネル表現
• 2つのベクトル𝒙, 𝒚のL2距離 (の自乗) は
𝒙 − 𝒚 2
2
= 𝑥𝑖 − 𝑦𝑖
2
𝑖
= (𝑥𝑖
2
− 2𝑥𝑖 𝑦𝑖 + 𝑦𝑖
2
)
𝑖
= 𝑥𝑖
2
− 2 𝑥𝑖 𝑦𝑖 + 𝑦𝑖
2
𝑖𝑖𝑖
= 𝒙 𝑇 𝒙 − 2𝒙 𝑇 𝒚 + 𝒚 𝑇 𝒚
• 基底関数をかけたベクトルで考えると
𝜙 𝒙 𝑇 𝜙 𝒙 − 2𝜙 𝒙 𝑇 𝜙 𝒚 + 𝜙 𝒚 𝑇 𝜙 𝒚
• 𝜙 𝒂 𝑇 𝜙 𝒃 = 𝑘(𝒂, 𝒃)とすると,
𝑘 𝒙, 𝒙 − 2𝑘 𝒙, 𝒚 + 𝑘(𝒚, 𝒚)
※復々習レーン#10でホワイトボードに書いて説明
4
- 5. 距離がマイナス?
• 正定値カーネルであれば以下が成り立つ
𝑘 𝒙, 𝒙 − 2𝑘 𝒙, 𝒚 + 𝑘 𝒚, 𝒚 ≥ 0
• 証明
– 2x2のカーネル行列 𝐾 =
𝑘11 𝑘12
𝑘21 𝑘22
とベクトル𝒘 =
1
−1
の二
次形式を考える
𝒘 𝑇
𝐾𝒘 = 𝑘11 − 𝑘12 − 𝑘21 + 𝑘22
– ここで 𝑘12 = 𝑘21 より
𝒘 𝑇
𝐾𝒘 = 𝑘11 − 2𝑘12 + 𝑘22
– 𝐾が半正定値の場合,𝒘 𝑇
𝐾𝒘 ≥ 0 より𝑘11 − 2𝑘12 + 𝑘22 ≥ 0
これより正定値カーネルでない場合
𝑘 𝑥, 𝑥 − 2𝑘 𝑥, 𝑦 + 𝑘 𝑦, 𝑦 ≥ 0が成り立たない.
すなわち 𝜙 𝒙 − 𝜙 𝒚 2
2
< 0となる𝒙, 𝒚が存在する
このような空間における内積を意味する.これは不自然 5
- 7. 演習6.15の回答
• 𝐾 =
𝑘11 𝑘12
𝑘21 𝑘22
の行列式を考える.
• 𝐾が半正定値の場合,行列式は非負より
𝑘11 𝑘12
𝑘21 𝑘22
≥ 0
𝑘11 𝑘22 − 𝑘12 𝑘21 ≥ 0
よって
𝑘11 𝑘22 ≥ 𝑘12 𝑘21
7
- 8. まとめ: 正定値カーネルでないと困ること
• 距離として使おうとすると不自然なことが起こる
– 𝜙 𝒙 − 𝜙 𝒚 2
2
< 0となる𝒙, 𝒚が存在してしまう
• Mercerの定理が成り立たない
– 対応する写像先の空間の存在を保証できない
• コーシー=シュワルツ不等式が成り立たない
– 上記のフォーマルな説明?
• 正定値カーネルでないと,対応する特徴空間を定義できない (? 要確認)
– すなわち 𝑘 𝒙1, 𝒙2 = 𝜙 𝒙1
𝑇 𝜙(𝒙2) と対応する基底関数を定義できない (?
要確認)
• SVMの最適化において,停留点が最小値 (最大値) でなくなる
– 本資料では説明していません cf. SMO徹底入門
8