スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
- 2. 自己紹介と告知
• Twitter : @St_Hakky
• ブログ:http://st-hakky.hatenablog.com/
• 関西で機械学習勉強会を実施中!!
• 団体のモットー:
• 圧倒的スピード感で大量の書物と論文をぶった切る
• 「えっ、まだ読んでないの?」と煽り奉り、輪講会を乱立させる
• 過去のイベント例
• PRML輪講会、PRML上巻/下巻一気読み
• データ解析のための統計モデリング入門の輪講会
• わかりやすいパターン認識(続)の輪講会
• 参加したい方は、Facebookのグループにまずは参加を。
• URL :https://www.facebook.com/groups/1767916400127792/
- 4. コンテンツ
• 2.3 : 正則化
• 2.4 : 交差確認
• 2.5 : 制約付き最小化問題と罰則項付き最小化問
題の等価性
- 6. ノルムとは
• 関数 ・ ∶ ℝ 𝑑 → ℝ が以下の3つの性質を満たす
とき、 ・ はノルム(norm)という。
• (斉次性) 任意の𝛼 ∈ ℝ, 𝒙 ∈ ℝ 𝑑に対して、
𝛼𝒙 = 𝛼 𝒙
が成立
• (劣加法性)任意の に対して、
が成立。
• (独立性)
- 23. 制約付き最小化問題と罰則項付き最小化問題の等
価性
青の実線� (� ) :目的関数
の最小値を示す
制約� � ≤ Cの元で達成可能な
目的関数� (� )の値の領域
共通部分を持つという制約の中で
最も小さい�に対応する直線
交点の座標が罰則項付き
最小化問題(2.22)の解�
� + λ� = �
この𝐶の値に対する制約付き最小化問題(2.21)の解は、罰則項付き最小
化問題の解 𝒘を含む。
逆に、曲線上側領域の凸性から、任意の𝐶に対して対応するλの値があ
り、罰則項付き最小化問題(2.22)の解はこの𝐶に対する制約付き最小化
問題(2.21)の解を含む