Soumettre la recherche
Mettre en ligne
MLP SVM Chapter 7 分割法
•
0 j'aime
•
1,848 vues
Taikai Takeda
Suivre
機械学習プロフェッショナルシリーズ,サーポートベクトルマシン.Chapter7 分割法,の輪講資料
Lire moins
Lire la suite
Ingénierie
Signaler
Partager
Signaler
Partager
1 sur 25
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
SVMについて
SVMについて
mknh1122
データマイニング勉強会3
データマイニング勉強会3
Yohei Sato
SVMってなに?
SVMってなに?
smzkng
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
サポートベクトルマシン(SVM)の勉強
サポートベクトルマシン(SVM)の勉強
Kazuki Adachi
機械学習を使った時系列売上予測
機械学習を使った時系列売上予測
DataRobotJP
Contenu connexe
Tendances
Prml revenge7.1.1
Prml revenge7.1.1
Naoya Nakamura
Prml7 2
Prml7 2
K5_sem
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Taku Tsuzuki
Sakusaku svm
Sakusaku svm
antibayesian 俺がS式だ
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
[第2版] Python機械学習プログラミング 第4章
[第2版] Python機械学習プログラミング 第4章
Haruki Eguchi
最近のRのランダムフォレストパッケージ -ranger/Rborist-
最近のRのランダムフォレストパッケージ -ranger/Rborist-
Shintaro Fukushima
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
Daiyu Hatakeyama
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
nishio
[DSO] Machine Learning Seminar Vol.2 Chapter 3
[DSO] Machine Learning Seminar Vol.2 Chapter 3
Teruyuki Sakaue
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
Teruyuki Sakaue
[第2版] Python機械学習プログラミング 第5章
[第2版] Python機械学習プログラミング 第5章
Haruki Eguchi
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
Random Forest による分類
Random Forest による分類
Ken'ichi Matsui
それっぽく感じる機械学習
それっぽく感じる機械学習
Yuki Igarashi
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
10分でわかるRandom forest
10分でわかるRandom forest
Yasunori Ozaki
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
第14章集団学習
第14章集団学習
Kei Furihata
Tendances
(20)
Prml revenge7.1.1
Prml revenge7.1.1
Prml7 2
Prml7 2
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Sakusaku svm
Sakusaku svm
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
[第2版] Python機械学習プログラミング 第4章
[第2版] Python機械学習プログラミング 第4章
最近のRのランダムフォレストパッケージ -ranger/Rborist-
最近のRのランダムフォレストパッケージ -ranger/Rborist-
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
機械学習 / Deep Learning 大全 (2) Deep Learning 基礎編
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
[DSO] Machine Learning Seminar Vol.2 Chapter 3
[DSO] Machine Learning Seminar Vol.2 Chapter 3
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
[第2版] Python機械学習プログラミング 第5章
[第2版] Python機械学習プログラミング 第5章
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Random Forest による分類
Random Forest による分類
それっぽく感じる機械学習
それっぽく感じる機械学習
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
10分でわかるRandom forest
10分でわかるRandom forest
不均衡データのクラス分類
不均衡データのクラス分類
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
第14章集団学習
第14章集団学習
En vedette
chapter 11 structural svm
chapter 11 structural svm
Taikai Takeda
ICML読み会2016@早稲田
ICML読み会2016@早稲田
Taikai Takeda
prml_titech_9.0-9.2
prml_titech_9.0-9.2
Taikai Takeda
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
Hakky St
PRMLrevenge 4.4
PRMLrevenge 4.4
Naoya Nakamura
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
Hakky St
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
Hakky St
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Hakky St
Discrete MRF Inference of Marginal Densities for Non-uniformly Discretized Va...
Discrete MRF Inference of Marginal Densities for Non-uniformly Discretized Va...
Masaki Saito
3Com 3C6555-016R EFSM
3Com 3C6555-016R EFSM
savomir
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)
Shin Asakawa
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
takaya imai
数学的基礎から学ぶ Deep Learning (with Python) Vol. 9
数学的基礎から学ぶ Deep Learning (with Python) Vol. 9
Project Samurai
集合知第7回
集合知第7回
Noboru Kano
闇と向き合う
闇と向き合う
Nagi Teramo
クラシックな機械学習の入門 5. サポートベクターマシン
クラシックな機械学習の入門 5. サポートベクターマシン
Hiroshi Nakagawa
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
Shin Asakawa
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
How to use Google Hangouts at LC desk
How to use Google Hangouts at LC desk
lukemullender
STAINLESS STEEL HOUSING FOR NEXUS TABLET
STAINLESS STEEL HOUSING FOR NEXUS TABLET
Diego Lasluisa
En vedette
(20)
chapter 11 structural svm
chapter 11 structural svm
ICML読み会2016@早稲田
ICML読み会2016@早稲田
prml_titech_9.0-9.2
prml_titech_9.0-9.2
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
PRMLrevenge 4.4
PRMLrevenge 4.4
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習1章
劣モジュラ最適化と機械学習 3章
劣モジュラ最適化と機械学習 3章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Discrete MRF Inference of Marginal Densities for Non-uniformly Discretized Va...
Discrete MRF Inference of Marginal Densities for Non-uniformly Discretized Va...
3Com 3C6555-016R EFSM
3Com 3C6555-016R EFSM
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
New Approach to Data Analysis System “Tableau + TreasureData” at Tableau User...
数学的基礎から学ぶ Deep Learning (with Python) Vol. 9
数学的基礎から学ぶ Deep Learning (with Python) Vol. 9
集合知第7回
集合知第7回
闇と向き合う
闇と向き合う
クラシックな機械学習の入門 5. サポートベクターマシン
クラシックな機械学習の入門 5. サポートベクターマシン
TensorFlow math ja 05 word2vec
TensorFlow math ja 05 word2vec
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
How to use Google Hangouts at LC desk
How to use Google Hangouts at LC desk
STAINLESS STEEL HOUSING FOR NEXUS TABLET
STAINLESS STEEL HOUSING FOR NEXUS TABLET
Similaire à MLP SVM Chapter 7 分割法
PRML輪読#7
PRML輪読#7
matsuolab
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
DSB2019振り返り会:あのにっくき QWK を閾値調整なしで攻略した(かった)
DSB2019振り返り会:あのにっくき QWK を閾値調整なしで攻略した(かった)
Takuji Tahara
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
Eiji Uchibe
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
Optimization Approaches for Counterfactual Risk Minimization with Continuous ...
Optimization Approaches for Counterfactual Risk Minimization with Continuous ...
Kenshi Abe
混合整数ブラックボックス最適化に向けたCMA-ESの改良 / Optuna Meetup #2
混合整数ブラックボックス最適化に向けたCMA-ESの改良 / Optuna Meetup #2
RHamano
1017 論文紹介第四回
1017 論文紹介第四回
Kohei Wakamatsu
Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
Plot Hong
Interval analysis
Interval analysis
Wada Yuki
Micro12勉強会 20130303
Micro12勉強会 20130303
Toshiya Komoda
Similaire à MLP SVM Chapter 7 分割法
(11)
PRML輪読#7
PRML輪読#7
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
DSB2019振り返り会:あのにっくき QWK を閾値調整なしで攻略した(かった)
DSB2019振り返り会:あのにっくき QWK を閾値調整なしで攻略した(かった)
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
NIPS KANSAI Reading Group #7: Temporal Difference Models: Model-Free Deep RL ...
Optimizer入門&最新動向
Optimizer入門&最新動向
Optimization Approaches for Counterfactual Risk Minimization with Continuous ...
Optimization Approaches for Counterfactual Risk Minimization with Continuous ...
混合整数ブラックボックス最適化に向けたCMA-ESの改良 / Optuna Meetup #2
混合整数ブラックボックス最適化に向けたCMA-ESの改良 / Optuna Meetup #2
1017 論文紹介第四回
1017 論文紹介第四回
Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
Interval analysis
Interval analysis
Micro12勉強会 20130303
Micro12勉強会 20130303
MLP SVM Chapter 7 分割法
1.
SVM本勉強会 Chapter7. 分割法 Waseda Univ.
Hamada Lab. B4 Taikai Takeda Twitter: @bigsea_t
2.
Self-‐Introduction üTaikai Takeda üTwitter: @bigsea_t üHamada
Lab. B4 üInterests § Bioinformatics § Machine Learning üHobby § Sports § swimming, badminton, rowing,… § Drinking § beer, sake, wine,… 2
3.
分割法とは ü背景 § ⼤大規模なデータでのSVMの学習は計算コストが ⼤大きい § 𝑁個の未知変数を持つ⼆二次計画問題は𝑂(𝑁$)の計算時間 §
汎⽤用的な最適化アルゴリズムではなくSVMに特化 したもの(分割法)を⽤用いることで効率率率化できる ü概要 § 訓練集合をすべて使うのでなく,⼀一部のみを使って ⼩小規模な最適化問題を繰り返し解く 3
4.
分割法の種類 üSMO § 訓練集合のサイズを最⼩小とした分割法 § カーネルSVMに⽤用いられる üDCDM §
SMOでさらに線形SVMに特化した分割法 § 主問題と双対問題の関係をうまく利利⽤用する 4
5.
分割法における双対問題 ü⼀一般の分割法(decomposition method) § 訓練集合の部分集合である作業集合(working
set)で 学習を⾏行行う § 作業集合 𝑆 ⊆ [𝑛] § それ以外 𝑆̅ = [𝑛] 𝑆 5 𝑂( 𝑆 $)で解ける
6.
SMOアルゴリズム üSMO(Sequential Minimal Optimization) §
作業集合のサイズ 𝑆 = 2とした分割法 § 制約条件より, 𝑆 = 2が最⼩小(minimal)である (後述) § 双対問題の解を解析的に得られる § LIBSVMという有名なソフトで採⽤用 6
7.
SMO -‐ 学習の流流れ 1.
良良さそうな2変数を選ぶ 2. 2変数の最適化(解析解が存在) 3. 停⽌止条件を満たすまで1,2 の繰り返し 7
8.
SMO – 事前準備 ü双対変数
𝛼1 1∈[3]の変数変換 8 この制約条件のため 1つのβだと値を動かせない →2つがminimal cf 変換前のOP
9.
SMO -‐ 2変数最適化 ü𝛽<,
𝛽>, 𝑠 ≠ 𝑡の2変数の更更新 𝛽< ← 𝛽< + Δ𝛽< 𝛽> ← 𝛽> + Δ𝛽> ü制約条件∑ 𝛽11∈[3] = 0より, Δ𝛽> = −Δ𝛽< →実質的に𝚫𝜷 𝒔だけが⾃自由変数 9
10.
SMO -‐ 2変数最適化 üΔ𝛽<に関する制約は𝑦<,
𝑦>の値によって変化 L 0 ≤ 𝛽∘ + Δ𝛽∘ ≤ 𝐶 𝑖 𝑓 𝑦∘ = +1 −𝐶 ≤ 𝛽∘ + Δ𝛽∘ ≤ 0 𝑖 𝑓 𝑦∘ = −1 § 𝛽∘ は𝛽< 𝑜𝑟𝛽> ü全4パターンを書き下すと, 10 これらをまとめて 𝐿 ≤ Δ𝛽< ≤ 𝑈 と表現する
11.
SMO -‐ 2変数最適化 ü結局,Δ𝛽<に関する最適化問題は ⼆二次関数の最⼩小化問題に帰着される 11
12.
SMO -‐ 2変数最適化 üΔ𝛽<の解析解 12 𝑳
𝑯 MIN 𝑳 𝑯 MIN 𝑳 𝑯 MIN
13.
SMO – 変数選択 ü𝛽<,
𝛽>の選び⽅方の⽅方針 →最適性条件を⼀一番満たしていないペアを選ぶ üSVMの双対変数𝜶の最適性条件 13
14.
SMO – 変数選択 最適性条件の整理理 14
15.
SMO – 変数選択 ü最適性条件を最も満たしてないペアの選択 §
⼯工夫しないと𝑂(𝑛] )の計算量量 § 実際には毎回更更新されるのが𝛼<, 𝛼>のみであること を利利⽤用して𝑂(𝑛)で計算できる 15
16.
SMO – 変数選択 ペアの選択における計算の⼯工夫 16 𝛽1
= 𝑦1 𝛼1, 𝑖 ∈ [𝑛] 𝛽< ← 𝛽< + Δ𝛽< 𝛽> ← 𝛽> + Δ𝛽> Δ𝛽> = −Δ𝛽<
17.
üカーネル⾏行行列列𝐾1_の計算上の⼯工夫 § 変数選択,2変数最適化の各ステップで カーネル関数𝐾1_の値を𝑂(𝑛)個使う § カーネル関数の計算量量は通常𝑂
𝑑 → 全部で𝑂(𝑛𝑑) § cf. § カーネル関数の値は最適化の過程で変化しないので 予め計算してキャッシュしておく § Δ𝛽<の更更新の計算量量は𝑂(𝑛)となる § 訓練集合が⼤大規模な場合で全ての𝐾1_をキャッシュでき ない場合には直近に使った𝐾1_のみをキャッシュする § SVMのスパース性より選ばれる変数に偏りがあるので うまくいく SMO – カーネル⾏行行列列のキャッシュ 17
18.
SMO -‐ まとめ üアルゴリズムの流流れ 1.
変数選択: 最適性条件を最も満たしていない変数を選ぶ 2. 2変数最適化: ⼆二次⽅方程式の最⼩小値を求める問題なので 解析解が存在 3. 停⽌止条件を満たすまで1,2 の繰り返し 18
19.
DCDMアルゴリズム üDCDM(Dual Coordinate Descent
Method) § 線形SVMに特化した分割法 § SMOよりはやい § 主問題と双対問題の関係を利利⽤用 19
20.
DCDMアルゴリズム – 事前準備 バイアスのない線形SVM ü決定関数 §
𝑓 𝒙 = 𝒘c 𝒙 § cf. バイアスあり:𝑓 𝒙 = 𝒘c 𝒙 + 𝑏 ü主問題 ü双対問題 ü⼊入⼒力力の拡張 § バイアスまで正則化してしまう →データの標準化などの前処理理が必要 § e.g. 𝒙1e = 𝒙1 − f 3 ∑ 𝒙11∈[3] 20 バイアス項が消えたので等式制約も消えた 𝑐𝑓. 𝜕𝐿 𝜕𝑏 = − j 𝛼1 𝑦1 = 0 1∈3 → j 𝛼1 𝑦1 = 0 1∈3
21.
DCDMアルゴリズム – 学習の流流れ ü最⼩小の作業集合𝑆に対して最適化を繰り返す §
等式がないため 𝑆 = 1が最⼩小作業集合 ü最適化の計算コストが⼩小さい →変数選択を⾏行行わないで𝛼f, … , 𝛼3と順番に選択 21
22.
DCDMアルゴリズム – 1変数最適化 ü双対変数𝛼<の更更新 §
𝛼< ← 𝛼< + Δ𝛼< § 𝑆 = 𝛼< , s ∈ [𝑛] üΔ𝛼<に関する双対問題 ü2次関数最⼩小化の解析解 22
23.
DCDMアルゴリズム – 1変数最適化 線形性の利利⽤用による計算の⾼高速化 ü fm∑
nopoqo∈ r pqq の計算で𝑄_<と𝑄<<が必要 ü𝑄<<は𝑸⾏行行列列の対⾓角成分なので𝑂(𝑛)のキャッシュ ü𝑄_<には主変数𝒘と双対変数𝜶の関係の利利⽤用 § 𝒘 = ∑ 𝛼_ 𝑦_ 𝒙__∈ 3 , Qvw = yvywKvw § 1 − ∑ 𝛼_ 𝑄_<_∈ 3 = 1 − 𝒘c 𝒙< 𝑦< § 1 − ∑ 𝛼_ 𝑄_<_∈ 3 :𝑂 𝑛] ⇒ 1 − 𝒘c 𝒙< 𝑦<:𝑂(𝑑) § 𝐰のキャッシュO(𝑑)は必要 § 𝒘は双対変数の更更新のたびに必要 § 𝒘 ← 𝒘 + Δ𝛼< 𝒙< 𝑦<:𝑂(𝑑) ⇒ 𝑶(𝒏 + 𝒅)のキャッシュで𝑶(𝒅)の計算量量 cf. SMOでは𝑂(𝑛])のキャッシュで𝑂(𝑛)の計算量量 23
24.
DCDM-‐まとめ ü𝛼f, … ,
𝛼3と順番に最適化していく ü線形性を利利⽤用して計算を⾼高速化できる 24
25.
References ü⽵竹内⼀一郎郎,烏⼭山昌幸, (2015),サポートベクトルマシン,講談社 25
Télécharger maintenant