Soumettre la recherche
Mettre en ligne
PRML14.3 Boosting
•
1 j'aime
•
722 vues
S
sleepy_yoshi
Suivre
PRML読書会#17 (最終回) 14.3 ブースティング 発表資料
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 28
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
sleepy_yoshi
PRML 第14章
PRML 第14章
Akira Miyazawa
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
sleepy_yoshi
ML: Sparse regression CH.13
ML: Sparse regression CH.13
Daisuke Yoneoka
Prml 4.3.5
Prml 4.3.5
Satoshi Kawamoto
Sparse models
Sparse models
Daisuke Yoneoka
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)
Shin Asakawa
Recommandé
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
sleepy_yoshi
PRML 第14章
PRML 第14章
Akira Miyazawa
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
sleepy_yoshi
ML: Sparse regression CH.13
ML: Sparse regression CH.13
Daisuke Yoneoka
Prml 4.3.5
Prml 4.3.5
Satoshi Kawamoto
Sparse models
Sparse models
Daisuke Yoneoka
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)
Shin Asakawa
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Shuyo Nakatani
PRML 第4章
PRML 第4章
Akira Miyazawa
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
Akira Asano
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
Shuyo Nakatani
20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算
matsumoring
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
Akira Asano
回帰
回帰
Shin Asakawa
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用
matsumoring
PRML chapter7
PRML chapter7
Takahiro (Poly) Horikawa
ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版
dsp_kyoto_2014
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
Takafumi Sakakibara
Zetavalue
Zetavalue
guest1637f9
Python opt
Python opt
Mikio Kubo
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
doboncho
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
Miki Katsuragi
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
sleepy_yoshi
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
Contenu connexe
Tendances
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Shuyo Nakatani
PRML 第4章
PRML 第4章
Akira Miyazawa
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
Akira Asano
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
Shuyo Nakatani
20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算
matsumoring
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
Akira Asano
回帰
回帰
Shin Asakawa
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用
matsumoring
PRML chapter7
PRML chapter7
Takahiro (Poly) Horikawa
ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版
dsp_kyoto_2014
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
Takafumi Sakakibara
Zetavalue
Zetavalue
guest1637f9
Python opt
Python opt
Mikio Kubo
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
Chika Inoshita
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
doboncho
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
Miki Katsuragi
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
Tendances
(20)
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
PRML 第4章
PRML 第4章
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
回帰
回帰
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用
PRML chapter7
PRML chapter7
ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
Zetavalue
Zetavalue
Python opt
Python opt
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
En vedette
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
sleepy_yoshi
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Kohei Tomita
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
生命を記述する数学
生命を記述する数学
Takahiro (Poly) Horikawa
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
sleepy_yoshi
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
由来 藤原
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
Itaru Otomaru
PRML読み会第一章
PRML読み会第一章
Takushi Miki
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
sleepy_yoshi
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
sleepy_yoshi
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
PRML 1.6 情報理論
PRML 1.6 情報理論
sleepy_yoshi
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
Len Matsuyama
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
A novel method for discovering local spatial clusters of genomic regions with...
A novel method for discovering local spatial clusters of genomic regions with...
弘毅 露崎
PRML chapter5
PRML chapter5
Takahiro (Poly) Horikawa
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
En vedette
(20)
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
生命を記述する数学
生命を記述する数学
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
PRML読み会第一章
PRML読み会第一章
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
Chap12 4 appendix_suhara
Chap12 4 appendix_suhara
PRML 1.6 情報理論
PRML 1.6 情報理論
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
A novel method for discovering local spatial clusters of genomic regions with...
A novel method for discovering local spatial clusters of genomic regions with...
PRML chapter5
PRML chapter5
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Plus de sleepy_yoshi
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
sleepy_yoshi
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
sleepy_yoshi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
sleepy_yoshi
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
sleepy_yoshi
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
sleepy_yoshi
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
sleepy_yoshi
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
sleepy_yoshi
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
sleepy_yoshi
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
sleepy_yoshi
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
sleepy_yoshi
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
sleepy_yoshi
SIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to Rank
sleepy_yoshi
ACL2011読み会: Query Weighting for Ranking Model Adaptation
ACL2011読み会: Query Weighting for Ranking Model Adaptation
sleepy_yoshi
Plus de sleepy_yoshi
(20)
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
SIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to Rank
ACL2011読み会: Query Weighting for Ranking Model Adaptation
ACL2011読み会: Query Weighting for Ranking Model Adaptation
Dernier
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(9)
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
PRML14.3 Boosting
1.
PRML#17 (最終回) 14.3 ブースティング
2010-09-11 YOSHIHIKO SUHARA id:sleepy_yoshi @sleepy_yoshi
2.
目次 • 14.3 ブースティング
– 指数誤差の最小化 – ブースティングのための誤差関数 1
3.
本節の概要 • ブースティング –
AdaBoostアルゴリズム • 指数誤差最小化の導出 • 指数誤差最小化の意味 2
4.
14.3 ブースティング
3
5.
ブースティング • 複数の「ベース」分類器を統合する手法 –
弱学習機 (weak learner) とも呼ばれる • 様々な手法が提案されている – 本節では最も有名なAdaBoostを紹介 • ベース分類器を逐次的に学習 – バギングでは独立した訓練データからモデルを学習 – 並列化が困難 4
6.
AdaBoostのイメージ 試行回数
訓練データ ベース分類器 1 × y1 y1が苦手とする事例を 重み付き訓練データ 適切に分類 2 × × y2 ベース分類器を 重み付け和 … … … 重み付き訓練データ M yM 分類器 5
7.
Algorithm: AdaBooost
(1) 1. n=1,…,Nのデータの重み {wn} を ������������ = 1/������ で初期化 2. m=1,…,Mについて以下を繰り返す: (a) 分類器 ������������ ������ を,以下の誤差関数を最小化するように学習 ������ ������ ������������ = ������������ ������(������������ (������������ ) ≠ ������������ ) (14.15) ������=1 (b) ������������ の値を計算し,������������ を求める ������ ������ ������=1 ������������ ������(������������ (������������ ) ≠ ������������ ) 1 − ������������ ������������ = (������) (14.16) ������������ = ln (14.17) ������ ������������ ������=1 ������������ (c) データ点の重みを以下の式で更新 (������+1) (������) ������������ = ������������ exp*������������ ������(������������ (������������ ) ≠ ������������ )+ (14.18) 3. 以下の式で最終モデルの予測を構成 ������ ������������ = sign ������������ ������������ (������) (14.19) 6 ������=1
8.
図14.1
7
9.
決定株 (decision stump) •
ベース分類器の訓練に利用 • ひとつの素性でクラスを決定するような分類器 – 重み付き誤差を最小にするような株を選ぶ -1 +1 x1 8
10.
補足: 事例の重みを利用できない場合 • Q.
重み付き訓練データを利用できない学習アル ゴリズムを用いてベース分類器を生成する方法 は? • A. 事例の重みに基づいて復元抽出することによ り,ベース分類器の訓練データを作成する なかなか記述を見つけられない… 9 [Hastie 02]に記述があった記憶が…
11.
※ 非線形な分離平面を構築
10
12.
14.3.1 指数誤差の最小化
11
13.
指数誤差の最小化 • 指数誤差関数
������ ������ = exp −������������ ������������ (������������ )+ * (14.20) ������=1 • fmはベース分類器の線形結合で表現 ������ 1 ������������ ������ = ������������ ������������ (������) (14.21) 2 ������=1 重み係数αlとylのパラメータについて 誤差関数を最小化したい 12
14.
最適化の方針 (1/2) • α1…αm-1とy1…ym-1が固定されていると仮定し,
αm,ymのみについて最小化を行う ������ 1 ������ = exp −������������ ������������−1 ������������ − ������������ ������������ ������������ (������������ ) 2 ������=1 ������ (������) 1 = ������������ exp − ������������ ������������ ������������ (������������ ) (14.22) 2 ������=1 ここで ������������ = exp −������������ ������������−1 ������������ (������) 13
15.
最適化の方針 (2/2) • ym(x)により正しく分類されるデータ点の集合をTmとし,
残りの誤分類される点をMmとする (������) (������) ������ = ������ −������������ /2 ������������ + ������ ������������ /2 ������������ ������∈������������ ������∈������������ 正解 不正解 ������ ������ ������������ ������������ ������������ − 2 ������ − 2 (������) ������ = ������ 2 − ������ ������������ ������ ������������ ������������ ≠ ������������ + ������ ������������ (14.23) ������=1 ������=1 (14.15) • ym(x)に関する最小化 ⇔ (14.15)の最小化 • αmに関する最小化 (演習14.6) 14
16.
演習14.6 • αmについての最小化を考える
������ ������ = 0 – (14.23)をαmについて微分して0とおく ������������������ ������ ������ 1 ������������ 1 −������������ ������ 1 −������������ ������ ������ 2 + ������ 2 ������������ ������ ������������ ������������ ≠ ������������ − ������ 2 ������������ =0 2 2 2 ������=1 ������=1 ������ ������ ������������ ������������ ������������ − 2 ������ − 2 ������ ������ 2 + ������ ������������ ������ ������������ ������������ ≠ ������������ = ������ ������������ ������=1 ������=1 ������������ ������ ������ − 2 ������=1 ������������ ������ ������������ ������������ ≠ ������������ ������ 1 ������ = ������������ ������ = ������ ������ ������=1 ������������ ������ 2 + − ������ ������ 2 ������ ������ + 1 ������������ 1 1 − ������������ 1 − ������������ ������������ = ������ ������ ������������ = ∴ ������������ = ln ������ ������ + 1 ������������ ������������ 15
17.
データ点の重み更新 • (14.22)に基づき,得られたαm,ym(x)を利用してデー
タ点の重みを更新する (������+1) (������) 1 ������������ = ������������ exp − ������������ ������������ ������������ (������������ ) (14.24) 2 過去のベース分類器の (������) エラーの情報を保持 参考:������������ = exp −������������ ������������−1 ������������ 今までのエラーの蓄積 ������������ ������������ ������������ = 1 − 2������(������������ (������������ ) ≠ ������������ ) (14.25) (14.25)を利用すると (������+1) (������) ������������ = ������������ exp −������������ /2 exp*������������ ������(������������ (������������ ) ≠ ������������ )+ (14.26) これより(14.18)を得る 16
18.
データ点の分類 • 全てのベース分類器の訓練が終われば (14.21)
の符号 によって分類できる – 符号に影響を与えない1/2を省略すると(14.19)を得る ������ ������������ = sign ������������ ������������ (������) (14.19) ������=1 17
19.
14.3.2 ブースティングのための誤差関数
18
20.
指数誤差再考 • AdaBoostで用いられている指数誤差を考える
������������,������ exp −������������ ������ = exp −������������ ������ ������ ������ ������ ������ ������ ������������ (14.) ������ • AdaBoostは逐次的な最適化という制約の下,最良の対 数オッズ比の近似を探索する (演習14.7) 1 ������(������ = 1|������) ������ ������ = ln 2 ������(������ = −1|������) 19
21.
演習14.7: 対数オッズ比の導出 •
AdaBoostで用いられている指数誤差を考える – 変分最小化を行う (参考: 付録D) ������ ������ = exp −������������ ������ ������ ������ ������ ������ ������ ������������ ������ = exp −������ ������ ������ ������ = +1 ������ ������ ������ + exp ������ ������ ������ ������ = −1 ������ ������ ������ ������������ ������(������ ������ , ������) ������は������ ′ ������ に依存していないので������ ������ で微分すればよい ������������(������ ������ , ������) =0 ������������(������) −exp −������ ������ ������ ������ = +1 ������ ������ ������ + exp ������ ������ ������ ������ = −1 ������ ������ ������ = 0 exp ������ ������ ������ ������ = −1 ������ ������ ������ = exp −������ ������ ������ ������ = +1 ������ ������ ������ exp*������(������)+ ������(������ = +1|������) ������(������ = +1|������) = 2������(������) = ln exp*−������(������)+ ������(������ = −1|������) ������(������ = −1|������) 20
22.
その他の誤差関数との関係 • 交差エントロピー誤差 (Logistic
regression): 赤線 • ヒンジ誤差 (SVM): 青線 • 0-1損失: 黒線 指数誤差の欠点: ty(x)が負の大きな値を持つ場合に 交差エントロピーに比べて強い ペナルティを与えてしまう ⇒ 外れ値に対して頑健性が低い ※ AdaBoostは指数誤差を必ず減少させるが、 0-1損失を必ずしも減少させるわけではない 21
23.
指数誤差の欠点 • 外れ値に対して頑健性が低い
(再掲) • 対数尤度関数として解釈できない (演習14.9) • 多クラスへの問題に容易に一般化できない 22
24.
回帰問題への拡張 • 二乗和誤差関数を利用 –
新しいベース分類器を,それ以前のモデルの残留誤 差 ������������ − ������������−1 (������������ ) で適合すればよい (演習14.9) – 二乗和誤差も外れ値に頑健ではないので絶対値誤差 |������ − ������| を利用することで対処できる 23
25.
演習14.9 • 二乗誤差関数の逐次最小化
������ ������ 1 2 1 ������ = ������������ − ������������ ������ ������������ ������ = ������������ ������������ (������) (14.21) 2 2 ������=1 ������=1 1 ������������ ������ = ������������−1 ������ + ������������ ������������ (������) (14.21)を用いると 2 ������ 2 1 1 ������ = ������������ − ������������−1 ������ − ������������ ������������ (������) 2 2 ������=1 ひとつ前のモデルの残差 誤差Eを������������ (������)について最小化 ⇒ ������������ (������)を残差にフィットさせる 24
26.
ブースティングこぼれ話 • さまざまなブースティング手法 –
損失関数の違い (参考資料) • 並列化しづらい? • モデルを改造しづらい? • ブースティング職人? 25
27.
まとめ • ブースティング –
AdaBoostの概要 – AdaBoostアルゴリズム • 指数誤差最小化の導出 – 更新式の妥当性 • 指数誤差最小化の意味 – 指数誤差の欠点 26
28.
おわり
27
Télécharger maintenant