at PyLadies Tokyo 1st Anniversary party (2015.10.24)

1. Pythonで機械学習を自動化
auto-sklearn
2015/10/24
PyLadies Tokyo 1st Anniversary Party
Yukino Ikegami
@_yukinoi

2. 自己紹介
• 名前: 池上 ゆきの
• やってること: 自然言語処理・データマイニング
• Python歴≒プログラミング歴
• ブログ
– はてな: http://yukinoi.hatenablog.com/
– Qiita: http://qiita.com/yukinoi

3. 機械学習には…

4. いろんなアルゴリズムがある

5. いろんなハイパーパラメーターがある
λ
α
β
η
C
γ

6. いろんな組み合わせがある
α
β
γ
λ
η
C

7. 一番いいのを頼む！

8. そこで Auto ML

9. auto-sklearn
与えられたデータをもとに scikit-learn の中から
• よさげな前処理選んで
• よさげな学習アルゴリズム選んで
• よさげなハイパーパラメーター選んで
それらをアンサンブル

10. どんな風にやるの？
1. Meta learning で初期値を得る
2. よさげな前処理/アルゴリズム/パラメーターを
探索
3. よさげなものを束ねる (アンサンブル)
From Feurer et al. 2015

11. Meta Learning
• どの手法がどういうデータに向いているかを
モデル化
– データ数、素性の数、データ数と素性数の比率、
– クラス数、欠損値の数、歪度、エントロピー, など
OpenMLの140データセットから学習

12. よさげな組み合わせを見つける
solverで探索
• 前処理/アルゴリズム/ハイパーパラメーター
– SMAC
• アンサンブル
– runsolver

13. 実際に試してみた
• 10分間探索
– https://github.com/ikegami-
yukino/misc/blob/master/machinelearning/auto-
sklearn/Example.ipynb
– 学習用と検証用でデータを9 : 1に分割
• Accuracy
– Iris: 1.0
– digits: 0.975

14. Vagrantで試せるようにしたよ！
• https://github.com/ikegami-
yukino/misc/tree/master/machinelearning/au
to-sklearn

15. 結び
• AutoMLの一手法としてauto-sklearnを紹介
• 伸びしろがある感じだけど未来っぽくてよい

16. くわしくはこちら
• AutoML
– http://www.automl.org/
• auto-sklearn
– https://github.com/automl/auto-sklearn
– http://aad.informatik.uni-freiburg.de/papers/15-AUTOML-AutoML.pdf
• scikit-learn
– http://scikit-learn.org/
• OpenML
– http://www.openml.org/
• SMAC
– http://www.cs.ubc.ca/labs/beta/Projects/SMAC/
– http://www.cs.ubc.ca/labs/beta/Projects/SMAC/papers/10-LION-TB-
SPO.pdf
• runsolver
– http://jsat.ewi.tudelft.nl/content/volume7/JSAT7_12_Roussel.pdf