scikit-learnを用いた機械学習チュートリアル
•
80 j'aime•213,705 vues
大阪Pythonユーザの集まり 2014/03 で発表した資料 http://connpass.com/event/5361/
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (20)
Similaire à scikit-learnを用いた機械学習チュートリアル
Similaire à scikit-learnを用いた機械学習チュートリアル (20)
Dernier
Dernier (10)
scikit-learnを用いた機械学習チュートリアル
- 2. 自己紹介 金谷 敦志 (Twitter: @todogzm)! 株式会社ラクス 北米市場向けWebサービス Rigniteの開発に従事 "2
- 3. 自己紹介 Python歴は1年半! テキスト分類にPythonを使用! recurly-client-pythonのPython 2/3対応! Check.iO Level 10! http://www.checkio.org/user/todogzm/ "3
- 7. インストール要件 Python 2.6以上 (3.3でも使える)! 必要なライブラリ! NumPy (>=1.3)! SciPy (>=0.7)! matplotlib (可視化したい場合)! See http://scikit-learn.org/stable/install.html! 実際の使い方はあとで！ "7
- 12. 機械学習の分類 教師付き! 正解データが与えられている! 未知のデータに対する予測を行う! 教師なし! 正解データが与えられていない! 未知のデータから規則性を発見する "12 今日の話題は こっち
- 14. 入力の数理的な表現 入力内容から特徴となる要素を 取り出し特徴ベクトルを作る! 特徴とは？ →解きたい問題次第! 例：8x8の数値画像! 64次元のベクトルとして表現! 黒が0、白を15とした16段階 "14 [0, 0, 5, 13, 9, 1, 0, 0, 0, 0, 13, 15, 10, 15, 5, 0, 0, 3, 15, 2, 0, 11, 8, 0, 0, 4, 12, 0, 0, 8, 8, 0, 0, 5, 8, 0, 0, 9, 8, 0, 0, 4, 11, 0, 1, 12, 7, 0, 0, 2, 14, 5, 10, 12, 0, 0, 0, 0, 6, 13, 10, 0, 0, 0]
- 16. 出力の表現 期待する結果を洗い出し、数値化する! 数値は意味がある場合と単なるラベリングの場 合がある! 数値画像の例であれば、0∼9! ラベルの例 みかん → 1, りんご → 2, バナナ → 3, … "16
- 17. 分類器の選定 予測したい (教師付き学習)! サポートベクターマシン (バッチ学習)! パーセプトロン (逐次学習)! 発見したい (教師なし学習)! k最近傍法 "17
- 19. サポートベクターマシン SVMやサポートベクトルマ シンとも呼ばれる! 基本的には2値の分類器! 2つのパターンを分ける際 に、各データ点との距離が 最大となる識別面を計算 (マージン最大化) "19
- 22. 例題：感情解析 ある意見がポジティブかネガティブかを予測! 英語のデータセットがいくつかある! 今回はこの中からpolarity dataset v2.0 を使用 (Positive, Negativeそれぞれ1000件)! https://www.cs.cornell.edu/people/pabo/ movie-review-data/ "22
- 23. 出力と分類器は良いが入力は… 入力の数理的な表現の決定 → 自然文をどう扱うか？! 出力の表現方法の決定 → Pos を+1, Negを-1! 教師付き学習か教師なし学習か？ → 教師付き学習の分類器をいくつか試す "23
- 24. 入力の表現 単語を出現回数で数え 上げる。順序は無視 (Bag of Wordsモデル)! (Pos) I’m really loving this film.! (Neg) I hate this film because the film really … "24 文章 #1! #2 I 1 I'm 1 because 1 film 1 2 hate 1 loving 1 really 1 1 the 1 this 1 1
- 25. 教師付き学習の場合 学習用のデータにつ いて、与える入力に 対する出力も合わせ て教える! 機械学習は、各ラベ ルに現れる単語の出 現確率を考慮して学 習する "25 文章 Pos #1 Neg #2 I 1 I'm 1 because 1 film 1 2 hate 1 loving 1 really 1 1 the 1 this 1 1
- 27. 入力部の実装 text_listには学習用テキストのリストが入る! TfidfVectorizerにより、テキストをtf*idfモデル化! 1単語または2単語を用いてベクトル化! 英語をストップワードに追加 "27 from sklearn.feature_extraction.text import TfidfVectorizer ! text_list = [(テキストのリスト)] ! vectorizer = TfidfVectorizer( ngram_range=(1, 2), stop_words='english') X = vectorizer.fit_transform(text_list)
- 28. SVMによる学習 入力のリストと期待される結果のリストを渡し、fit()メ ソッドで学習する! 分類器には線形SVMを使用! 他の分類器にするにはLinearSVCを他に変える "28 from sklearn import svm ! answer_list = [(text_listの各データに対するラベル)] ! svc = svm.LinearSVC() # 線形SVM svc.fit(X, answer_list) # 学習
- 29. 未知のデータへの予測 未知のデータを学習時と同じようにモデル化する! 学習済みの分類器に未知のデータを渡す! 結果は期待する出力を数値化した値 今回の例では、Pos → +1, Neg → -1 "29 text_list = vectorizer.transform([(テキスト)]) ! result_list = svc.predict(text_list)
- 30. 精度がわからない 交差検定! 学習用データをいくつかに分けて、一部を学習用、残りを性能 評価用に使用! cross_val_scoreに分類器、学習用モデルと期待する結果を渡せ ば3回評価した結果を返す! 複数パラメータを組み合わせて検証するグリッドサーチも便利 "30 from numpy import array ! svc = svm.LinearSVC() scores = cross_validation.cross_val_score(svc, X, array(y))
- 31. 分類器の評価が遅い 計算時間や精度に影響を及ぼす 「次元の呪い」! 1単語のみ → 単語数4万! 1単語と2単語 → 53万！ (10倍以上)! 潜在的意味解析による次元圧縮! 同じような意味の単語を同じものとして扱う "31 from sklearn.decomposition import TruncatedSVD ! X = vectorizer.fit_transform(text_list) lsa = TruncatedSVD(1000) # 1000次元まで削減 X_lsa = lsa.fit_transform(X)
- 32. 他の分類器も使いたい 今回の例はテキスト分類! 分類器選定チートシートでオススメされた Naive Bayesも交差検定したい "32 from sklearn.naive_bayes import GaussianNB ! gnb = GaussianNB() scores = cross_validation.cross_val_score( gnb, X.toarray(), array(y)) # Xそのままはダメとな…
- 33. SVMとNaive Bayesの精度比較 "33 方式 SVM SVM Naive Bayes 単語数 1~2単語 1単語 1~2単語 次元削減 なし(53万) 1000次元 なし 重み付け tf*idf tf*idf tf*idf 正解率 82% 80% 72% 分類器選定チートシートに従いNaive Bayesも評価した結果…
- 34. まとめ "34
- 36. 今回扱っていない内容 分類器の詳細な説明! 教師なし学習の例! 実際に機械学習を行う上で直面する問題! 教師用データの集め方! 計算機リソースの問題(CPUやメモリ使用量)! etc… "36
- 37. 参考文献・Web資料 書籍! はじめてのパターン認識 (平井有三著)! Web資料! 機械学習チュートリアル＠Jubatas Casual Talks! 拡がる 機械学習の応用 (東京大学 鹿島久嗣)! pythonの機械学習ライブラリscikit-learnの紹介 "37