Ml説明資料

1. 機械学習によるドキュメント自動分類
2016 update It, Inc.
crossnote ML

2. 機械学習(Machine Learning)による文章分類
crossnoteに登録されたファイルを、機械学習の手法を用いて自動的に分類します
機械学習とは データを解析することでコンピューターが判断能力を獲得する
人工知能の手法です
機械学習では一定量の正解データを準備する必要
があります。正解データはcrossnoteで一括登録
することもできます。
正解
データ
学習
自動
分類
評価
新規
データ
分類
結果
訂正
正解データ
性能評価
学習
交差検定という手法で分類性能を確認します。
登録された正解データを元にコンピューターが分類
方法を学習します。
crossnoteでは
自動分類 学習結果を元に、自動で分類します。
自動分類された結果を人間が訂正し、より多くの
正解データを使って高精度な自動分類器を実現し
ます。
結果訂正
新規データ分類 新規データを自動で分類します。

3. 分類の仕組み
解析しやすい文
章に変換
単語抽出
最適化処理
変換・選択処理
文章をベクトル
で表現
正解データを元に
ベクトル空間上で分
類方法を学習
学習結果を
元に分類
学習
分類
ニュース記事を5つのカテゴリに分類した例
従来のルールベースでの分類では、文章の特徴を人が定義する必要がありました。
機械学習では正解データを元にコンピューターが自動で文章の特徴を見つけ出して分類を行います。
このため、一定量の正解データさえ揃えればどのような分野のドキュメントでも分類が可能です。
ファイルから
テキストを抽出
Aに属する文章群
Bに属する文章群
Cに属する
文章群
ベクトル空間上での分類の概念

4. 性能評価の仕組み
（１）正解データを学習用データと評価用データに分割します。
（２）学習用データを用いて機械学習を行います。
（３）評価用データを自動分類し、正解率を求めます。
（４）組合せを変えて（２）～（３）を行います。
学習用
2回目
3回目
4回目
5回目
1回目
評価用
交差検定の結果例
機械学習による分類は、与える正解データの数や質で性能が大
きく変わります。
このため与えられた正解データでどの程度正確に分類できるか
計測する方法が必要です。
crossnoteでは交差検定という手法で分類性能を計測すること
ができます。
ユーザーは計測結果を参照しながらパラメーターを調整し、分
類性能を向上させていくことができます。
交差検定とは
正解データのみを用いて性能を評価する手法です。
データを学習用と評価用に分割して分類を行い、精度を計測します。
5分割で交差検定を行った例

5. 社名 アップデイティット株式会社
英文社名 update it, Inc.
所在地
〒224-0001
横浜市都筑区中川１丁目6-35 中川カスケード201
TEL 045-910-5825
MAIL info@updateit.co.jp
本書は 2016/05 時点の情報に基づいて作成しています。
機械学習処理については、弊社技術顧問のニューヨーク大学 関根聡氏(※1)との共同研究の成果を元に実装しております。
最新の情報につきましては、弊社ホームページ
http://www.updateit.co.jp
をご覧ください。
さらに詳しい内容につきましては、下記までお問い合わせください。
(※1) New York University Ph.D Satoshi Sekine