Contenu connexe
Similaire à 機械学習とJubatus (20)
Plus de Junya Yamaguchi (15)
機械学習とJubatus
- 1. 機械学習と
jubatus
IPROS 2013/04/09
株式会社イプロス 山口隼也
@junya100
13年4月10日水曜日
- 4. 機械学習とは、
人間では到底処理できない
膨大なデータを元に
学習&判断を行ってくれる
仕組み!
13年4月10日水曜日
- 6. ・予測(不良検知、株価予測…)
・分類(スパム検出、Gmail優先フォル
ダ、カテゴリ付与、DNA配列…)
・パターン認識(音声認識、文字認識…)
・検索エンジン(ランクアルゴリズム)
・レコメンドエンジン
・機械翻訳
・ロボット
・・・
13年4月10日水曜日
- 10. では、
最新のMLエンジンとは?
(第3世代機械学習)
13年4月10日水曜日
- 11. 1. リアルタイム
2. 深い解析
3. 分散処理
これらを同時に満たす!
※Mahoutは3のみ。
13年4月10日水曜日
- 13. BSP、MR、IterativeMR
の関係性
出展元:http://sssslide.com/www.slideshare.net/doryokujin/largescale-graph-processingintroduction
13年4月10日水曜日
- 14. 本命は、
Jubatus
13年4月10日水曜日
- 15. Jubatusとは、
NTTとPFIが共同開発した
オープンソースの
MLフレームワーク
13年4月10日水曜日
- 16. 機械学習の基本
(教師データありの分類の場合)
教師データ
機械学習
特徴抽出
文書
(ベクトル化)
分類
実データ ベクトル 分類器 モデル
13年4月10日水曜日
- 17. リアルタイムのオ
大規模データでも
ンライン機械学習
スケール可能
(パーセプトロ
ン、PA・・・)
モデルの一部を
共有するだけ
で、全体の精度
を保つ
センサー
(Jubatus
クライアント)
Jubatusサーバ モデル
13年4月10日水曜日
- 18. Demo
製品の自動カテゴリ付け
13年4月10日水曜日
- 19. ■jubatusとmecabのインストール
$ brew tap jubatus/jubatus
$ brew install --HEAD pficommon
$ brew install --HEAD re2
$ brew install mecab
$ brew install jubatus
※注意
brewでインストールすると以下のようにre2が無効になってしまうし、
mecabが入らないので
$ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --disable-re2
以下のコマンドを自分で打つ
$ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --enable-mecab
$ ./waf build
$ ./waf install
■ipadicも忘れずにインストール
$ ./configure --with-mecab-config=
/usr/local/Cellar/mecab/0.994/bin/mecab-config --with-charset=utf8
$ make
$ sudo make install
■jubatusクライアントのインストール
$ sudo pip install jubatus
13年4月10日水曜日
- 20. ■jubatusサーバとして、分類器(jubaclassifier)を起動
$ jubaclassifier --configpath config.json
■config.jsonの設定
{
"method": "PA",
"converter": {
"string_filter_types": {},
"string_filter_rules": [],
"num_filter_types": {},
"num_filter_rules": [],
"string_types": {
"mecab": { "method": "dynamic", "function": "create", "path": "/usr/local/Cellar/jubatus/0.4.2/
lib/jubatus/plugin/libmecab_splitter.dylib"}
},
"string_rules": [
{ "key": "*", "type": "mecab", "sample_weight": "tf", "global_weight": "idf" }
],
"num_types": {},
"num_rules": []
},
"parameter": {}
}
13年4月10日水曜日