Jubatus Casual Talk #1

1. 数式を使わないJubatus入門
Jubatus Casual Talks #1
愛甲健二
Twitter: @07c00
kenjiaiko@gmail.com
1

2. 2013 5/24
ドワンゴ、国立情報学研究所
ニコニコ動画のデータセットを
提供開始
http://www.nii.ac.jp/cscenter/idr/nico/nico.html
2

3. データセット入手
動画メタデータ
120GB
コメントデータ
300GB
3

4. 分散
データ
分析
技術
開発
オープンソース
オンライン
機械学習
フレームワーク
多値分類線形回帰
特徴抽出
Jubatus?
使われている単語は
その文章の特徴を表している
4

5. では…
5

6. 目
エレン
腐
ｷﾀ－
年少組
騒がないこと
タグ
巨人
兵長
小さっかっこいい
嫌い
進撃の巨人？
書かれているコメントは
その動画の特徴を表しているか？
http://www.nicovideo.jp/watch/1369621134
6

7. Demo
コメントが似た動画を集めてみる
とりあえず実行のみ（処理に時間かかるので）
7

8. 数式を使わないJubatus入門
8

9. ざっくりとしたJubatus概要（1/5）
Jubatus Server
Jubatus Client
9

10. ざっくりとしたJubatus概要（2/5）
Jubatus Server
Jubatus Client
学習しといて～
おｋ
10

11. ざっくりとしたJubatus概要（3/5）
Jubatus Server
Jubatus Client
学習中…
11

12. ざっくりとしたJubatus概要（4/5）
Jubatus Server
Jubatus Client
これどこ？
クラスAに分類
されますね～
12

13. ざっくりとしたJubatus概要（5/5）
Jubatus Server
Jubatus Client
• 用意するもの
– データセット（学習 and テストデータ）
– サーバ（設定ファイルのみ → .json に記述）
– クライアント（One of Python, C++, Ruby or Java） 13

14. データセット
データセットを学習用に
整形しなければならない？ 1 ⋯ 0
⋮ ⋱ ⋮
0 ⋯ 1こういうの？
14

15. データセット
データセットを学習用に
整形しなければならない？ 1 ⋯ 0
⋮ ⋱ ⋮
0 ⋯ 1
でも、ぶっちゃけめんどい
重みづけとかパラメータとかよくわからんし
15
こういうの？

16. データセット
データセットを学習用に
整形しなければならない？ 1 ⋯ 0
⋮ ⋱ ⋮
0 ⋯ 1
でも、ぶっちゃけめんどい
重みづけとかパラメータとかよくわからんし
もう適当な文章（テキスト）投げ込んだら、
いろいろとうまいことやってくれて、
良い感じに学習してくれたりしないの？
16
こういうの？

17. それできるよ！
そう、Jubatusならね！
17

18. {
"method": "PA",
"converter": {
"string_filter_types": {},
"string_filter_rules": [],
"num_filter_types": {},
"num_filter_rules": [],
"string_types": {},
"string_rules": [
{
"key": "*", "type": "space", "sample_weight": "log_tf",
"global_weight": "idf"
}
],
"num_types": {},
"num_rules": []
},
"parameter": {}
}
en_test.json
英語版
string_rulesのtypeにspaceを設定するだけ
18

19. {
"method": "PA",
"converter": {
"string_filter_types": {},
"string_filter_rules": [],
"num_filter_types": {},
"num_filter_rules": [],
"string_types": {
"mecab": {
"method": "dynamic", "path": "libmecab_splitter.so",
"function": "create", "arg": "-d mecab/dic/ipadic"
}
},
"string_rules": [
{
"key": "*", "type": "mecab", "sample_weight": "log_tf",
"global_weight": "idf"
}
],
"num_types": {},
"num_rules": []
},
"parameter": {}
}
ja_test.json
日本語版
mecabのパスを設定
string_rulesのtypeをmecabに
19

20. What is “sample_weight”?
20
sample_weight: “bin” → 出現回数を考えない
“that language is” ＝ “that language that is”
sample_weight: “tf” → 出現回数が多いほど重く（近く）なる
“that language is” ≪ “that language that is”
sample_weight: “log_tf” → 出現回数が多いほど
そこそこ重く（近く） なる（log）
“that language is” ＜ “that language that is”
特徴（単語）の出現回数に関する設定項目
Python: a programming language that lets you work more quickly

21. What is “global_weight”?
21
共通の特徴（単語）の重みに関する設定
Python: a programming language that lets you work more quickly
Ruby: general purpose object oriented programming language
global_weight: “idf” → 共通の特徴は軽く（遠く）、
特別な(?)特徴は重く（近く）なる (*)
global_weight: “bin” → 特に考えない
(*)programming, language と言った単語は軽く判定される

22. クライアントプログラム by Python
22
参考：https://github.com/jubatus/jubatus-tutorial-python/blob/master/tutorial.py

23. 23
Demo
コメントが似た動画を集めてみる
結果確認

24. まとめ
24
• たくさんのテキストデータを入手する
• Jubatusチュートリアルからコピペしてくる
– http://jubat.us/ja/tutorial.html
これだけで簡単なテキストマイニングができる！
■用意するもの
データセット
サーバ用.jsonファイル（tutorialからコピー可）
クライアントプログラム（tutorialからコピー可）
→特に日本語を自動で単語抽出してくれるのが熱い！！

25. Jubatus: オンライン機械学習向け分散処理フレームワーク
http://jubat.us/ja/
http://jubat.us/ja/tutorial.html
国立情報学研究所（ニコニコデータセット）
http://www.nii.ac.jp/cscenter/idr/nico/nico.html
ありがとうございました！
25