人柱になってみた結果の話

1. LSTMで話題分類してみた
MLCT#3 LT

2. 自己紹介
じょんすみす(ひらがな) これ→
@__john_smith__
どこにでもいる普通のアル中
願望
北海道帰りたい

3. はじめに
本日は無事失敗談となりました

4. RNNとLSTM
• 釈迦に説法なので省略
• 知らない方は←の本がオススメ
• お絵描きが面倒なので
• 今日は使ってみた結果が主題です
簡単に説明すると
• 対シーケンシャル(可変長)のデータ
• 中間層を使い回す
• LSTMではメモリユニットで
勾配消失しないように
Recurrent Neural Network Long Short Term Memory
http://www.amazon.co.jp/dp/4061529021/

5. RNNこれくしょん
• ドワンゴ人工知能研究所
• せっかくなので使ってみよう
• そんなに気にならないけど
日本語を対象にするなら
• どうせ入力はword2vecで(ry
• 他にもライブラリはある
• CURRENNTがいいらしい
• ただしGPU必須
• CNNのCaffeのような
デファクトスタンダードはない？
https://github.com/mattya/RNN-colle/

6. 対象データ
• 凛ちゃんデータセット(自称)
• 2chから星空凛、渋谷凛、遠坂凛、松岡凛のスレ取得
• 終了したスレ2本 x 4人なので約8000件
• ネットスラングとAAの塊
• SVMでおよそ68%程度の正解率

7. そこにあったツラミ
• ひたすら Segmentation fault (core dumped)
• 実はそろっていないドキュメント
• 付属のデータ以外で動かす方法
• バイナリデータ読み込ませてる。。フォーマットは？
• 設定ファイルの項目も結局かなりソース読んだ
• Jsonの設定で超パラメータ設定するので探索しづらい
• 安西先生、GPUが欲しいです
• あ、私Pythonはわかりません^^

8. なんとか動いたけど
• 形態素解析 + 分散表現
• Error Rate : 0.469708
※学習してるっぽいが、エラーレートは0.60 – 0.45の範囲で描画している

9. なんとか動いたけど
• 形態素解析 + 分散表現
• Error Rate : 0.469708
※範囲を0-1にした場合

10. なんとか動いたけど
• 文字区切り + 分散表現
• Error Rate : 0.482933
※学習してるっぽいが、エラーレートは0.60 – 0.45の範囲で描画している

11. なんとか動いたけど
• 形態素解析 + 分散表現
• Error Rate : 0.469708
※範囲を0-1にした場合

12. なんとか動いたけど
• ひどい。。(ちなみにパラメータを変えるともっと悪くなる)
• epoch数増やすと下がっていくので学習はしてるっぽい？
• パラメータの設定でとかってレベルじゃなさそう
• 入力が間違ってた？
• MLPの層で求められてる入力と一致してるか自信がない
これは文章Aです
これは別な長さの文章Bです
ここの扱いが間違ってた？

13. 結論
• ライブラリ内部の挙動まで確認できないなら
フルスクラッチで実装した方が早いかも？
• RNNこれくしょん、プルリク送れそうなとこ結構ありますよ
• 世の中に出たてのOSSのいいところ
• ガチ勢の方、アドバイスください
• 動かし方
• http://john-smith.hateblo.jp/entry/2015/05/02/224928