Contenu connexe
Similaire à Chainer with natural language processing hands on (20)
Plus de Ogushi Masaya (7)
Chainer with natural language processing hands on
- 4. アウトライン
• 自然言語処理における基盤技術
• 言語モデルの種類
• なぜ言語モデルが必要
• 言語モデルって何
• 言語モデルの代表例
– nグラム言語モデル
– ニューラル言語モデル
– リカレントニューラル言語モデル
• Hands On
– 学習
– 言語モデルの評価方法
– 言語モデルの種類と用途
– 文字の予測
• ライトニングトーク
4
- 17. 言語モデルの代表例
• nグラム言語モデル
W = <s> 私 の こと が 好きなの </s>
下記のように表す。(バイグラムの場合)
P(W1 = 私 | W0 = <s>)
P(W2 = の | W1 = 私)
P(W3 = こと | W2 = の)
P(W4 = が | W3 = こと)
P(W5 = 好きなの | W4 = が)
: 17
私 の
文書
<s> 私 私 の
<s>
Count up
- 22. 言語モデルの代表例
• Bag of word を入力にする
22
I :0
am:0
show:1
me:0
your:0
you:0
:
when:0
are:0
辞
書
サ
イ
ズ
- 29. 言語モデルの代表例
• リカレントニューラル言語モデル
– 利点
• 単語を限定されたベクトル空間に変換可能(計算量が
減る)
• 過去の単語を利用して学習し、過去の単語はさらに過
去の単語に影響を受けているので文脈の考慮できる長
さが長い
– 欠点
• ドメインが全く違うデータに弱い可能性
• メモリをすごく消費する
• 速度が遅い
29
- 54. Hands On
• リポジトリ構成について
• 構成理由
– モデルとデータのフォルダは別にする
– iPython notebookでノウハウ共有を簡単に
54
CV:プログラムで生成します
data_hands_on
プログラミングコードなど
- 70. 参考資料
• Deep Learning のフレームワーク Chainer を公開しました
• https://research.preferred.jp/2015/06/deep-learning-chainer/
• 言語モデルのカバレージ、パープレキシティの説明
• http://marujirou.hatenablog.com/entry/2014/08/22/235215
• ディープラーニングフレームワークChainerをEC2のGPUインスタンスで動かす g2.2xlarge
instance
• http://ukonlly.hatenablog.jp/entry/2015/07/04/210149
• Drop Out
• http://olanleed.hatenablog.com/entry/2013/12/03/010945
• Learning to forget continual prediction with lstm
• http://www.slideshare.net/FujimotoKeisuke/learning-to-forget-continual-prediction-with-lstm
• Zaremba, Wojciech, Ilya Sutskever, and Oriol Vinyals. "Recurrent neural network regularization."
arXiv preprint arXiv:1409.2329 (2014).
• Google Mikolov
• http://www.rnnlm.org/
• Neural Network(NN)を利用したLanguage Model(LM),つまりNeural Network Language
Model(NNLM)の一種であり, Recurrent Neural Network(RNN)を使ったRecurrent Neural Network
Language Model(RNNLM)
• http://kiyukuta.github.io/2013/12/09/mlac2013_day9_recurrent_neural_network_language_model.
html
70
- 71. 参考資料
• Long Short-term Memory
• http://www.slideshare.net/nishio/long-shortterm-memory
• RNNLM
• http://www.slideshare.net/uchumik/rnnln
• スパース推定概観:モデル・理論・応用
• http://www.is.titech.ac.jp/~s-taiji/tmp/sparse_tutorial_2014.pdf
• 正則化学習法における最適化手法
• http://imi.kyushu-u.ac.jp/~waki/ws2013/slide/suzuki.pdf
• リカレントニューラル言語モデル作成参考
https://github.com/yusuketomoto/chainer-char-rnn
• ニューラルネット 自然言語処理
http://www.orsj.or.jp/archive2/or60-4/or60_4_205.pdf
• 言語モデル作成
http://www.slideshare.net/uchumik/rnnln
• 自然言語処理プログラミング勉強会n-gram言語モデル
http://www.phontron.com/slides/nlp-programming-ja-02-bigramlm.pdf
• Statistical Semantic入門 ~分布仮説からword2vecまで~
http://www.slideshare.net/unnonouno/20140206-statistical-semantics
• linux source code
https://github.com/torvalds/linux
71
- 72. 参考資料
• Chainerのptbサンプルを解説しつつ、自分の文章を深層学習させて、僕の文章っぽい文を自動生
成させてみる
• http://d.hatena.ne.jp/shi3z/20150714/1436832305
• なぜGPUコンピューティングが注目を浴びているか - 慶應義塾
http://www.yasuoka.mech.keio.ac.jp/gpu/gpu_0.php
• CUDA技術を利用したGPUコンピューティングの実際(前編) ―― グラフィックス分野で磨かれ
た並列処理技術を汎用数値計算に応用
http://www.kumikomi.net/archives/2008/06/12gpu1.php?page=1
• GPGPU
https://ja.wikipedia.org/wiki/GPGPU#.E7.89.B9.E5.BE.B4.E3.81.A8.E8.AA.B2.E9.A1.8C
• 自然言語処理論I
• http://www.jaist.ac.jp/~kshirai/lec/i223/02.pdf
• Chainerで始めるニューラルネットワーク
• http://qiita.com/icoxfog417/items/96ecaff323434c8d677b
• ぱくたそ
• https://www.pakutaso.com/
72