「深層学習による自然言語処理」読書会　記憶ネットワークの話

1. 「深層学習による自然言語処理」
読書会 vol4 @ レトリバ
2017/08/23 (Wed)

2. 記憶ネットワークとは？？
FaceBookの研究グループにより提唱されたモデル (2015年
ざっくりと言うと以下の 3つを実現するモデリングを行う
・記憶を行うこと
・記憶を呼び出すこと
・記憶を使って外からの問い合わせに答えること
RNN(LSTMなど)
内部状態を使うことで文の状態を記憶
→固定長のベクトル（隠れベクトルとか？）に限定されている
→もっと直接的に記憶の仕組みをモデル化したいっ！！
記憶ネットワーク

3. 記憶ネットワーク (Memory Network)[Weston+,15]
・I (入力情報変換):入力された情報を内部表現に変換する
・G (一般化):新しい知識源を利用して内部記憶情報を更新
・O (出力情報変換):内部記憶情報を利用して外部質問に対する返
答のための内部表現を生成
・R (応答):出力情報を適切な返答へと変換
入力情報
変換
一般化
出力情報
変換
応答
入力 返答
入力情報
変換
知識情報
符号化復号化モデル：入力と出力
記憶ネットワーク：入力と出力と 知識情報
注意）記憶ネットワークは一般的なモデル化。
各モジュールはルールベースとかを組み合わせても実装が可能（らしい）
N個の記憶情報

4. 教師あり記憶ネットワーク(概要)
根拠情報(supporting fact)：返答を生成するためにどの記憶情報を用いる必要があるかという情報
I: D次元ベクトルへ変換
G: 記憶情報を追加
O: スコア関数、上位を探す
R:スコア関数最大となる単語を探す

5. question x ="Where is the milk now?"
mo1 = "Joe left the milk"
mo2 = "Joe travelled to the office"
r = "office

6. 教師あり記憶ネットワーク(学習)
スコア関数
U:N×D行列, Φ：入力情報をD次元特徴ベクトルに変換する関数
（RNNとか、埋め込みベクトルの和とか）
N:埋め込み次元数、D:特徴量の次元数(=3|W|)
目的関数最小化(各*付きが訓練データ、とりわけ o*は根拠情報)

7. (余談
bAbIというタスクの提案
20種類に分けられた簡単なタスク（人間なら
外部知識なしに解けるタスク）
このタスクは古典的な手法を基にしたモデル
ではほぼ100%で解けるらしい
NNの苦手分野→エンティティの関係が複数に
なると弱い(ex:上下左右）

8. end-to-end 記憶ネットワーク[Sukhbaatar+, 15]
中間的な課題の解（根拠情報がない時） →ソフト注意機構の活用
質問嘔吐のやつを例に
入力情報変換
入力文:xi
埋め込み行列: A(D×V行列）
質問文:qj
埋め込み行列: B(D×V行列）
uを用いて記憶情報を参照
{m1,...,mN} {p1,...,pN}
N個の記憶情報 uにとっての重要度

9. end-to-end 記憶ネットワーク
出力情報変換
入力文:xi
埋め込み行列: C(D×V行列）
出力情報:o 重み付き平均
→Soft Attetintion
返答
入力情報x、質問文q、正しい返答aが与えられた時aとa^
の交差エントロピーを損失関数として最適化

11. end-to-end 記憶ネットワーク（もっと詳しく）
詳細：出た本著者の一人の海野さんの原論文についてのスライドがわかりやすい
https://www.slideshare.net/unnonouno/nip2015endtoend-memory-networks

12. 動的記憶ネットワーク[Kumar+, 16]
入力：外部からの情報を内部表現に変換(by GRU)
意味記憶：一般的な知識や常識の格納(by 分散表現)
質問：質問を内部表現に変換(by GRU)
エピソード記憶：入力された知識を記憶、質問に応じ情報を引き出
す →推論が必要な質問にも
答えられる
回答：エピソード記憶が導き出した回答の内部表現から返答のた
めの表現を生成
質問
回答
エピソード
記憶
入力
意味記憶
ちょっとよくわからなかったです・・・

13. 参考文献
Memory Networks [15, Weston+] https://arxiv.org/pdf/1410.3916.pdf
著者による上の解説スライド http://www.thespermwhale.com/jaseweston/icml2016/icml2016-memnn-tutorial.pdf
end-to-end memory network[15, Sukhbaatar+]https://papers.nips.cc/paper/5846-end-to-end-memory-networks.pdf
dynamic-memory-network[16, Kumar+]]http://proceedings.mlr.press/v48/kumar16.pdf
自然言語処理による DeepLearning（slide) http://www.ieice.org/~prmu/jpn/ieice/ieice2017-1.pdf
深層ニューラルネットワークによる知識の自動獲得・推論 https://www.slideshare.net/naoakiokazaki/ss-63594106
NIP2015読み会「End-To-End Memory Networks」https://www.slideshare.net/unnonouno/nip2015endtoend-memory-networks