Semantic Compositionality through Recursive Matrix-Vector Spaces (Socher et al.)2. Komachi Lab
Agenda
✤ MV-RNN Model!
✤ Back Propagation!
✤ Low-Rank Matrix Approximations!
✤ Experiments!
- Adverb-Adjective Pairs!
- Propositional Logic!
- Movie Review Ratings!
- Relation Classifications!
✤ Conclusion
2
4. Recursive Matrix-Vector Neural Network
✤ RNN (Recursive Neural Network)!
- 単語をベクトルで表現し, binary treeを構成するモデル!
✤ MV-RNN (Recursive Matrix-Vector Neural Network)!
- 単語をベクトルと行列で表現したRNN!
- word = (a, A) : aはn次元ベクトル, Aはn×n次元行列
Komachi Lab
4
5. Komachi Lab
Composition functions
✤ 単語の合成もRNNと違う
5
RNNの合成関数:
MV-RNNの合成関数:
※) a, b, p ∈ Rn!
A, B, P ∈ Rn×n!
gは非線形関数(sigmoid, tanh)! W, WM ∈ Rn×2n
g内にバイアス項も入れられるけど今回は簡単のために入れない
6. Komachi Lab
Motivation
❖ ベクトルだけでは対称のテキストが!
- 単純な意味の合成ならうまく表現できるけど!
- オペレータとしての操作の場合はうまく表現できなかっ
た!
- 副詞-形容詞ペア(e.g. unbelievably sad)とか
”not”と合成するときとか!
✤ ベクトルが意味を捉え, 行列が意味の変え方を捉える
6
10. Low-Rank Matrix Approximations
✤ Back Propagationで学習するパラメータが多い
Komachi Lab
10
問題がある
W, WM: n×2n次元!
Wlabel : d*n次元(dはラベル数)L : n次元×単語数!
LM : n×n次元×単語数
一般的にn = 100くらい
➡ 行列の圧縮(低Rankの行列で近似)
13. Low-Rank Matrix Approximations
✤ でも実際にやってるのは
Komachi Lab
13
U∈Rn×r, V∈Rr×n, a∈Rn
diag(a): 対角成分がaの対角行列
✤ これをすべての単語がもつ行列から置き換える!
✤ 今回はr = 3!
✤ 単語が持つ行列のパラメータ総数が
”|V|×n×n” から ”|V|×n×(2r+1)” に減った
15. Komachi Lab
Experiments
✤ 複数のタスクにMV-RNNモデルを適応・実験!
- 副詞・形容詞ペアの感情分類!
- 命題論理の表現!
- Movie Reviewデータでの感情分類!
- 名詞間の関係分類
15
17. Komachi Lab
Adverb-Adjective Pairs
✤ 全文ではなく副詞・形容詞ペアを合成した場合のみ!
✤ IMDB (Movie Review) データセットから
連続するペアを抽出!
rating distribution
softmax
✤ ペアが出現したレビューの評価値(1~10)の分布を教師とする!
✤ 50回以上出現した4211ペアをtrain, 1804ペアをtestに!
- 単語のかぶりはあるが, ペアでのかぶりはない
17
Adverb Adjective
20. 1つ前のスライドで口頭で説明した内容
✤ 行は副詞が同じ(上からfairly, not, unbelievably)!
✤ 列は形容詞が同じ(左からannoying, awesome, sad)!
✤ notの行とかfairly awesomeで合成の表現に差がでてる!
✤ unbelievably sadはいい意味でも悪い意味でも使われる
からU字になってる!
✤ (なんで正解分布は重ねなかったんだろう。。)
Komachi Lab
X
22. Komachi Lab
Propositional Logic
✤ andとかor, notのような命題論理を表現できるか!
✤ 論理式も再帰的な木構造で表現できるので
同様にモデル化できる!
✤ 2値論理なので、ベクトルも行列も1次元!
- trueは(t=1, T=1), falseは(f=0, F=1)を正解とする
21
29. Classification of Semantic Relationship
✤ COLING読み会で紹介した
名詞間の関係を分類するタスク!
✤ 例えば!
- My [apartment] has a pretty large [kitchen].は!
- component-wholeの関係!
!
Komachi Lab
28
30. Classification of Semantic Relationship
❖ SVMでめちゃくちゃ素性エン
ジニアリングしたのには勝てな
かった!
❖ ので、3つの素性をベクトルに
入れた!
- POS (+0.9)!
- WN (+1.3)!
- NER(+0.6)
Komachi Lab
29
31. Komachi Lab
Conclusions
✤ 完全な単語ベクトルの合成の扱いに向けて新しいモデル
を導入した!
✤ 単語が他の単語の意味を変型させるモデル化をできた!
✤ 特に否定や副詞・形容詞などの接続に対しての表現が
これまで以上にできた!
✤ 様々なタスクにおいてモデルを一般化することができた!
✤ 様々なタスクでstate of the artを超えた
30