ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS
Ordered Neurons Integrating Tree Structures into Recurrent Neural Network pdf (openreview.net) 1
まとめ 1. LSTMの精度を向上させるための新しいモデルの紹介 2. 新しい活性化関数cumaxとON-LSTMの提案 3. 言語モデル，教師なし構文解析などのタスクで優れた結果既存研究との違い • LSTMの忘却ゲートと入力ゲートに新しい項を追加 • 特徴量を階層的に獲得 • 構文木における根から葉までの情報を動的に割り当て提案のウリ（利点・貢献)・問題点 1. cumax関数を用いたLSTMで構文木情報を考慮 2. 構文解析で高い精度 3. 文長に対して高いロバスト性 1. 入力部，出力部に近い層としてはあまり有効では無い評価の仮説と評価方法・結果 1. 構文木情報は自然言語タスクで有用忘却ゲートと入力ゲートに構文木情報を追加して実験 2. 構文の情報を確保したい構文解析系のタスクで評価先行研究と同じハイパーパラメータで評価高い精度を報告評価方法・結果についての議論と課題 1. WSJやWSJ10を利用 2. 専門家のアノテーションと比較しても高い一貫性 1. 入力部や出力部に近いとローカルな情報を獲得しすぎる 2. 句構造等を利用するタスクの最初の処理として有用 3. softmaxの改善として見ることが可能読むべき関連研究 1. Linzen et al(2016) 2. Rippel et al(2014) 3. Marvin & Linzen(2018) ORDERED NEURONS INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORK Yikang Shen,Shawn Tan, Alessandro Sordoni, Aaron Courville ICLR 2019 (Best Paper) 2
Introduction 3  自然言語は階層的構造を持っている人手でアノテーションされた構文木例  木構造をニューラルネットワークの言語モデルに加えることは重要  高い抽象度で階層表現の獲得  離れた位置の依存関係の獲得  大量の学習データの必要性を減少構文情報文  構文解析などのタスクで高い精度 ON-LSTM
モチベーション 4  木構造を学習する際に各ノードの特徴を学習したい  親ノードは複数のトークンの特徴にまたがってほしい  子ノードの特徴は更新したい
モチベーション 5  木構造を学習する際に各ノードの特徴を学習したい親ノードは変化しない S → S 子ノードは変化する NP → VP N → V  親ノードは複数のトークンの特徴にまたがってほしい  子ノードの特徴は更新したい
標準LSTM 6 σ σ σ tanh × × + × tanh 𝑐𝑡 𝑓𝑡 𝑖𝑡 𝑐𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑜𝑡 ℎ𝑡 ℎ𝑡 ℎ𝑡 𝑐𝑡 0~1を出力 σ tanh -1~1を出力
標準LSTM 7 σ σ σ tanh × × + × tanh 忘却ゲート入力ゲート 𝑐𝑡 𝑓𝑡 𝑖𝑡 0~1を出力 σ tanh -1~1を出力 𝑐𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑜𝑡 ℎ𝑡 ℎ𝑡 ℎ𝑡 𝑐𝑡
ON-LSTM 8 σ σ σ tanh × × + × tanh cumax cumax × 1- - - + × × + Order Neurons Gate 𝑖𝑡 𝑐𝑡 𝑓𝑡 𝑐𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑜𝑡 ℎ𝑡 ℎ𝑡 ℎ𝑡 𝑐𝑡
ON-LSTM 9 σ σ σ tanh × × + × tanh cumax cumax × 1- - - + × × + 𝑖𝑡 𝑐𝑡 𝑓𝑡 𝑓𝑡 𝑖𝑡 ω𝑡 𝑓𝑡 𝑖𝑡 𝑐𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑜𝑡 ℎ𝑡 ℎ𝑡 𝑐𝑡
ON-LSTM 10 σ σ σ tanh × × + × tanh cumax cumax × 1- - - + × × + 忘却ゲート入力ゲート 𝑖𝑡 𝑐𝑡 𝑓𝑡 𝑓𝑡 𝑖𝑡 ω𝑡 𝑓𝑡 𝑖𝑡 𝑐𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑜𝑡 ℎ𝑡 ℎ𝑡 𝑐𝑡
11 cumax 累積Softmax関数 cumax 𝑔𝑘 = 𝑒𝑥𝑖 𝑗=1 𝑁 𝑒𝑥𝑗 𝑔𝑘 = 𝑘′≦ 𝑘 𝑔𝑘 ex) N =10 Softmax  仕切りの役割を持たせることができる活性化関数cumax (cumulative softmax) 𝑥𝑖 Softmax 各トークンの出力 cumax 仕切り  高い値が出力された後は連続して高い値を出力 𝑥𝑖 仕切り
ON-LSTM 忘却ゲート 13 σ × cumax × - × + 𝑓𝑡 𝑓𝑡 ω𝑡 𝑓𝑡 cumax 1- 𝑖𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑓𝑡 𝑖𝑡 ω𝑡 重複部分を導出必ずしも反転しない
ON-LSTM 忘却ゲート 14 σ × cumax × - × + 𝑓𝑡 𝑓𝑡 ω𝑡 𝑓𝑡 cumax 1- 𝑖𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 𝑓𝑡 ω𝑡 重複部分を削除 ω𝑡 忘れるべき情報とω𝑡の重複部分を導出 𝑓𝑡
ON-LSTM 忘却ゲート 15 σ × cumax × - × + 𝑓𝑡 𝑓𝑡 ω𝑡 𝑓𝑡 cumax 1- 𝑖𝑡 𝑐𝑡−1 ℎ𝑡−1 𝑥𝑡 これらの和が𝑓𝑡になる 𝑓𝑡 𝑓𝑡 比較 𝑓𝑡 構文木情報を考慮
ON-LSTM 入力ゲート 16 σ tanh × + cumax 1- - + × 𝑖𝑡 𝑐𝑡 𝑖𝑡 ω𝑡 𝑖𝑡 𝑐𝑡 × cumax 𝑓𝑡 𝑓𝑡 𝑖𝑡 ω𝑡 重複部分を導出必ずしも反転しない
ON-LSTM 入力ゲート 17 σ tanh × + cumax 1- - + × 𝑖𝑡 𝑐𝑡 𝑖𝑡 ω𝑡 𝑖𝑡 𝑐𝑡 × cumax 𝑓𝑡 𝑖𝑡 ω𝑡 重複部分を削除 ω𝑡 残すべき情報とω𝑡の重複部分を導出 𝑖𝑡
ON-LSTM 入力ゲート 18 σ tanh × + cumax 1- - + × 𝑖𝑡 𝑐𝑡 𝑖𝑡 ω𝑡 𝑖𝑡 𝑐𝑡 × cumax 𝑓𝑡 これらの和が𝑖𝑡になる 𝑖𝑡 𝑖𝑡 比較 𝑖𝑡 構文木情報を考慮
実験 言語モデリング Penn TreeBankで評価ハイパーパラメータはMerityらのモデル(2017)に合わせたものを使用スキップコネクションやパラメータ数を増やすことなく高い精度隠れ層数1150 隠れ層サイズ 400 ON-LSTM 3層総パラメータ 2500万次の単語を予測するタスク 20
実験 教師無し構文解析専門家のアノテーションと比較 WSJ10とWSJで評価 WSJ10 10単語以下 7422文 WSJ 文長制限なし 2416文 21 1層目と3層目は入力と出力に直接関与  ローカルな情報を獲得しすぎている？文長の違うWSJで高い精度  文の長さに対するロバスト性
実験 教師無し構文解析専門家のアノテーションと比較 WSJ10とWSJで評価 WSJ10 10単語以下 7422文 WSJ 文長制限なし 2416文 21 ADJP(形容詞句)，NP(名詞句)，PP(前置詞句)などで高い精度  句構造を使いたいタスクで有用
実験 23 教師無し構文解析専門家のアノテーションと比較学習済みの言語モデルを用いて構文解析木を推定各時刻tで 𝑑𝑡= 𝐷𝑚 − 𝑘=1 𝐷𝑚 𝑓𝑡𝑘 を算出 𝐷𝑚: 隠れ層の次元数 ① ② 𝑑𝑡についてソート，値が大きなt,t+1 の組から順に分割して木を構築 ‘I enjoy reading books’の𝑑𝑡を考える I enjoy reading books 𝑑1 𝑑2 𝑑3 𝑑4 I enjoy reading books .
実験 24 教師無し構文解析専門家のアノテーションと比較学習済みの言語モデルを用いて構文解析木を推定各時刻tで 𝑑𝑡= 𝐷𝑚 − 𝑘=1 𝐷𝑚 𝑓𝑡𝑘 を算出 𝐷𝑚: 隠れ層の次元数 ① ② 𝑑𝑡についてソート，値が大きなt,t+1 の組から順に分割して木を構築 ‘I enjoy reading books’の𝑑𝑡を考える 𝑑1 𝑑2 𝑑3 𝑑4 I enjoy reading books I enjoy reading books . .
実験 28 ターゲットを絞った構文解析 Marvin＆Linzen（2018）が提案したタスク
実験 29 論理的推論 Test Accuracy Length of Sequence TreeLSTMは入力にGround Truthがあるため強い論理関係を抽出するタスク  文長が3以上で優れた結果
Conclusion 新しい活性化関数cumaxと新しい特徴抽出器ON-LSTMを提案 構文木の特徴を獲得 構文解析系のタスクで高い精度 句構造を利用するタスクで使える 30

Check these out next

ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

Recommandé

Contenu connexe

Présentations pour vous(11)

Similaire à ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS(20)

Dernier(20)

ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS