深層リカレントニューラルネットワークを用いた日本語述語項構造解析
- 3. 述語項構造とは?
3
「誰が 何を 誰に どうした」
• 花子は太郎を殴った。
• 太郎は花子に殴られた。
殴る
ガ 花子
ヲ 太郎
ニ None
述語項構造は表層の違いを正規化する
述語 出来事や状態を表す語や句
項 出来事や状態を表すのに必要な語や句
格 述語項間の意味的役割
- 6. 日本語述語項構造解析手法
6
Taira+ 08 SVM + Decision List
Maximum Entropy Model
Tournament Model
Markov Logic Network
点推定アプローチ
同時推定アプローチ
Graph-Based Joint Model + Hill Climbing
Imamura+ 09
Hayashibe+ 11
Yoshikawa+ 11
Sasano+ 11
Ouchi+ 15
Shibata+ 16 Ouchi + Neural Net
Iida+ 16 Convolutional Neural Net
Log-Linear Model + Case Frames
- 11. 問題設定
11
<単語> 彼女 は コロッケ を 食べた 。
<ラベル> GA NONE WO NONE PRED NONE
• 各単語にラベルを付与する多値分類問題
• ラベルは {GA, WO, NI, NONE, PRED} の5つ
- 12. モデルの概要
12
• RNN (GRU) を使用
• 単語素性がスパースになることを防ぐため
• 長距離の依存関係をとらえる必要があるため
文内ゼロ項の解析には,長距離の
依存関係を考慮する必要がある
長距離依存の例 モデルのイメージ
• 係り受け有
• 文内ゼロ
- 13. 使用する素性
13
<単語> 彼女 は コロッケ を 食べた 。
Arg Pred Pred Context Mark
1 彼女 食べた を 食べた 。 0
2 は 食べた を 食べた 。 0
3 コロッケ 食べた を 食べた 。 0
4 を 食べた を 食べた 。 1
5 食べた 食べた を 食べた 。 1
6 。 食べた を 食べた 。 1
• Pred Context: 述語とその周りの単語
• Mark: Pred Context に含まれているか否か
- 16. DRMにおける複数述語を含む文の解析
16
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
NONE PRED NONE GA NONE NONE NONE NONE NONE NONE NONE NONE
朝起きて、彼女はコロッケを食べ、学校に向かった。
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
NONE NONE NONE GA NONE WO NONE PRED NONE NONE NONE NONE
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
NONE NONE NONE GA NONE NONE NONE NONE NONE NI PRED NONE
※ 各述語に対して異なるターゲットのラベル列が決まる
- 17. DRMにおける複数述語を含む文の解析
17
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
𝒙 𝟐,𝟏 𝒙 𝟐,𝟐 𝒙 𝟐,𝟑 𝒙 𝟐,𝟒 𝒙 𝟐,𝟓 𝒙 𝟐,𝟔 𝒙 𝟐,𝟕 𝒙 𝟐,𝟖 𝒙 𝟐,𝟗
𝒙 𝟏,𝟏𝟎 𝒙 𝟏,𝟏𝟏 𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟐 𝒙 𝟏,𝟑 𝒙 𝟏,𝟒 𝒙 𝟏,𝟓 𝒙 𝟏,𝟔 𝒙 𝟏,𝟕 𝒙 𝟏,𝟖 𝒙 𝟏,𝟗
𝒙 𝟐,𝟏𝟎 𝒙 𝟐,𝟏𝟏 𝒙 𝟐,𝟏𝟐
𝒙 𝟑,𝟏 𝒙 𝟑,𝟐 𝒙 𝟑,𝟑 𝒙 𝟑,𝟒 𝒙 𝟑,𝟓 𝒙 𝟑,𝟔 𝒙 𝟑,𝟕 𝒙 𝟑,𝟖 𝒙 𝟑,𝟗 𝒙 𝟑,𝟏𝟎 𝒙 𝟑,𝟏𝟏 𝒙 𝟑,𝟏𝟐
𝒙 𝟏,𝟑𝒙 𝟏,𝟏 𝒙 𝟏,𝟐
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label
𝒙 𝟐,𝟑𝒙 𝟐,𝟏 𝒙 𝟐,𝟐
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label
𝒙 𝟑,𝟑𝒙 𝟑,𝟏 𝒙 𝟑,𝟐
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
素性ベクトル作成
各系列ごとに計算
- 21. DRMとDRGMの違い
21
DRM
𝒙 𝟐,𝟏 𝒙 𝟐,𝟕
𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟕
𝒙 𝟐,𝟏𝟐
𝒙 𝟑,𝟏 𝒙 𝟑,𝟕 𝒙 𝟑,𝟏𝟐
𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟕
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label
・・・ ・・・
・・・ ・・・
𝒙 𝟐,𝟏𝟐𝒙 𝟐,𝟏 𝒙 𝟐,𝟕
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label
・・・ ・・・
・・・ ・・・
𝒙 𝟑,𝟏𝟐𝒙 𝟑,𝟏 𝒙 𝟑,𝟕
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label
・・・ ・・・
・・・ ・・・
𝑫𝒆𝒆𝒑 𝑹𝑵𝑵
Label Label Label・・・ ・・・
Label Label Label・・・ ・・・
Label Label Label・・・ ・・・
DRGM
・・・ ・・・
・・・ ・・・
・・・ ・・・
- 22. 使用する素性
22
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
𝒙 𝟐,𝟏 𝒙 𝟐,𝟐 𝒙 𝟐,𝟑 𝒙 𝟐,𝟒 𝒙 𝟐,𝟓 𝒙 𝟐,𝟔 𝒙 𝟐,𝟕 𝒙 𝟐,𝟖 𝒙 𝟐,𝟗
1 2 3 4 5 6 7 8 9 10 11 12
1
2
p t
朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
3 朝 起きて 、 彼女 は コロッケ を 食べ 、 学校に 向かった 。
𝒙 𝟏,𝟏𝟎 𝒙 𝟏,𝟏𝟏 𝒙 𝟏,𝟏𝟐𝒙 𝟏,𝟏 𝒙 𝟏,𝟐 𝒙 𝟏,𝟑 𝒙 𝟏,𝟒 𝒙 𝟏,𝟓 𝒙 𝟏,𝟔 𝒙 𝟏,𝟕 𝒙 𝟏,𝟖 𝒙 𝟏,𝟗
𝒙 𝟐,𝟏𝟎 𝒙 𝟐,𝟏𝟏 𝒙 𝟐,𝟏𝟐
𝒙 𝟑,𝟏 𝒙 𝟑,𝟐 𝒙 𝟑,𝟑 𝒙 𝟑,𝟒 𝒙 𝟑,𝟓 𝒙 𝟑,𝟔 𝒙 𝟑,𝟕 𝒙 𝟑,𝟖 𝒙 𝟑,𝟗 𝒙 𝟑,𝟏𝟎 𝒙 𝟑,𝟏𝟏 𝒙 𝟑,𝟏𝟐
朝起きて、彼女はコロッケを食べ、学校に向かった。
- 25. 各グリッド層
25
ℎ1,2
(𝑙)
ℎ1,1
(𝑙)
ℎ2,1
(𝑙)
ℎ3,1
(𝑙)
ℎ1,3
(𝑙)
ℎ1,4
(𝑙)
ℎ1,5
(𝑙)
ℎ2,2
(𝑙)
ℎ2,3
(𝑙)
ℎ2,4
(𝑙)
ℎ2,5
(𝑙)
ℎ3,2
(𝑙)
ℎ3,3
(𝑙)
ℎ3,4
(𝑙)
ℎ3,5
(𝑙)
• 系列にまたがる接続
- 27. 実験設定
27
データセット
NAIST Text Corpus Ver. 1.5
訓練 25,000
開発 5,000
評価 9,000
実装
ライブラリ: Theano
ハイパーパラメータ
単語/隠れ層の次元: 32次元, ランダム初期化
最適化手法: Adam
L2正則化: [0.0001, 0.0005, 0.001]
- 28. 実験結果: F値
28
中間層数 開発 評価
深層リカレント
モデル
(DRM)
2 80.14 80.58
4 80.66 80.91
6 80.52 80.37
8 80.74 80.70
深層リカレント
グリッドモデル
(DRGM)
2 80.43 80.63
4 80.78 80.93
6 81.14 81.22
8 80.90 81.06
• DRM < DRGM
• 複数の述語を考慮することによる効果
- 30. 実験結果: 格ごとのF値
30
係り受け有 文内ゼロ
ガ ヲ ニ ガ ヲ ニ
DRM 88.74 92.90 64.84 51.24 35.13 8.90
DRGM 88.66 93.95 66.50 51.57 38.06 9.44
Imamura+ 09 86.50 92.84 30.97 45.56 21.38 0.83
Matsubayashi+ 14 87.8 94.0 63.7 49.0 27.7 25.7
Ouchi+ 15 88.13 92.74 38.39 48.11 24.43 4.80
• 係り受け有
• 文内ゼロ