http://aclanthology.coli.uni-saarland.de/pdf/P/P17/P17-1005.pdf

1. Learning Structured Natural Language
Representations for Semantic Parsing
Jianpeng Cheng, Siva Reddy, Vijay Saraswat, Mirella Lapata
ACL 2017
近藤崇宏（総研大/NII宮尾研）
SNLP勉強会 2017/9/16

2. 自己紹介
- 近藤崇宏
- 総合研究大学院 5年一貫制1年
- NII 宮尾研究室
- Semantic Parsing
- Discourse Parsing
- Machine Reading Comprehension

3. outline
- Semantic Parsingとは
- 論文の手法の概要
- モデルと学習
- データセット
- 結果
- まとめ
（※本資料の図は論文より引用）

4. Semantic Parsingとは
“Symphonic Poems by Jean Sibelius”
λx.Symphonic(x) ∧ Poems(x) ∧ by(JeanSibelius, x)
λx.composition.form(x, Symphonicpoems) ∧
composer(JeanSibelius, x)
λ計算に変換
Knowlegde Baseの表現に寄せる

5. 論文の概要
“which states do not border texas”
answer(exclude(states(all), border(texas)))
answer(exclude(state(all), next_to(texas)))
STEP1: FunQL(ungrounded)へのTransition
STEP2: predicatesの置換
sentence->logical formのペア＆QAデータを利用して学習＆評価

6. モデルSTEP1: FunQL(ungrounded)へのTransition

7. Transition Action
- NT
- Non Terminal
- 発話中のNon Terminalまたはdomain-general predicates(次ページ参考)
を生成
- TER
- Terminal
- 発話中のTerminalまたは特別なpredicateであるallを生成
- RED

8. domain-general predicates

9. モデルSTEP2: predicatesの置換
state
next_to

10. 定式化：変数定義
state
next_to

11. STEP1の定式化

12. et: the concatenation of the buffer representation bt and the stack representation st
st: the top state of the stack-LSTM (Dyer et al.,2015)
bt: encode the input buffer with a bidirectional LSTM conditioned on st
STEP1の定式化

13. the conditional probabilityof gt given ut with a bi-linear neural network
ut: the contextual representation of the ungrounded term given by the bidirectional
LSTM
gt: the grounded term embedding
STEP2の定式化

14. Training: maximize the log likelihood

15. データセット１
GEOQUERY (Zelle and Mooney, 1996)
SentenceとFunQLのペアで直接学習

16. データセット２
FreeBase QA系データ
- SPADES (Bisk et al., 2016)
- WEBQUESTIONS (Berant et al., 2013)
- GRAPHQUESTIONS (Su et al., 2016)
Entity Linkingを利用してFreeBaseの構造をFunQL形式に変換したものを教師デー
タとして学習する。

17. データセット２
教師データ作成の例
question: where was the brickyard 400 held?
answer: Indianapolis Motor Speedway
FreeBase entity candidate in the question
- the brickyard
- 400
- brickyard 400

18. データセット２
base.nascar.nascar_race.venue
brickyard 400
Indianapolis Motor Speedway
answer(venue(brickyard_400))
→教師データとして学習

19. Reranker
FreeBase系のデータではモデルのSTEP2の性能が悪い。
そのため、モデルで得られたFunQLの候補を全く別のモデルでRerankingする。
（STEP1までの結果はそのまま利用？）
feature functionを定義してスコア付け

21. まとめ
- Transition & NNで構造化された意味表現を学習・生成
- NNでfeature engineeringなどを回避しつつ、正しい構造を出力
- Encoder-Decoderなどより意味の構成が解釈しやすい
- FreeBase系のデータはgroundedにするのが困難
- Rerankerを導入（せざるを得なかった？）