NLP2015

1. 言語処理のための仮説推論エンジン
Phillip
Kazeto Yamamoto, Naoya Inoue, Kentaro Inui
Tohoku Univ.
NLP2015
1

2. 仮説推論って？
2

3.  観測に対する最良の説明を導く推論
 入力：背景知識 B, 観測 O :
– B : 一階述語論理の公理の集合
– O : 一階述語論理のリテラルの論理積集合
 出力： 解仮説 (説明) H* :
評価関数 E に対して最も評価が高くなる仮説
H* = arg max E(H)
H ∈ H
仮説推論
（Abduction）
3

4. 仮説推論
（Abduction）
4
scientist(A)
chimp(B)
banana(C)
give(E1)
nsubj(E1,A)
...
観測 O 背景知識 B
scientist(x) ⇒ human(x)
chimp(x) ⇒ animal(x)
kill(e1) ∧ dobj(e1,x) ⇒ die(e2) ∧ nsubj(e2,x)
give(e1) ∧ dobj(e1,x) ∧ iobj(e1,y) ∧ food(y)
⇒ eat(e2) ∧ nsubj(e2,y) ∧ dobj(e2,x)
...
解仮説 H*
入力
評価関数 E
H* = arg max E(H)
H ∈ H

5. (∃e1,e2,x1,x2,y1,y2)
John(x1) ∧ go(e1, x1, x2) ∧ bank(x2) ∧ he(y1) ∧ get(e2, y1, y2) ∧ loan(y2)
loan(y2) ⇒ (∃e2, y1, y3) issue(e2, y3, y2, y1) ∧ financial_inst(y3)
Interpretation as Abduction
issue(e2, y3, y2, y1)
⇒ get(e2, y1, y2)
financial_inst(x2)
⇒ bank(x2)
issue(e2, x2, x3, x1)
⇒ go(e2, x1, x2)
John went to the bank. He got a loan.
観測
入力
[Hobbs+, ‘93]
背景知識（公理）

6. (∃e1,e2,x1,x2,y1,y2)
John(x1) ∧ go(e1, x1, x2) ∧ bank(x2) ∧ he(y1) ∧ get(e2, y1, y2) ∧ loan(y2)
loan(x3)
Interpretation as Abduction
issue(e2, y3, y2, y1)
financial_inst(x2)
issue(e1, x2, x3, x1)
John went to the bank. He got a loan.
観測
入力
[Hobbs+, ‘93]
仮説（説明）
e1=e2, x2=y3,
x3=y2, x1=y1
x3=y2

7. (∃e1,e2,x1,x2,y1,y2)
John(x1) ∧ go(e1, x1, x2) ∧ bank(x2) ∧ he(y1) ∧ get(e2, y1, y2) ∧ loan(y2)
loan(x3)
Interpretation as Abduction
issue(e2, y3, y2, y1)
financial_inst(x2)
issue(e1, x2, x3, x1)
John went to the bank. He got a loan.
観測
入力
[Hobbs+, ‘93]
仮説（説明）
e1=e2, x2=y3,
x3=y2, x1=y1
x3=y2
bank = 銀行
he = John
John が
bank へ行ったのは
loan を得るため

8. ☺ 我々が期待する仮説推論の有用性
– 人間が解釈可能な説明を生成する
– 世界知識を利用するための統一的な方法を提供する
– NLPの様々なサブタスクを一つのモデルに集約できる
 機械学習と組み合わせたい
– 論理推論の強みと統計的学習の強みを自然な形で融合
 仮説推論のタスク適用に関する過去の取り組み
– 意図推定 [Ng+, ’92]，含意関係認識 [Ovchinnikova+, ’11]，
談話関係認識 [Sugiura+, ’12]，共参照解析 [Inoue+, ‘12]
8
仮説推論
（Abduction）

9. ☺ 我々が期待する仮説推論の有用性
– 人間が解釈可能な説明を生成する
– 世界知識を利用するための統一的な方法を提供する
– NLPの様々なサブタスクを一つのモデルに集約できる
 機械学習と組み合わせたい
– 論理推論の強みと統計的学習の強みを自然な形で融合
 仮説推論のタスク適用に関する過去の取り組み
– 意図推定 [Ng+, ’92]，含意関係認識 [Ovchinnikova+, ’11]，
談話関係認識 [Sugiura+, ’12]，共参照解析 [Inoue+, ‘12]
9
仮説推論
（Abduction）
☹ 実問題上での解析精度において，
我々の期待を裏付けるような結果は
未だ得られていないのが現状

10. 仮説推論を取り巻く問題
10
Search
Learning
Knowledge
仮説の候補を
どう探索するか
背景知識を
どう獲得するか
評価関数の
モデルパラメータを
どう調整/学習するか

11. 仮説推論を取り巻く問題
11
Search
Learning
Knowledge
仮説の候補を
どう探索するか
背景知識を
どう獲得するか
評価関数の
モデルパラメータを
どう調整/学習するか
それなりの時間で解が導けないと
学習どころの話じゃない
仮説推論の計算量は
知識の規模に強く依存する
学習するためにはまず
正解を導くのに十分な量の知識が
既にあることが前提になる
最も重要！

12. 実タスクにおける速度問題
12
B: 300,000+ axioms
O: 20 literals≧ 30 min.
7 min.
0.4 sec.
Mini-TACITUS
[Mulkar-Mehta+, ‘07]
MLNs-based
[Blythe+, ‘11]
ILP-based & CPI
[Inoue+, ‘12]
state-of-the-art
B: 1,000,000+ axioms
O: 30 literals

13. Who’s Phillip?
13

14. 一階述語論理の仮説推論エンジンです
14
scientist(A) chimp(B) banana(C) give(E1)
hungry(E2)
nsubj(E1,A) dobj(E1,C) iobj(E1,B)
nsubj(E2,x)he(x)
A scientist gave a chimp a banana.
Because he was hungry.
eat(u1) nsubj(u1,x)
^
^
give(u2) dobj(u2,u3) iobj(u2,x)food(u3)
banana(u3)
C=u3
E1=u2
E1=u2
C=u3
E1=u2
B=x

15. 世界で一番速いです
15
B: 300,000+ axioms
O: 20 literals≧ 30 min.
7 min.
0.4 sec.
Mini-TACITUS
[Mulkar-Mehta+, ‘07]
MLNs-based
[Blythe+, ‘11]
ILP-based & CPI
[Inoue+, ‘12]

16. 世界で一番速いです
16
B: 1,000,000+ axioms
O: 30 literals≧ 30 min.
0.7 sec.
Phillip
[Yamamoto+, ‘14]
ILP-based & CPI
[Inoue+, ‘12]

17. 柔軟にカスタマイズできます
17
観測背景知識
解仮説
入力
潜在仮説集合 ILP 問題
Generator
Solver
Converter

18. 誰でもGitHubから利用可能です
18
github.com/kazeto/phillip

19. 実問題にも適用し始めてます
19

20. 高速な推論を実現するために
20

21. ILP based Abduction
[Inoue+, ‘11]
観測 背景知識
整数線形計画問題
ILPソルバー
解仮説
21
潜在仮説集合
(= 仮説候補に含まれうるリテラルの集合)
ILP-based abduction
john(x) ^
go(e) ^
nsubj(e,x)
...
go(e) => buy(...
buy(e) => sell(...
...
max. ax1 + bx2 + ...
s.t.
x1 + x2 >= 3
...

22. 基本的なアイデア
 解仮説に含まれる可能性の低い推論を
潜在仮説集合を生成する段階で除外する
 解の候補の数が減ることによって
推論全体の計算量が軽減される
22
観測
背景知識

解仮説ILPソルバー
潜在仮説集合
入力
削る
削る

23. 基本的なアイデア
 解仮説に含まれる可能性の低い推論を
潜在仮説集合を生成する段階で除外する
 解の候補の数が減ることによって
推論全体の計算量が軽減される
23
観測
背景知識
解仮説ILPソルバー
潜在仮説集合
入力

削る
削る

24. A*探索に基づく潜在仮説集合生成
[Yamamoto+, 14]
24
john(j) go_to(e1,j,s) store(s) buy(e2,j,b) book(b)
buy(e4,j,u1) book(u1) buy(e5,j,u2) food(u2) wood(b)
paper(b)
wood(u1)
paper(u1) apple(u2)
orange(u2)
banana(u2)
tomato(u2)
potato(u2)
carrot(u2)
peach(u2)
dictionary(u1)
comic(u1)burnable(u1) fruit(u2) vegetable(u2)
cedar(u1)
hinoki(u1)
cedar(u1)
hinoki(u1)
rabbit(u3) eat(e6,u3,u2)
pine(u1)
it_company(u2)
...
book_store(s) sell(e3,u1,b)
dictionary(b)
comic(b)
burnable(b)
grocery(s)
president(j)
musician(j)
man(j)
John went to the store and bought a book.観測
...
...
...

25. 25
john(j) go_to(e1,j,s) store(s) buy(e2,j,b) book(b)
buy(e4,j,u1) book(u1) buy(e5,j,u2) food(u2) wood(b)
paper(b)
wood(u1)
paper(u1) apple(u2)
orange(u2)
banana(u2)
tomato(u2)
potato(u2)
carrot(u2)
peach(u2)
dictionary(u1)
comic(u1)burnable(u1) fruit(u2) vegetable(u2)
cedar(u1)
hinoki(u1)
cedar(u1)
hinoki(u1)
rabbit(u3) eat(e6,u3,u2)
pine(u1)
it_company(u2)
...
book_store(s) sell(e3,u1,b)
dictionary(b)
comic(b)
burnable(b)
grocery(s)
president(j)
musician(j)
man(j)
John went to the store and bought a book.
A*探索に基づく潜在仮説集合生成
[Yamamoto+, 14]
観測
解仮説に含まれる可能性がある
推論だけを効率的に探索

26. 無矛盾性のチェック
相互排他
26
shoot(e)^nsubj(e,x)^dobj(e,y)
=> criminal(x)
shoot(e1) nsubj(e1,Tom) dobj(e1,u1)
have(e2) gun(u2) nsubj(e2,Tom) dobj(u2)
police(Tom)
criminal(Tom)
have(e1)^gun(y)^nsubj(e1,x)^dobj(e1,y)
=> shoot(e2)^nsubj(e2,x)^dobj(e2,z)
police(x) =>
have(e1)^gun(y)^nsubj(e1,x)^dobj(e1,y)
police(x) ⊥ criminal(x)
背景知識

27.  イベントやオブジェクトを変数で表す
 イベントやオブジェクト間の関係はそれぞれ
一つのリテラルで表現される
☺可変個の依存関係を記述できる
Neo-Davidsonian
27
“John loves Mary.”
john(x1)
mary(x2)
love(e)
nsubj(e, x1)
dobj(e, x2)

28. 探索空間の爆発
28
die(e1) nsubj(e1,x) ... nsubj(e2,y) ... nsubj(e3,z) ...
kill(e1) ^ nsubj(e1,x) ^ dobj(e1,y)
=> die(e2) ^ nsubj(e2,y)
背景知識
kill(u1)
nsubj(u1,u2)
dobj(u1,x)
kill(u3)
nsubj(u3,u4)
dobj(u3,x)
e1=e2
kill(u5)
nsubj(u5,u6)
dobj(u5,x)
e1=e3
...
^ ^ ^
e1=e2
x=y
e2=e3
y=z

29. 探索空間の爆発
29
die(e1) nsubj(e1,x) ... nsubj(e2,y) ... nsubj(e3,z) ...
kill(e1) ^ nsubj(e1,x) ^ dobj(e1,y)
=> die(e2) ^ nsubj(e2,y)
背景知識
kill(u1)
nsubj(u1,u2)
dobj(u1,x)
kill(u3)
nsubj(u3,u4)
dobj(u3,x)
e1=e2
kill(u5)
nsubj(u5,u6)
dobj(u5,x)
e1=e3
...
^ ^ ^
e1=e2
x=y
e2=e3
y=z
変数が一致することを
公理適用の条件として課す
変数が表すイベントが
互いに単一化可能でない場合は
それらの依存関係同士も単一化しない

30. 実験
観測 背景知識
推論エンジン
1,111,790 個の公理
Resource:
WordNet
ClueWeb12 から抽出した共参照事例
観測25問
Winograd Schema Challengeに
含まれるテキストから生成
比較対象:
1. ILP+CPI [Inoue&Inui, '12]
2. Phillip
求解時間を比較
タイムアウト:
1800 sec.
30

31. 結果
31
25問全てでタイムアウト 11問がタイムアウト
25問全てにおいて
60秒以内に推論終了

32. 柔軟なカスタマイズ
32

33. 従来システムの問題点
☹単一の評価関数のみを想定
– ユーザが評価関数を定義することが不可能
– ソースコードそのものを編集するしか無い
☹システム単体での利用のみを想定
– 他プログラムへの組み込みを考慮していない
☹推論の内部処理を扱える人が限られる
☹コミュニティが閉鎖的に
33

34. コンポーネント化された処理フロー
34
観測背景知識
解仮説
入力
潜在仮説集合 ILP問題
Generator
Solver
Converter
潜在仮説集合を
観測から生成
ILP問題の
最適解を導出
潜在仮説集合を
ILP問題へ変換

35. 他プログラムへの組み込み
35
#include <phillip.h>
#include <binary.h>
class my_ilp_converter : public phil::ilp_converter_t
{ 略 };
class my_ilp_converter_generator : public
phil::bin::component_generator_t<phil::ilp_converter_t>
{ 略 }
int main()
{
using namespace phil;
bin::ilp_converter_library_t::instance()->add(
"mine", new my_ilp_converter_generator_t());
phillip_main_t phillip;
bin::execution_configure_t config;
bin::inputs_t inputs;
bin::prepare(argc, argv, &phillip, &config, &inputs);
bin::execute(&phillip, config, inputs);
}
Phillip
(lib/libphil.a)
組み込み先

36. 他プログラムへの組み込み
36
#include <phillip.h>
#include <binary.h>
class my_ilp_converter : public phil::ilp_converter_t
{ 略 };
class my_ilp_converter_generator : public
phil::bin::component_generator_t<phil::ilp_converter_t>
{ 略 }
int main()
{
using namespace phil;
bin::ilp_converter_library_t::instance()->add(
"mine", new my_ilp_converter_generator_t());
phillip_main_t phillip;
bin::execution_configure_t config;
bin::inputs_t inputs;
bin::prepare(argc, argv, &phillip, &config, &inputs);
bin::execute(&phillip, config, inputs);
}
Phillip
(lib/libphil.a)
組み込み先

37. 今後の展望
37

38. 公理の ”柔らかな” 適用
 述語が一致していないと公理を適用できない
☺探索空間が爆発しないで済む
☹知識が足りなかったらその時点で終了
study(e1) ∧ nsubj(e1 x)
⇒ clever(e2) ∧ nsubj(e2 x)
clever(E1) nsubj(E1 X1) smart(E2) nsubj(E2 X2)
適用できる 適用できない
38

39. “ソフトな” 仮説推論
study(e1) ∧ nsubj(e1 x)
⇒ clever(e2) ∧ nsubj(e2 x)
smart(E) nsubj(E,X)
study(u1) ∧ nsubj(u1,X)
背景知識
単語間の類似度
smart ≒ clever
39

40. Winograd Schema Challenge
[Levesque+, '11]
 共参照解析の難しい問題を集めたデータセット
 人間なら簡単に読解できるが，
伝統的なNLP技術（選択選好・文脈類似度）では
殆ど解くことが出来ない
 Competition at AAAI-16 Symposia (prize: $25,000!)
☺推論システムのベンチマークとして有用
Ed shouted at Tim because he crashed the car.
Ed shouted at Tim because he was angry.

41. WSCへの適用
観測 背景知識
Phillip
2,300,000 個の公理
Resource:
WordNet
ClueWeb12から獲得した共参照事例
観測 560 問
Winograd Schema Challengeの
テストデータから生成
解析精度を調査
41

42. 結果
問題数 560
正解 227
不正解 190
解無し 143
適合率 54.4 %
再現率 40.5 %
推論時間 31 min.
42

43. やりたい事は沢山
 パラメータの機械学習
– 学習アルゴリズムは既に提案されている
[Inoue+, ‘12] [Yamamoto, ‘13]
– 近く Phillip 上で実装，WSCで実験
– 外部ユーザ向けの機械学習用のパッケージも公開予定
 談話を論理でどう表現するか
– 否定，逆接，モダリティ，事実性，etc...
 知識の拡充，高精度化
– テリックや語の定義など
 更なる高速化
– より高度なグラフ探索手法の導入
43

44. まとめ
 従来システムより遥かに高速な推論エンジン
– ILP-based Abduction に基づいた実装
– 解候補を生成する段階で候補を出来る限り枝刈り
– 数百万規模の背景知識でも問題なく推論可能
 他プログラムへの組み込みや
ユーザによるカスタマイズを考慮した実装
– より多くの人が参入しやすい環境に
 実タスクへの適用を開始しつつある
– 種々の問題を実タスク上で検証できる段階に来た
 推論エンジンはGitHubからパブリックに利用可能
44

45. おもしろいよ，仮説推論
45
github.com/kazeto/phillip

46. Backup!!
46

47. Look up Axioms
Axiom database
eat(e)
Look up axioms which include
“eat” in the consequence
chimp(x) banana(y) nsubj(e,x) dobj(e,y)
... ⇒ eat(e)
... ⇒ eat(e)
... ⇒ eat(e) ^ nsubj(e,x)
... ⇒ eat(e) ^ nsubj(e,x)
... ⇒ eat(e) ^ nsubj(e,x) ^ dog(x)
... ⇒ eat(e) ^ dobj(e,x)
... ⇒ eat(e) ^ dobj(e,x)
... ⇒ eat(e) ^ dobj(e,x) ^ meat(x)
... ⇒ eat(e) ^ with(e,x)
... ⇒ eat(e) ^ with(e,x)
... ⇒ eat(e) ^ with(e,x)
... ⇒ eat(e) ^ with(e,x) ^ fork(x)
... ⇒ eat(e) ^ for(e,x)
Pivot
47
... ⇒ eat(e)
... ⇒ eat(e)
... ⇒ eat(e) ^ nsubj(e,x)
... ⇒ eat(e) ^ nsubj(e,x)
... ⇒ eat(e) ^ nsubj(e,x) ^ dog(x)
... ⇒ eat(e) ^ dobj(e,x)
... ⇒ eat(e) ^ dobj(e,x)
... ⇒ eat(e) ^ dobj(e,x) ^ meat(x)
... ⇒ eat(e) ^ with(e,x)
... ⇒ eat(e) ^ with(e,x)
... ⇒ eat(e) ^ with(e,x)
... ⇒ eat(e) ^ with(e,x) ^ fork(x)
... ⇒ eat(e) ^ for(e,x)

48. Look up Axioms
Pattern database
eat(e)
Look up consequence patterns
which include “eat”
chimp(x) banana(y) nsubj(e,x) dobj(e,y)
{ eat }
{ eat, nsubj }
{ eat, nsubj, dog }
{ eat, dobj }
{ eat, dobj, meat }
{ eat, with }
{ eat, with, fork }
{ eat, for }
Pivot
{ eat }
{ eat, nsubj }
{ eat, nsubj, dog }
{ eat, dobj }
{ eat, dobj, meat }
{ eat, with }
{ eat, with, fork }
{ eat, for }
Axiom database
... ⇒ eat(e)
... ⇒ eat(e)
... ⇒ eat(e) ^ nsubj(e,x)
... ⇒ eat(e) ^ nsubj(e,x)
... ⇒ eat(e) ^ dobj(e,x)
... ⇒ eat(e) ^ dobj(e,x)
Look up axioms which
correspond with the patterns
48

49. Category Table
 述語 p1, p2 について，リテラル (p1 x) からリテラル
(p2 x) を仮説する難しさを表現した行列
 仮説不可の場合は nil を返す
 実装的には，述語 p1, p2 を引数として，(p1 x) から
(p2 x) を仮説するためのコストを返すような仮想関数
 評価関数ごとにそれぞれ適した実装を選択できる
49
smart clever wise fool
smart 0
clever 0
wise 0
fool 0

50. Category Table
 述語 p1, p2 について，リテラル (p1 x) からリテラル
(p2 x) を仮説する難しさを表現した行列
 仮説不可の場合は nil を返す
 実装的には，述語 p1, p2 を引数として，(p1 x) から
(p2 x) を仮説するためのコストを返すような仮想関数
 評価関数ごとにそれぞれ適した実装を選択できる
50
smart clever wise fool
smart 0 0.1
clever 0
wise 0.1 0
fool 0
Knowledge Base
wise(e)
⇔ smart(e)

51. Category Table
 述語 p1, p2 について，リテラル (p1 x) からリテラル
(p2 x) を仮説する難しさを表現した行列
 仮説不可の場合は nil を返す
 実装的には，述語 p1, p2 を引数として，(p1 x) から
(p2 x) を仮説するためのコストを返すような仮想関数
 評価関数ごとにそれぞれ適した実装を選択できる
51
smart clever wise fool
smart 0 0.1
clever 0 nil
wise 0.1 0
fool nil 0
Knowledge Base
fool(e)
⊥ clever(e)

52. Category Table
 述語 p1, p2 について，リテラル (p1 x) からリテラル
(p2 x) を仮説する難しさを表現した行列
 仮説不可の場合は nil を返す
 実装的には，述語 p1, p2 を引数として，(p1 x) から
(p2 x) を仮説するためのコストを返すような仮想関数
 評価関数ごとにそれぞれ適した実装を選択できる
52
smart clever wise fool
smart 0 0.2 0.1 3.7
clever 0.2 0 0.15 nil
wise 0.1 0.15 0 4.2
fool 3.7 nil 4.2 0
Word Embeddings

53. 演繹推論と仮説推論
演繹推論 仮説推論 仮説推論（現状）
公理を順方向に適用 ○ ○
公理を逆向きに適用 ○ ○
何も無いところから仮説 ○
53