京大黒橋・河原研で開催されたEMNLP読み会の資料。 紹介した論文は、 Distinguishing Past, On-going, and Future Events: The EventStatus Corpus Ruihong Huang; Ignacio Cases; Dan Jurafsky; Cleo Condoravdi; Ellen Riloff

1. Distinguishing Past, On-going,
and Future Events:
The EventStatus Corpus
Ruihong Huang, Ignacio Cases, Dan Jurafsky,
Cleo Condoravdi and Ellen Riloff
紹介する人: 萩行 正嗣 (2014年卒)
ウェザーニューズ
EMNLP2016読み会@京大

2. Introduction
•Eventに対する新しい時間アノテーションを提案
• Past、On-Going、Future
• Eventが終わったのか、まだ続いているのかが重要
• Social eventや自然災害は「これから起こりそう」という記
述が多い
•Civil unrestのeventだけを対象にアノテーション
•既存のeventコーパスに比べnon-finite form(e.g.,
“the strike”, “to protest”)が多い
•英語とスペイン語でコーパスを作成
• この資料内で説明なく数字を出した場合は英語の数字
•Future oriented verbをheuristicでコーパスから獲得
•SVMとCNNの2つのモデルで分類実験
EMNLP2016読み会@京大

3. Outline of EventStatus Corpus (in Section 2)
•文中のEvent(今回はcivil unrestのみ)に対して、
Past、On-Going、Future (Planned、Alert、Possible)を
アノテーション
• Past: Today’s demonstration ended without violence.
• On-Going: Negotiations continue with no end in sight for
the 2 week old strike.
• Future Planned: 77 percent of German steelworkers voted
to strike to raise their wages.
• Future Alert: Farmers have threatened to hold
demonstrations on Monday.
• Future Possible: The military is preparing for possible
protests at the G8 summit.
EMNLP2016読み会@京大

4. Annotation Scheme (in Section 2.1)
1. civil unrest に関するkeywordを含むnew storyを
抽出
• 2954 stories, 5085 sentences
2. 各文がspecific eventを指すmentionを含むかを
アノテーション
• keywordマッチでは語義曖昧性やgeneric descriptionで、
specific event以外も入る(e.g., “Protests are often
facilitated by ...)
• 2492 sentences (49%)がspecific eventあり (κ = 0.84)
3. 文中の各keywordにevent statusラベルをアノ
テーション(5種の時間ラベル+ Not Eventラベル)
• κ=0.78
• 3人ともバラバラは83個(2.9%)あった
EMNLP2016読み会@京大

5. Corpus Properties (in Section 2.1 and 2.2)
EMNLP2016読み会@京大
Non-finite form
tenseやaspectの情報が使え
ないので、時間情報のラベル
付けが難しい

6. Future Oriented Verbs (in Section 2.3) (1)
•“threatened”や”fear”のように、future eventを想定
した動詞をfuture oriented verbsと定義
• Mental activity (“anticipate”, “expect”)
Affective (“fear”, “worry”), planning(“plan”, “prepare”),...
•2つのheuristicでfuture oriented verbsを集める
1. matrix verb(母型動詞)がpast tense + complement
event(補語)が未来の時間表現で修飾されている
• The union planned to strike next week.
2. 条件節で修飾されたmatrix verb
• The union threatened to strike if their appeal was
rejected
• 双方で出現したmatrix verbをfuture oriented verbsとする
EMNLP2016読み会@京大

7. Future Oriented Verbs (in Section 2.3) (2)
•Gigaword corpusから411個のfuture oriented verbs
を集めた
•Framenetに対応付けしたあと102個にクラスタリン
グ (理解のためにやっていて、実験では使わない
(多分))
EMNLP2016読み会@京大

8. SVM Model (in Section 3)
•Past, On-Going, Futureの3値分類 (Futureの
subcategoryは無視)
•Linear SVMでone vs. rest (polynominalは悪かった)
•Features
• Bag-Of-Words: 前後7単語
• Tens, Aspect: TIPSemで判定 + 係り受けを元にルール(英
のみ)
• Time Expression: DCTとeventの日時(TIPSemで判定、無
い場合は一番近い時間表現)の比較
• Governing Words: event word係り受け関係にある語
• Future Oriented Lexicon: Featureとしての入れ方に言及
なし
EMNLP2016読み会@京大

9. CNN Model (In Section 4)
•One convolution layer + one max pooling layer
(Kim, 2014; Collobert et al., 2011)
EMNLP2016読み会@京大
Convolutional Neural Networks for Sentence Classification (Kim, EMNLP2014)から引用
この論文中にネットワークの図とかはなかったので、少し差異があるかも
フィルタ幅は5に固定
word2vec 300次元を初期値
backpropagationでtune
隠れ層は300 units
static channelは使ってないので
後ろのレイヤーは無視

10. Evaluations (in Section 5)
EMNLP2016読み会@京大
先行研究(TimeBankをCRFで学習)
with transitivityはrule baseでlabelを水増し
Event mentionはTIPSemで判定
(gold event mentionの72%)
全体的に先行研究より高精度
Gold event mentionを使っている
上の3つと単純に比較できない
Row 3と7は同じ設定だが精度が違う
recallが低い。
DCTとのlinkが少ないため。
Future Oriented Lexiconで
Futureがよくなる
やっぱり、Deep Learningには
勝てなかったよ…

11. CNN’s Improvement Cases (in Section 6)
•Raising the possibility of a strike on New Year’s Eve,
the president of New York City’s largest union is
calling for a 30 percent raise over three years. (FU)
•The lockout was announced in the wake of a go-
slow and partial strike by the union since July 12
after management turned down its demand. (OG)
CNNは周辺の手掛りとの構成性をうまく捉えられ
ている？(“possibility”、”since”)
EMNLP2016読み会@京大

12. Error Analysis (in Section 6)
•discourseの情報が必要 (26/50)
• Chavez also said he discussed the strike with UN Secretary
General Kofi Annan and told him the strike organizers
were “terrorists.” (OG) (“double access” ambiguity)
• Students and teachers protest over education budget (PA)
•時間の手掛りが構成的かつ離れている (9/50)
• Protesters on Saturday also occupied two gymnastics halls
near Gorleben which are to be used as accommodation
for police. They were later forcibly dispersed by
policemen. (PA)
•ローカルな情報で解けるはずだが誤答 (15/50)
• Eastern leaders have grown weary of the protest
movement led mostly by Aymara. (OG)
EMNLP2016読み会@京大
赤字は手がかり
(論文に明記されていな
いため、萩行による推測)

13. Conclusion (in Section 6) (と個人的な感想)
•Event status(past、on-going、future)を英西の2言語
でアノテーション
•CNNのシステムが良い精度を出した
• もっと複雑にすればよくなるかも
•時間関係は複雑で、discourseを見る必要がある
感想
実用的にはアノテーションが単純で嬉しい
他のeventに拡張してどの程度精度が変化するか
BoWのSVMもそれなりに精度があるので使えそう
実は似た研究をやっていて、Coling併設のWNUTという
WSで発表予定
EMNLP2016読み会@京大