7月30日 – 8月4日 に開催された、 自然言語処理のトップカンファレンスであるACL 2017（バンクーバー）にISID・開発技術部・機械学習チームが参加してきました。

1. ACL 2017July 30-August 4, 2017
Vancouver, Canada
電通国際情報サービス
ファイサル ・ 清水 琢也
ACL2017参加報告

2. 目次
 イベント概要
 アナリティクス
 DL-NLPの動向
 Best Paperの紹介
 気になった論文
 まとめ
2017/12/4ISID - ACL2017参加報告2

3. イベント概要
ACL 2017July 30-August 4, 2017
Vancouver, Canada
2017/12/4ISID - ACL2017参加報告3

4. ACLとは
 The annual meeting of the Association for Computational
Linguistics (ACL)
 計算言語学（CL）・自然言語処理（NLP）分野のトップ会議
 1963年より毎年開催で今年は55回目
 1968年までの名称はAssociation for Machine Translation and
Computational Linguistics (AMTCL)
 開催期間は例年6月～8月（夏）
 開催地は、欧州⇒北米⇒アジア・オセアニアで巡回
 Sofia’13⇒Baltimore’14 ⇒ Beijing’15⇒
Berlin’16⇒Vancouver’17⇒ Melbourne’18⇒
Florence’19
2017/12/4ISID - ACL2017参加報告4

5. ACL 2017の概要
 開催期間
 July 30-August 4, 2017
(本会議: July 31-August 2)
 開催場所
 Westin Bayshore Hotel,
Vancouver, Canada
 規模
 参加者数: 約1800人
 発表論文: 302 (long: 195, short: 107) +TACL(ジャーナル): 22
 他論文: SRW* : 23, デモ論文: 21
2017/12/4ISID - ACL2017参加報告5
*Student Research Workshop

6. ACL 2017におけるInnovations
2017/12/4ISID - ACL2017参加報告6
1. カンファレンス情報は公式のブログに掲載
2. Long論文とShort論文の締め切りを統一
3. 論文のフッターにはDOI(Digital Object Identifiers)を付与
4. Toronto Paper Matching System (TPMS)を使用
5. 小エリア(カテゴリ)を大エリアにマージ
6. クラウドソーシングによりモデレータやレビューアを募集
7. 初期レビューを短めに、ディスカッションを長めに
8. OtherカテゴリをMultidisciplinaryカテゴリへ
https://www.aclweb.org/adminwiki/index.php?title=2017Q3_Reports:_Program_Chairs

7. 本会議1日目のスケジュール
7:30-8:45 Breakfast
9:00-10:00 Welcome Session / Presidential Address
10:00-10:30 Break
10:30-12:00 Information
Extraction I
Semantics 1 Discource 1 Machine
Translation 1
Generation
12:00-13:40 Lunch
13:40-15:15 Question
Answering
Vision I Syntax 1 Machine
Learning 1
Sentiment 1
15:15-15:45 Break
15:45-17:15 Information
Extraction 2
Semantics 2 Speech /
Dialogue 1
Multilingual Phonology
18:20-21:50 Poster, Dinner, Student Research Workshop
2017/12/4ISID - ACL2017参加報告7
5並列2.5 時間

8. 本会議2日目のスケジュール
2017/12/4ISID - ACL2017参加報告8
7:30-8:45 Breakfast
9:00-10:10 Invited Talk: Squashing Computational Linguistics
Noah Smith (University ofWashington)
10:10-10:30 Break
10:30-12:05 Information
Extraction 3
Vision 2 Dialogue 2 Machine
Translation 2
Social Media
12:05-13:30 Lunch
13:30-15:00 Multi-
disciplinary
Language &
Resources
Syntax 2 Machine
Translation 3
Sentiment 2
15:00-15:25 Break
15:25-17:00 Information
Extraction 4
Semantics 3 Discourse 2 /
Dialogue 3
Machine
Learning 2
Summari-
zation
17:45-19:45 Poster, Dinner, Demo
19:30-22:30 Social Event
(Vancouver Aquarium)
3 時間
2 時間

9. 本会議3日目のスケジュール
2017/12/4ISID - ACL2017参加報告9
7:30-8:45 Breakfast
9:00-10:10 Invited Talk:Translating from Multiple Modalities to Text and Back
Mirella Lapata (University of Edinburgh)
10:10-10:40 Break
10:40-12:15 Outstanding Papers 1 Outstanding Papers 2
12:05-13:30 Lunch
13:00-14:30 ACL Business Meeting (open to all)
14:30-15:00 Break
15:00-16:40 Outstanding Papers 3 Outstanding Papers 3
16:45-17:45 Lifetime Achievement Award
17:45-18:00 Closing Session & Best Paper Awards
Barbara Grosz
Harvard John A. Paulson School of
Engineering and Applied Science ACLおよび研究の将来の話

10. アナリティクス
ACL 2017July 30-August 4, 2017
Vancouver, Canada
2017/12/4ISID - ACL2017参加報告10

11. 投稿数と採択数の推移
0
200
400
600
800
1000
1200
1400
1600
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
投稿数 採択数
2017/12/4ISID - ACL2017参加報告11

12. カテゴリ別の詳細
カテゴリ 投稿数 採択数 採択率 割合（採択数/全採択数）
Biomedical 10 3 30.0% 0.9%
Cognitive Modeling and Psycholinguistics 30 4 13.3% 1.3%
Dialog Interactive Systems 60 16 26.7% 5.2%
Discourse Pragmatics 51 16 31.4% 5.2%
Generation Summarization 82 20 24.4% 6.6%
IE QA Text Mining Applications 308 56 18.2% 18.5%
Machine Learning 86 19 22.1% 6.2%
Machine Translation 107 27 25.2% 8.9%
Multidisciplinary 32 10 31.3% 3.3%
Multilingual 28 9 32.1% 2.9%
Phonology Morphology Word Segmentation 42 8 19.1% 2.6%
Resources Evaluation 40 11 27.5% 3.6%
Semantics 157 39 24.8% 12.9%
Sentiment Analysis Opinion Mining 84 17 20.2% 5.6%
Social Media 63 16 25.4% 5.2%
Speech 9 3 33.3% 0.9%
Tagging Chunking Syntax Parsing 78 21 26.9% 6.9%
Vision Robots Grounding 30 7 23.3% 2.3%
2017/12/4ISID - ACL2017参加報告12

13. 昨年度との投稿数の比較
0
50
100
150
200
250
300
350
IE, QA and Text
Mining
Semantic Machine
Translation
(Generation)
Summarization
2016
2017
約3倍に増加
2017ではカテゴリ名が
Generation Summarization
2017/12/4ISID - ACL2017参加報告13

14. タイトルに頻出する内容語
順位 用語 割合
1. neural 25.2%
2. learning 17.5%
3. model 12.3%
4. language 10.3%
5. network 9.3%
6. machine 8.9%
7. word 8.6%
8. text 8.6%
9. translation 8.3%
10. parsing 7.0%
11. semantic 6.3%
12. relation 5.6%
13. attention 5.3%
14. generation 5.0%
15. extraction 5.0%
16. deep 4.6%
17. knowledge 4.6%
18. sequence 4.6%
19. multi 4.6%
20. dependency 4.3%
ACL 2017 14: neural network
4: neural model
4: recurrent neural
4: neural architecture
3: reinforcement learning
3: multitask learning
6: word embeddings
4 word segmentation
2: word representation
20: neural machine translation
14: sequence to sequence
3: neural language model
2017/12/4ISID - ACL2017参加報告14

15. タイトルに頻出する内容語
順位 用語 割合
1. neural 25.2%
2. learning 17.5%
3. model 12.3%
4. language 10.3%
5. network 9.3%
6. machine 8.9%
7. word 8.6%
8. text 8.6%
9. translation 8.3%
10. parsing 7.0%
11. semantic 6.3%
12. relation 5.6%
13. attention 5.3%
14. generation 5.0%
15. extraction 5.0%
16. deep 4.6%
17. knowledge 4.6%
18. sequence 4.6%
19. multi 4.6%
20. dependency 4.3%
ACL 2017
順位 用語 割合
1. learning 15.2%
2. model 15.2%
3. neural 14.0%
4. word 13.4%
5. language 10.1%
6. network 9.8%
7. translation 7.9%
8. embeddings 7.6%
9. representation 7.3%
10. machine 7.3%
11. parsing 6.7%
12. text 6.1%
13. semantic 6.1%
14. dependency 4.6%
15. topic 4.6%
16. entity 4.6%
17. question 4.0%
18. classification 4.0%
19. relation 4.0%
20. detection 4.0%
ACL 2016
2017/12/4ISID - ACL2017参加報告15

16. アナリティクス: Word Cloud
2017/12/4ISID - ACL2017参加報告16

17. DL-NLPの動向
ACL 2017July 30-August 4, 2017
Vancouver, Canada
2017/12/4ISID - ACL2017参加報告17

18. DL-NLPの4大動向
2017/12/4ISID - ACL2017参加報告18
言語的構造が帰ってきた 単語の分散表現の再考
深層学習における解釈性 どこにでもAttention！！
入力 出力DL
なぜ？
シーケンス 構造
good
very
movie
good
very
movie
positive
いい？

19. DL-NLPの4大動向
2017/12/4ISID - ACL2017参加報告19
単語の分散表現の再考
深層学習における解釈性 どこにでもAttention！！
入力 出力DL
なぜ？
シーケンス 構造
good
very
movie
good
very
movie
positive
いい？
言語的構造が帰ってきた

20. 言語的構造が帰ってきた
2017/12/4ISID - ACL2017参加報告20
 「Language is just sequence of words」の仮定が見直され
始める
 文法的に問題のある文が出力される（特に長い文の場合）
 過学習の傾向
 精度が頭打ち
⇒言語的構造を組込む
 利点
 探索空間を狭める
 Linguistic Scaffoldings
 Syntactic recency >> Sequential recency
Linguistic Structure is Back

21. 探索空間を狭める
2017/12/4ISID - ACL2017参加報告21
Sequence-to-Treeモデル (自然言語からPythonコードを生成)
文法的に正しい出力しか探索しないように
A Syntactic Neural Model for General-Purpose Code Generation
PengchengYin, Graham Neubig (Carnegie Mellon University)

22. Linguistic Scaffoldings
2017/12/4ISID - ACL2017参加報告22
Scaffold taskを同時に解く（事前に解く）ことで、
main taskの精度が向上する
文の成分の認識
述語項のラベリング
InvitedTalk: Squashing Computational Linguistics
Noah Smith (University ofWashington)

23. Syntactic Recency >> Sequential Recency
2017/12/4ISID - ACL2017参加報告23
文法の情報を利用することで、機械翻訳のタスクにおいて、
BLEUスコアが3.5ポイントほど上がる
Improved Neural MachineTranslation with a Syntax-Aware Encoder and Decoder
Chen et. al. (University of Notre Dame)

24. DL-NLPの4大動向
2017/12/4ISID - ACL2017参加報告24
単語の分散表現の再考
深層学習における解釈性 どこにでもAttention！！
入力 出力DL
なぜ？
シーケンス 構造
good
very
movie
good
very
movie
positive
いい？
言語的構造が帰ってきた

25. 単語の分散表現の再考
2017/12/4ISID - ACL2017参加報告25
 既存の単語の分散表現の探求
 分散表現の加法構成性の説明
 単語の分散表現における限界の発見
 概念的な特徴が得られたが、知覚的な特徴が取得できなかった
 多義性を学習
 分散表現では難しい多義性(同じ単語だが違う意味)を獲得
 subwordの分散表現を導入
 形態素の情報を得るため、subwordの分散表現を学習
ReconsideringWord Embeddings

26. 分散表現の加法構成性の説明
2017/12/4ISID - ACL2017参加報告26
𝑆𝑘𝑖𝑝𝑔𝑟𝑎𝑚 − 𝑍𝑖𝑝𝑓 + 𝑈𝑛𝑖𝑓𝑜𝑟𝑚 = 𝑉𝑒𝑐𝑡𝑜𝑟 𝐴𝑑𝑑𝑖𝑡𝑖𝑣𝑖𝑡𝑦
Skip-gramで得られる分散表現の加法構成性は、
単語の分布がZipf分布ではなく一様分布に従うと仮定すると
説明できることを証明した
Skip-Gram - Zipf + Uniform =Vector Additivity
Gittens et. al.

27. 単語の分散表現における限界の発見
2017/12/4ISID - ACL2017参加報告27
分散表現(word2vec, GloVeなど)は
概念的特徴（例: is_edible, is_a_tool）を学習できるが
知覚的特徴(例: is_chewy, is_curved)を学習できない
Are distributional representations ready for the real world?
Evaluating word vectors for grounded perceptual meaning
Li Lucy, Jon Gauthier

28. 多義性を学習
2017/12/4ISID - ACL2017参加報告28
各単語は１つのベクトルではなく、
混合ガウス分布で表現される
MultimodalWord Distributions
Ben Athiwaratkun,Andrew GordonWilson

29. subwordの分散表現
2017/12/4ISID - ACL2017参加報告29
単語ベースや文字ベースの分散表現は
形態素の情報を取得不可 ⇒ subwordの利用
単語からsubword (分解)
subwordから単語（合成）
同時に学習可能
Joint Semantic Synthesis and MorphologicalAnalysis of the DerivedWord
Ryan Cotterell, Hinrich Schütze

30. DL-NLPの4大動向
2017/12/4ISID - ACL2017参加報告30
単語の分散表現の再考
深層学習における解釈性 どこにでもAttention！！
入力 出力DL
なぜ？
シーケンス 構造
good
very
movie
good
very
movie
positive
いい？
言語的構造が帰ってきた

31. 深層学習モデルの解釈性
2017/12/4ISID - ACL2017参加報告31
 DLモデルの説明に２つのアプローチ：
 学習モデルの説明（Post-hoc explainability）
 モデルのパラメータを可視化
 転移学習 (Transfer Learning)による検証
 学習プロセスの透明性（Transparency）
 分散表現をSparse Coding
 根拠生成 (Rationale Generation)
Interpretability in Deep Learning

32. 可視化（Visualization）
2017/12/4ISID - ACL2017参加報告32
隠れ層を可視化することで、
翻訳ミスの原因を分析できるようになる
Visualizing and Understanding Neural MachineTranslation
Ding et. al. (Tsinghua University)

33. 転移学習（Transfer Learning）による検証
2017/12/4ISID - ACL2017参加報告33
Task A(翻訳)で学習した特徴をTask B(品詞タグ付)に適用する。
浅い層では単語の構造を、深い層では単語の意味を
学習していることが分かった
What do Neural MachineTranslation Models Learn about Morphology?
Belinkov et. al. (MIT Computer Science and Artificial Intelligence Laboratory)

34. 分散表現をSparse Coding
2017/12/4ISID - ACL2017参加報告34
分散表現（密ベクトル）をSparse Codingのアルゴリズムで
疎ベクトルに変換すると、
各ベクトルの要素はConcept Netとの関係があることが分かった
Sparse Coding of NeuralWord Embeddings for Multilingual Sequence Labeling
Gabor Berend (University of Szeged)

35. 根拠生成 (Rationale Generation)
2017/12/4ISID - ACL2017参加報告35
QAのタスクで、最後の答えとともに
それの根拠も同時に学習
Program Induction by Rationale Generation:Learning to Solve and Explain AlgebraicWord
Problems
Ling et. al. (Deepmind, University of Oxford)

36. DL-NLPの4大動向
2017/12/4ISID - ACL2017参加報告36
単語の分散表現の再考
深層学習における解釈性 どこにでもAttention！！
入力 出力DL
なぜ？
シーケンス 構造
good
very
movie
good
very
movie
positive
いい？
言語的構造が帰ってきた

37. どこにでもAttention！！
2017/12/4ISID - ACL2017参加報告37
 Attentionモデルは複雑になった
 マルチソース（マルチモーダル）に適用
 クラシックな手法とAttentionを組み合わせ
 生成型テキスト要約
 単純なタスク
Attention is Everywhere

38. Attentionモデルは複雑になった
2017/12/4ISID - ACL2017参加報告38
gated-attention (+ multi-hop attention)
(Dhingra et. al., 2017)
attention over attention
(Cui et. al., 2017)
cross attention
(Hao, et. al., 2017)
QAのタスクでは複雑なAttentionの
仕組みが求められる

39. マルチソース（マルチモーダル）に適用
2017/12/4ISID - ACL2017参加報告39
マルチモーダルデータにおけるそれぞれのデータを
組み合わせるためにAttentionを使う
画像 + テキスト
英文 + 中文
Attention Strategies for Multi-Source Sequence-to-Sequence Learning
Jindřich Libovický, Jindrich Helcl (Charles University)
Neural Relation Extraction with Multi-lingualAttention
Lin et. al. (Tsinghua University)

40. クラシックな手法とAttentionを組み合わせ
2017/12/4ISID - ACL2017参加報告40
普通のAttentionの仕組みでは
重要な文を参照できない。
⇒PageRankにAttentionを適用した
Abstractive Document Summarization with a Graph-BasedAttentional Neural Model
Tan et. al.(Peking University)

41. クラシックな手法とAttentionを組み合わせ
2017/12/4ISID - ACL2017参加報告41
単純なタスク（例: morphological inflection）ではsoft-attentionより
hard-attentionの方が役に立つ
Morphological Inflection Generation with Hard MonotonicAttention
Roee Aharoni,Yoav Goldberg (Bar-Ilan University)

42. Best Paperの紹介
ACL 2017July 30-August 4, 2017
Vancouver, Canada
2017/12/4ISID - ACL2017参加報告42

43. Outstanding Papers
2017/12/4ISID - ACL2017参加報告43
Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses
Ryan Lowe, Michael Noseworthy, Iulian Vlad Serban, Nicolas Angelard-Gontier, Yoshua Bengio and Joelle Pineau
A Transition-Based Directed Acyclic Graph Parser for UCCA
Daniel Hershcovich, Omri Abend and Ari Rappoport
Abstract Syntax Networks for Code Generation and Semantic Parsing
Maxim Rabinovich, Mitchell Stern and Dan Klein
Visualizing and Understanding Neural Machine Translation
Yanzhuo Ding, Yang Liu, Huanbo Luan and Maosong Sun
Detecting annotation noise in automatically labelled data
Ines Rehbein and Josef Ruppenhofer
Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
Suncong Zheng, Feng Wang and Hongyun Bao
Vancouver Welcomes You! Minimalist Location Metonymy Resolution
Milan Gritta, Mohammad Taher Pilehvar, Nut Limsopatham and Nigel Collier
Unifying Text, Metadata, and User Network Representations with a Neural Network for Geolocation Prediction
Yasuhide Miura, Motoki Taniguchi, Tomoki Taniguchi and Tomoko Ohkuma
Multi-Task Video Captioning with Visual and Textual Entailment
Ramakanth Pasunuru and Mohit Bansal
Abstractive Document Summarization with a Graph-Based Attentional Neural Model
Jiwei Tan and Xiaojun Wan
Probabilistic Typology: Deep Generative Models of Vowel Inventories
Ryan Cotterell and Jason Eisner
Long : 15本 (737の2.0%)
Best Long Paper

44. Outstanding Papers
2017/12/4ISID - ACL2017参加報告44
Adversarial Multi-Criteria Learning for Chinese Word Segmentation
Xinchi Chen, Zhan Shi, Xipeng Qiu and Xuanjing Huang
Neural Joint Model for Transition-based Chinese Syntactic Analysis
Shuhei Kurita, Daisuke Kawahara and Sadao Kurohashi
Robust Incremental Neural Semantic Graph Parsing
Jan Buys and Phil Blunsom
Long : 15本 (737の2.0%)
Short : 7本 (560の1.25%)
The Role of Prosody and Speech Register in Word Segmentation: A Computational Modelling Perspective
Bogdan Ludusan, Reiko Mazuka, Mathieu Bernard, Alejandrina Cristia and Emmanuel Dupoux
A Two-stage Parsing Method for Text-level Discourse Analysis
Yizhong Wang and Sujian Li
Error-repair Dependency Parsing for Ungrammatical Texts
Keisuke Sakaguchi, Matt Post and Benjamin Van Durme
Attention Strategies for Multi-Source Sequence-to-Sequence Learning
Jindřich Libovický and Jindřich Helcl
Understanding and Detecting Diverse Supporting Arguments on Controversial Issues
Xinyu Hua and Lu Wang
A Neural Model for User Geolocation and Lexical Dialectology
Afshin Rahimi, Trevor Cohn and Timothy Baldwin
A Corpus of Compositional Language for Visual Reasoning
Alane Suhr, Mike Lewis, James Yeh and Yoav Artzi
Best Resource Paper
Best Short Paper

45. Best Long Paper
2017/12/4ISID - ACL2017参加報告45
ProbabilisticTypology: Deep Generative Models of Vowel Inventories
Ryan Cotterell and Jason Eisner
 トピック
 音韻論的類型学 (Phonological
Typology)にある母音の分布を評価
 いい言語とはなにか？
 Dispersion-Focalization理論は合っている？
 理論
 Bernoulli Point Process (BPP)
 Markov Point Process (MPP)
 Determinantal Point Process (MPP)
 手法
 ニューラルネットワーク (CNN)
 学習するEmbeddings
 Uninterpretable
 Interpretable (インプット次元 = 埋め込み次元)
 Prototype-based (代表データ)

46. Best Long Paper
2017/12/4ISID - ACL2017参加報告46
ProbabilisticTypology: Deep Generative Models of Vowel Inventories
Ryan Cotterell and Jason Eisner
 実験
 cloze テスト : ある言語で母音データを一部与え、残りの母音を予測
 データセット: 223言語の母音インベントリ - Becker-Kristal (2010)
 結論
 言語にある母音の分布を計ることができた
 分布を用い、新言語の作成に向けて母音インベントリを生成することが可能
 Dispersion-Focalizationの理論を定量的に証明した

47. Best Resource Paper
2017/12/4ISID - ACL2017参加報告47
A Corpus of Compositional Language forVisual Reasoning
Alane Suhr, Mike Lewis, JamesYeh and Yoav Artzi
 トピック
 視覚的推論（Visual Reasoning）向けの
データセットを作成
 方法
 クラウドソース (Upworkプラットフォーム)
 フェーズ 0: Generating Image (画像を生
成)
 フェーズ 1: SentenceWriting (文を書く)
 フェーズ 2: Validation (妥当性チェック)
 データセット
 タスク: 画像と文を与え、合うかどうかの
チェック
 3,974のタスク
 28,732の妥当性チェック
 15,896の画像・文のペア

48. Best Resource Paper
2017/12/4ISID - ACL2017参加報告48
A Corpus of Compositional Language forVisual Reasoning
Alane Suhr, Mike Lewis, JamesYeh and Yoav Artzi
 ベースライン
 Majority: 学習データで多い方のラベルを常に返す
 Single Modalities: 画像のみ、文のみを使って学習
 Structured Representation: 画像の構造データ(メタデータ)を利用
 Raw Image: 画像のメタデータを使わず、実際のピクセルデータを使う
 結論
 Cornell Natural Language Visual Reasoning (NLVR) dataset and taskが公開された
 URL: http://lic.nlp.cornell.edu/nlvr/

49. Best Short Paper
2017/12/4ISID - ACL2017参加報告49
The Role of Prosody and Speech Register inWord Segmentation:A Computational Modelling
Perspective
Bogdan Ludusan, Reiko Mazuka, Mathieu Bernard,Alejandrina Cristia and Emmanuel Dupoux
 トピック
 韻律とSpeech Registerが単語分割に果
たす役割の評価
 幼児の言語獲得と韻律情報の関係性
を示唆
 アルゴリズム
 sub-lexical
 Transition-probability-based segmentation(TP)
 Diphone-based segmentation(DiBS)
 lexical
 PUDDLE
 Adapter Grammer(AG)
 データ
 RIKENコーパス
 IDS(11時間)+ADS(3.5時間)
 Corpus of Spontaneous Japanese(CSJ)

50. Best Short Paper
2017/12/4ISID - ACL2017参加報告50
The Role of Prosody and Speech Register inWord Segmentation:A Computational Modelling
Perspective
Bogdan Ludusan, Reiko Mazuka, Mathieu Bernard,Alejandrina Cristia and Emmanuel Dupoux
 実験
 韻律なし(base)、レベル3韻律(brk3)、レベル2およびレベル3韻律(brk23)の3種のデータを使用
しトークンに関するF値で評価
 ADSデータセットとIDSデータセットのサイズの違いによる影響の評価
 結論
 sub-lexicalよりもlexicalアルゴリズムの方が性能が良い
 単語分割タスクに韻律情報は有効である
 韻律情報の獲得によって幼児が単語を分割できるようになっている可能性がある

51. Best Demonstration Paper
2017/12/4ISID - ACL2017参加報告51
Hafez: an interactive poetry generation system
Marjan Ghazvininejad, Xing Shi, Jay Priyadarshi and Kevin Knight
 トピック
 詩の自動生成システム: Hafez
 様々なスタイル設定により生成された
詩の修正が可能
 システムの特徴
 ユーザ評価(1～5)を獲得できるインター
フェースを構築し、フィードバックを収集
 フィードバックをもとにパラメータ調整し詩
の質を向上
 単語の反復、長さなどのスタイルを制御
するためのパラメータをdecode時に追加
 不要な語彙の削除とGPU計算によりシス
テム全体を10倍に高速化

52. Best Demonstration Paper (Runner-Up)
2017/12/4ISID - ACL2017参加報告52
OpenNMT: Open-SourceToolkit for Neural MachineTranslation
Guillaume Klein,Yoon Kim,Yuntian Deng, Jean Senellart and Alexander Rush
 トピック
 ニューラル翻訳（NMT）の研究をサ
ポートするためのツールキットの開発
 seq2seq-attnの後継
 システムの特徴
 効率性 (Efficiency) : Memory Sharing,
Multi-GPU
 モジュール性(modularity): 各コンポー
ネントは独立して変換可能
 拡張性(extensibility): マルチモーダル
データにも適用可能
 その他: 形態素解析ツールやword
embeddingsを含む

53. 気になった論文
ACL 2017July 30-August 4, 2017
Vancouver, Canada
2017/12/4ISID - ACL2017参加報告53

54. 気になった論文
2017/12/4ISID - ACL2017参加報告54
PositionRank:An UnsupervisedApproach to Keyphrase Extraction from Scholarly Documents
Corina Florescu and Cornelia Caragea
 トピック
 研究論文からキーフレーズ抽出タスク
 教師なしの手法
 手法
 Position-Biased PageRank (Position
Rank)
 ポジション情報を考慮するPageRank
 フレーズのパターン
 (形容詞)*(名詞)+
 長さ <= 3
 結果
 29.09%精度の向上
 3つのデータセットで検証したところい
ずれも最も高いMRRスコアを記録

55. 気になった論文
2017/12/4ISID - ACL2017参加報告55
Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and
reinforcement learning
Jason DWilliams, Kavosh Asadi and Geoffrey Zweig
 トピック
 RNNモデルには多量のデータを必要とす
る問題を解決
 手法
 HCN (Hybrid Code Networks)
 RNNにナレッジベースの埋め込み
 ソフトウエアのモジュール
 アクションのテンプレート
 結果
 モデルに対する開発者のコントロールが
向上
 必要なデータ量が減る
 教師あり学習(SL)と強化学習(RL)のシナ
リオの両方でもモデルを学習できる

56. 気になった論文
2017/12/4ISID - ACL2017参加報告56
Leveraging Knowledge Bases in LSTMs for Improving Machine Reading
BishanYang andTom Mitchell (Carnegie Mellon University)
 トピック
 機械読書タスクに対するRNN/LSTMの
モデルを改良する
 手法
 あるRNN/LSTMモデルにナレッジベー
スから情報を埋め込む (KBLSTM)
 多義性の問題を解決するため、コンテ
キスト情報が入っているsentinelベクト
ルを利用する
 例: Clinton ⇒ 人？場所？
 結果
 固有表現・イベント抽出のタスクで精度
が高くなった

57. 気になった論文
2017/12/4ISID - ACL2017参加報告57
MultimodalWord Distributions
Ben Athiwaratkun and Andrew GordonWilson(Cornell University)
 トピック
 Word Embeddingの手法
 手法
 単語表現に混合ガウス分布を仮定
 マージン最大化と組み合わせるために
Analytic energy functionを提案
 結果
 単語の多義性や不確実性を捉えること
を可能にした
 単語類似度のベンチマークで高い性能
を示した

58. 気になった論文
2017/12/4ISID - ACL2017参加報告58
Topically Driven Neural Language Model
Jey Han Lau,Timothy Baldwin, andTrevor Cohn
 トピック
 言語モデルTopically Driven Language
Model(tdlm)を構築
 手法
 2つのコンポーネントを持つモデル
 トピックモデル
 言語モデル
 Attention機構によりトピックベクトルの
加重平均を求め、言語モデルに渡す
 結果
 Perplexityの評価で既存の言語モデル
を上回る
 Coherenceの評価で既存のトピックモ
デルを上回る

59. ACL 2017July 30-August 4, 2017
Vancouver, Canada
まとめ
2017/12/4ISID - ACL2017参加報告59

60. まとめ
2017/12/4ISID - ACL2017参加報告60
 論文の傾向
 Neuralモデルの拡張が多かった
 様々なモデルのアーキテクチャが提案された
 Sequential以外の情報を扱うモデルが増えた（i.e. 言語的構造）
 マルチモーダルの研究が増えてきている
 新しい手法だけでなく、新しいタスクも
 学会の方向性 （Chairs/Presidentsより）
 公平性と多様性
 性別、年齢、地域
 WiNLP(Woman in NLP) とのワークショップ
 選考委員・フロー・Area Chair等での偏り
 実験に基づく研究から仮説検証的研究へ
 特定のデータセットに対する実験のみに基づいて結論を導くことは期待
されていない
 arXivへ投稿された論文（Preprints）に対する規則を明確化

61. まとめ
2017/12/4ISID - ACL2017参加報告61
 ACLに参加してみた感想
 初めてACL会議に参加
 人の多さに圧倒された
 参加者はほぼ著者だった
 会場は海に近いので、散歩や昼食
を取ると気持ちよかったりする
 ポスターセッションはディナーと同時
に行われ、リラックスしていた
 ポスターセッションが3時間強でも聞き
たい発表を全部回れなかった
 毎日coffee breakが２～３回あったの
が良かった

62. ACL 2017July 30-August 4, 2017
Vancouver, Canada
参照
2017/12/4ISID - ACL2017参加報告62

63. 参照
2017/12/4ISID - ACL2017参加報告63
 ACLのロゴ*: http://acl2017.org/images/acl-logo.png
 Aharoni, R. and Goldberg, Y.Morphological Inflection Generation with Hard Monotonic AttentionProceedings of the 55th Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 2004-2015
 Athiwaratkun, B. and Wilson, A.Multimodal Word DistributionsProceedings of the 55th Annual Meeting of the Association for Computational Linguistics
(Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1645-1656
 Belinkov, Y., Durrani, N., Dalvi, F., Sajjad, H. and Glass, J.What do Neural Machine Translation Models Learn about Morphology?Proceedings of the 55th
Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 861-
872
 Berend, G.Sparse Coding of Neural Word Embeddings for Multilingual Sequence LabelingTransactions of the Association for Computational
Linguistics, 2017, Vol. 5, pp. 247-261
 Bollmann, M., Bingel, J. and Søgaard, A.Learning attention for historical text normalization by learning to pronounceProceedings of the 55th Annual Meeting
of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 332-344
 Chen, H., Huang, S., Chiang, D. and Chen, J.Improved Neural Machine Translation with a Syntax-Aware Encoder and DecoderProceedings of the 55th
Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1936-
1945
 Johnson, K., Jin, D. and Goldwasser, D.Leveraging Behavioral and Social Information for Weakly Supervised Collective Classification of Political Discourse on
TwitterProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for
Computational Linguistics, 2017, pp. 741-752
 Klein, G., Kim, Y., Deng, Y., Senellart, J. and Rush, A.OpenNMT: Open-Source Toolkit for Neural Machine TranslationProceedings of ACL 2017, System
DemonstrationsAssociation for Computational Linguistics, 2017, pp. 67-72
 Lau, J. H., Baldwin, T. and Cohn, T.Topically Driven Neural Language ModelProceedings of the 55th Annual Meeting of the Association for
Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 355-365
 Lin, Y., Liu, Z. and Sun, M.Neural Relation Extraction with Multi-lingual AttentionProceedings of the 55th Annual Meeting of the Association for
Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 34-43
 Ling, W., Yogatama, D., Dyer, C. and Blunsom, P.Program Induction by Rationale Generation: Learning to Solve and Explain Algebraic Word
ProblemsProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for
Computational Linguistics, 2017, pp. 158-167
 Lucy, L. and Gauthier, J.Are Distributional Representations Ready for the Real World? Evaluating Word Vectors for Grounded Perceptual MeaningProceedings of
the First Workshop on Language Grounding for RoboticsAssociation for Computational Linguistics, 2017, pp. 76-85
*ACLロゴの使用許可を得た

64. 参照
2017/12/4ISID - ACL2017参加報告64
 Cotterell, R. and Eisner, J.Probabilistic Typology: Deep Generative Models of Vowel InventoriesProceedings of the 55th Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1182-1192
 Cotterell, R. and Schütze, H.Joint Semantic Synthesis and Morphological Analysis of the Derived WordCoRR, 2017, Vol. abs/1701.00946
 Cui, Y., Chen, Z., Wei, S., Wang, S., Liu, T. and Hu, G.Attention-over-Attention Neural Networks for Reading ComprehensionProceedings of the 55th Annual
Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 593-602
 Dhingra, B., Liu, H., Yang, Z., Cohen, W. and Salakhutdinov, R.Gated-Attention Readers for Text ComprehensionProceedings of the 55th Annual Meeting
of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1832-1846
 Ding, Y., Liu, Y., Luan, H. and Sun, M.Visualizing and Understanding Neural Machine TranslationProceedings of the 55th Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1150-1159
 Florescu, C. and Caragea, C.PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly DocumentsProceedings of the 55th Annual
Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1105-1115
 Ghazvininejad, M., Shi, X., Priyadarshi, J. and Knight, K.Hafez: an Interactive Poetry Generation SystemProceedings of ACL 2017, System
DemonstrationsAssociation for Computational Linguistics, 2017, pp. 43-48
 Gittens, A., Achlioptas, D. and Mahoney, M. W.Skip-Gram - Zipf + Uniform = Vector AdditivityProceedings of the 55th Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 69-76
 Hao, Y., Zhang, Y., Liu, K., He, S., Liu, Z., Wu, H. and Zhao, J.An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention
Combining Global KnowledgeProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long
Papers)Association for Computational Linguistics, 2017, pp. 221-231
 Libovický, J. and Helcl, J.Attention Strategies for Multi-Source Sequence-to-Sequence LearningProceedings of the 55th Annual Meeting of the Association for
Computational Linguistics (Volume 2: Short Papers)Association for Computational Linguistics, 2017, pp. 196-202
 Suhr, A., Lewis, M., Yeh, J. and Artzi, Y.A Corpus of Natural Language for Visual ReasoningProceedings of the 55th Annual Meeting of the Association for
Computational Linguistics (Volume 2: Short Papers)Association for Computational Linguistics, 2017, pp. 217-223
 Tan, J., Wan, X. and Xiao, J.Abstractive Document Summarization with a Graph-Based Attentional Neural ModelProceedings of the 55th Annual Meeting of
the Association for Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 1171-1181
 Williams, J. D., Asadi, K. and Zweig, G.Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement
learningProceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)Association for
Computational Linguistics, 2017, pp. 665-677
 Yin, P. and Neubig, G.A Syntactic Neural Model for General-Purpose Code GenerationProceedings of the 55th Annual Meeting of the Association for
Computational Linguistics (Volume 1: Long Papers)Association for Computational Linguistics, 2017, pp. 440-450