Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

ACL2018の歩き方

ACL2018の内容と採択論文の傾向について

  • Soyez le premier à commenter

ACL2018の歩き方

  1. 1. Copyright © TIS Inc. All rights reserved. ACL 2018 の歩き方 戦略技術センター 久保隆宏 How to walk around ACL 2018
  2. 2. Copyright © TIS Inc. All rights reserved. 2 ◼ About ACL2018 ◼ ACLとは ◼ ACL2018 開催概要 ◼ 注目チュートリアル/関連イベント ◼ ACL2018 Statistics ◼ 採択論文の傾向 ◼ ACL2018 Prediction ◼ 注目されると予想されるトピック 目次
  3. 3. Copyright © TIS Inc. All rights reserved. 3 久保隆宏 TIS株式会社 戦略技術センター ◼ 化学系メーカーの業務コンサルタント出身 ◼ 既存の技術では業務改善を行える範囲に限界があるとの実感から、戦 略技術センターへと異動 ◼ 現在は現場で使える要約の実現を目指し、まとめる観点を指定した要 約の作成に関する研究を行う。 自己紹介 kintoneアプリ内にたまった データを簡単に学習・活用 (@Cybozu Days 2016) チュートリアル講演:深層学習 の判断根拠を理解するための研 究とその意義(@PRMU 2017) 機械学習をシステムに組み込む 際の依存性管理について (@MANABIYA 2018)
  4. 4. Copyright © TIS Inc. All rights reserved. 4 arXivTimes オープンソースの価値観でサーベイを行う 一社/一研究室/個人だけで十分なサーベイを行うのは、物理的に困難に なってきている。 そこで、サーベイした内容のシェアを始めたのがきっかけ。 最初は個人的にTogetterにまとめ ていた。PyCon2016でのAlbert さんとの出会いをきっかけに、共 同で輪講を開始。それに伴い、 GitHubへの運用に移行。 ちなみに記念すべき最初の論文は、 Deep MindのSim-to-Real Robot Learning from Pixels with Progressive Nets
  5. 5. Copyright © TIS Inc. All rights reserved. 5 ◼ Top10 arXivTimes Contributors icoxfog417 Hironsan 0shimax hurutoriya ymym3412 t-oura ryamauchi SnowMasaya inoue0426 mogami290 :arXivTimesメンバー・元メンバー 医療系 ◼ And many contributors neka-nat wakamezake crcrpar jiny2001 kamujun alb-ktaka Hiroyuki1993, umu1729, y-yammt, hirokatsukataoka16, Rowing0914, msakai, ikeyasu, knok, hassaku, BrambleXu, shimaokasonse, darylfung96, misogil0116, lanius, lilacs2039, KazukiYoshii 音声系がかなり手薄なので、音声の 研究をしている方、ぜひご参加をお 待ちしております!
  6. 6. Copyright © TIS Inc. All rights reserved. 6 arXivTimes Challenge (1/2) 量の拡大 ◼ 投稿者の拡大 ◼ ※誰でも投稿していいんです※ ◼ 投稿頂いたことへの還元 arXivTimes Indicatorというポータルサ イトを作成。一度でも投稿を行うと、個 人の投稿結果ページが表示されるように なる。 量の拡大と質の向上 質の向上 ◼ 投稿内容のレビュー ◼ 初心者でも安心! arXivTimesで投稿を行う時、 @arxivtimesbotにメンションをつけ るとレビューを依頼することができま す。
  7. 7. Copyright © TIS Inc. All rights reserved. 7 arXivTimes Challenge (2/2) 量の拡大 ◼ 参加特典 ◼ オフラインでの交流を通じての コミュニティ拡大 質の向上 ◼ 詳細な内容をまとめている他コ ミュニティとの連携 ◼ CVPR 2018 完全読破チャレンジ ◼ Deep Learning JP ◼ GitHubでまとめを行っている 方は、遠慮なくarXivTimesの Issueにもリンクを貼ってくだ さい! 次のチャレンジ
  8. 8. About ACL2018
  9. 9. Copyright © TIS Inc. All rights reserved. 9 ACLとは Annual Meeting of the Association for Computational Linguistics ◼ 自然言語処理の分野における、トップカンファレンスの一つ ◼ 北米のNAACL、ヨーロッパのEACLという支部会がある。NAACLはACL本体と並ぶ 格のある学会(EACLは若干劣るらしい)。 ◼ 1962年発足で、最初はAssociation for Machine Translation and Computational Linguisticsという名称だった(1968年に現在の名称になる)。 ◼ 開催地は、欧州⇒北米⇒アジア/オセアニアで巡回している ◼ Berlin(2016)⇒Vancouver(2017)⇒Melbourne(2018)
  10. 10. Copyright © TIS Inc. All rights reserved. 10 ACL2018 開催概要 ◼ 開催場所: オーストラリア メルボルン ◼ 開催期間: 7/15~20 ◼ 7/15: Tutorial ◼ 7/16~18: Main Conference ◼ 7/19~20: Workshop ◼ 規模: ◼ 発表論文: Long 258/1018本、Short 126/526本 ◼ 2017はLong 302/829、Short 107/590。 ◼ 採択率は24.9%
  11. 11. Copyright © TIS Inc. All rights reserved. 11 ACL2018 開催概要: スケジュール 7/15 7/15 Tutorial 9:00-12:30 T1: 100 Things You Always Wanted to Know about Semantics & Pragmatics But Were Afraid to Ask T2: Neural Approaches to Conversational AI T3: Variational Inference and Deep Generative Models T4: Connecting Language and Vision to Actions 13:30-17:00 T5: Beyond Multiword Expressions: Processing Idioms and Metaphors T6: Neural Semantic Parsing T7: Deep Reinforcement Learning for NLP T8: Multi-lingual Entity Discovery and Linking MS MARCOなど に携わる Jianfeng Gao先 生が担当 Embodied Question Answeringを発表し たAbhishek Das先生 が担当 AllenNLPの研究 者たちが担当
  12. 12. Copyright © TIS Inc. All rights reserved. 12 ACL2018 開催概要: スケジュール 7/16 7/16 Day1 9:00-10:00 Welcome Session & Presidential Address 10:00-10:30 Coffee Break 10:30-12:10 Session 1A: Word Semantics 1 Session 1B: Machine Translation 1 Session 1C: Information Extraction 1 Session 1D: Summarization Session 1E: Resource, Annotation Session 1F: Argument Mining 12:10-12:30 Short Break 12:30-14:00 Poster Session 14:00-15:40 Session 2A: Semantic Parsing 1 Session 2B: Multilinguality Session 2C: Question Answering 1 Session 2D: Generation 1 Session 2E: Vision Session 2F: Sentiment 15:40:16:10 Cofee Break 16:10-17:50 Session 3A: Inference, Reasoning Session 3B: Machine Learning 1 Session 3C: Text Mining and Applications Session 3D: Dialog System 1 Session 3E: Linguistics, Psycholinguistic s and Cognitive Modeling Session 3F: Parsing 1 Probabilistic FastText for Multi- Sense Word Embeddings Graham Neubig 先生が座長 William Wang先 生が座長(強化学 習のチュートリ アルも担当) LexRank発明者 Dragomir Radev 先生が座長 Richard Socher先 生が座長 Adversarial Contrastive Estimation Sentence-State LSTM for Text Representation Yue Zhang先生が 座長(Sentence State作者) Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting MojiTalk: Generating Emotional Responses at Scale 読み会論文の多くは Day1に集中
  13. 13. Copyright © TIS Inc. All rights reserved. 13 ACL2018 開催概要: スケジュール 7/17 7/17 Day2 9:00-10:00 Invited Talk 1: Carolyn Penstein Rosé 10:00-10:30 Coffee Break 10:30-12:10 Session 4A: Word Semantics 2 Session 4B: Machine Translation 2 Session 4C: Information Extraction 2 Session 4D: Dialog System 2 Session 4E: Evaluation Session 4F: Parsing 2 12:10-12:30 Short Break 12:30-14:00 Poster Session 14:00-15:00 Session 5A: Semantics 1 Session 5B: Machine Translation, Multilinguality 1 Session 5C: Information Extraction 1 Session 5D: Dialog System, Discourse Session 5E: Vision, Linguistics, Resource and Evaluation Session 5F: Parsing, Morphology 15:00:15:30 Cofee Break 15:30-17:10 Session 6A: Semantic Parsing 2 Session 6B: Machine Learning 2 Session 6C: Question Answering 2 Session 6D: Generation 2 Session 6E: Social Media Session 6F: Information Retrieval 河原先生が座長 ELMoの Luke Zettlemoyer 先生が座長 Richard Socher先 生が座長(2回目)
  14. 14. Copyright © TIS Inc. All rights reserved. 14 ACL2018 開催概要: スケジュール 7/18 7/18 Day3 9:00-10:00 Invited Talk 2: Anton van den Hengel 10:00-10:30 Coffee Break 10:30-12:10 Session 7A: Semantic Parsing 3 Session 7B: Language/Docu ment Model Session 7C: Information Extraction 3 Session 7D: Dialog System 3 Session 7E: Multimodal Session 7F: Discourse 12:10-12:30 Short Break 12:30-14:00 Poster Session 14:00-15:00 Session 8A: Semantics 2 Session 8B: Machine Translation, Multilinguality 2 Session 8C: Information Extraction 2 Session 8D: Generation, Summarization Session 8E: Machine Learning, Question Answering Session 8F: Sentiment 15:00:15:30 Cofee Break 15:30-17:10 Session 9A: Best Paper Session 宮尾先生が座長 Chris Dyer先生が 座長 Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information 高村先生が座長
  15. 15. Copyright © TIS Inc. All rights reserved. 15 ACL2018 開催概要: スケジュール 7/19 ◼ BioNLP 2018 ◼ 医療X自然言語のワークショップ。医療関係のドキュメントから医学用語 を抽出したり、QAシステムを作成するなど ◼ DeepLo: Deep Learning Approaches for Low Resource Natural Language Processing ◼ 少ない資源(データ)でどう学習するかについてのワークショップ ◼ MSR: Multilingual Surface Realization: Shared Task and Beyond ◼ 言語学的なアプローチと、Deepベースのアプローチの融合を試みるワー クショップ。今回が初開催となる。 ◼ Cognitive Aspects of Computational Language Learning and Processing (CogCL) ◼ The 5th Workshop on Natural Language Processing Techniques for Educational Applications (NLPTEA) ◼ Third Workshop on Computational Approaches to Linguistic Code-Switching (CALCS) ◼ Workshop on Machine Reading for Question Answering (MRQA) ◼ Workshop on Relevance of Linguistic Structure in Neural Architectures for NLP (RELNLP)
  16. 16. Copyright © TIS Inc. All rights reserved. 16 ACL2018 開催概要: スケジュール 7/20 ◼ ECONLP: 1st Workshop on Economics and Natural Language Processing ◼ 自然言語処理による市場・製品・顧客の分析など、ビジネスでの活用に関 するワークショップ ◼ MML_Challenge: First Workshop on Computational Modeling of Human Multimodal Language ◼ マルチモーダル情報を利用した自然言語理解に関するワークショップ。 Challengeとして動画による感情分類のデータセットが提供されている(文 単体以外に、画像/音声などを入力として扱うことができる) ◼ NLPOSS: Workshop for NLP Open Source Software ◼ 自然言語処理のOSS開発に関するワークショップ。開発やAPI設計、コ ミュニティの盛り立て方といったことがテーマに上げられている。ゲスト にはspaCy/CoreNLPの開発者らを迎えている(両者は結構やりあっている)。 ◼ 3rd Workshop on Representation Learning for NLP (RepL4NLP) ◼ The 2nd Workshop on Neural Machine Translation and Generation (NMT) ◼ The Seventh Named Entities Workshop (NEWS) ◼ Sixth International Workshop on Natural Language Processing for Social Media (SocialNLP)
  17. 17. ACL2018 Statistics
  18. 18. Copyright © TIS Inc. All rights reserved. 18 ACL採択論文の傾向(1/4) ACL採択論文(Long&Short)の タイトルで使用されている単語 の移り変わり。 使用したデータと分析に使用したNotebookは Kaggle上で公開済み。 2016年で多く使用されている が、その後使用されなくなって いる単語については以下の理由 が考えられる ◼ 手法が普及してあえてタイ トルで強調する必要がなく なった ◼ 手法・テーマがあまり採用 されなくなった
  19. 19. Copyright © TIS Inc. All rights reserved. 19 2016年から見て・・・ ◼ 普及したと思われるもの ◼ neural network, language models ◼ 採用されなくなったと思わ れるもの ◼ statistical, transition based (parsing), topic (model), features 2016年は対話(conversation) が多いが、年を経るにつれ QA(question, selection)に 移ってきている印象。 ACL採択論文の傾向(2/4)
  20. 20. Copyright © TIS Inc. All rights reserved. 20 各年のトレンド ◼ 2016年は表現系(word representations/word embedding)、また対話 (conversation)が多い。 ◼ 2017年は生成系(seq2seq, encoder-decoder, generative model)が多い。 テーマとしてはparseや language modelが多い。 ACL採択論文の傾向(3/4)
  21. 21. Copyright © TIS Inc. All rights reserved. 21 2018年のホットトピック ◼ 2017年からの傾向で強化学 習の導入、またadversarial な学習の導入がトピックと して見られる。 ◼ テーマとしては上記を利用 した質問応答、それとなぜ かsentimentの研究が多い。 ◼ simple/end to end/rubust など、既存のモデルをより シンプルに/単一に/安定させ る研究も増えている印象 ACL採択論文の傾向(4/4)
  22. 22. ACL2018 Prediction
  23. 23. Copyright © TIS Inc. All rights reserved. 23 直近のNAACLでの話題 ◼ BLEUに代表される自動評価指標の見直し ◼ スコアを上げる研究はほぼ限界まで来ている一方、スコアと人の評 価との不一致の問題はまだあまり手が付けられていない。 ◼ データセットの信頼性 ◼ データセットの信頼性は、モデルの信頼性に直結する ◼ ラベルの偏り、誤りのあるデータ(特にクラウドソーシングで作成 する場合)をどう防ぐか ◼ StanfordのRare Word SimilarityやNatural Language Inference (SNLI) Corpusには、すでに信頼性への指摘がある(参考)。 <References> ◼ Highlights of NAACL-HLT 2018: Generalization, Test-of-time, and Dialogue Systems ◼ Some Highlights from NAACL 2018 ACL2018で話題になりそうなテーマ (1/2)
  24. 24. Copyright © TIS Inc. All rights reserved. 24 モデルのスコアが向上する一方、実世界での応用は画像分野に比べ進んで いない。そのギャップを克服するには、根本的な所からの見直しが必要な のでは?という問題意識を感じる(Best Paperの一つは、RNNと脳波との 関連を見出したという野心的なもの)。 ACLでもこの辺りはテーマとなる、と思われる。 ACL2018で話題になりそうなテーマ (2/2) 一週間後からの開催を楽しみにまとう!
  25. 25. THANK YOU

×