Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (17)
Similaire à [PaperReading]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Similaire à [PaperReading]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation (20)
Dernier
Dernier (11)
[PaperReading]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
- 1. PaperReading: 2018/07/02 Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation read by Kazutoshi Shinoda
- 2. 論文概要 ◉ Title: Unsupervised Discrete Sentence Representation（略） ◉ In ACL 2018 ◉ Zhao et al. @CMU ◉ scores: 5-5-5 ◉ 実装・デー タ：https://github.com/snakeztc/NeuralDialog -LAED 2
- 4. Dialog System ◉ Classic model (rule-based) ○ 利点：interpretable ○ 欠点：スケールしない ◉ Neural model ○ 利点：泥臭い作業がいらない、スケールする ○ 欠点：not interpretable 4
- 5. Abstract “We present an unsupervised discrete sentence representation learning method that can integrate with any existing encoder-decoder dialog models for interpretable response generation.” (Zhao et al.) 5
- 6. 問題設定 ◉ context c, response x, latent action z 6 C C C x z
- 7. latent action z 対話システムをinterpretableにするために、latent action z を導入 ◉ zはk ∈ [1,K]の離散値をとり、何かしらの意味をもつ値 （特に規定はしない） ◉ zは以下の性質を持つものとする 1. zは、発話xの特徴を捉えている 2. zの意味は文脈cとは独立である ■ これにより、文脈に依存しない意味をzに持たせることが できる 7
- 8. Framework 以下の4つの構成要素からなる ◉ Recognition network R: q(z|x) ◉ Generation network G: p(x|z) ◉ Encoder decoder network: F: p(x|z,c) ◉ Policy network π: p(z|c) 8 zの学習に使う cとzから xを生成する
- 9. Framework 以下の4つの構成要素からなる ◉ Recognition network R: q(z|x) ◉ Generation network G: p(x|z) ◉ Encoder decoder network: F: p(x|z,c) ◉ Policy network π: p(z|c) 9 zの学習に使う cとzから xを生成する
- 10. Learning Process Recognition 10 Z Generation X sentence VAE with discrete latent space
- 11. sentence VAE with discrete latent space ◉ Recognition network R: q(z|x) ○ RNN ○ z = {z1…zm…zM}のM個の変数からなり、zmはKクラスのカテ ゴリ変数 ○ q(zm|x) = Softmax(Linear(h_last)) ← Gumbel-Softmax ◉ Generation network G: p(x|z) ○ RNN ○ initial state h0からxを再構成する ◉ latent samples zm → initial state of generator h0 ○ h0 = Σem(zm) 11
- 12. Gumbel-softmax ◉ カテゴリ変数を確率分布からサンプリングする時に、 Backpropagateできるようにサンプリングするための 機構 ◉ 詳しくは論文参照[1] 12 [1]Jang et al. Categorical reparameterization with gumbel-softmax. In ICLR 2017.
- 13. AE / VAE (Variational Auto Encoder) ◉ AE ◉ VAE 13
- 14. AE / VAE NLPへの応用 ◉ AE ○ Sequential AE[2] ○ x→z→x ◉ VAE ○ Sentence VAE[3] ○ x→(μ, σ)→z→x 14 [2]Hill et al. Learning Distributed Representations of Sentences from Unlabelled Data. In NAACL-HLT 2016. [3]Bowman et al. Generating Sentences from a Continuous Space. In CoNLL 2016
- 15. VAEの欠点 ◉ “Posterior Collapse”問題 ○ Decoder p(x|z)が十分にpowerfulであるとき、 Decoderはzに依存せずp(x)を、Encoder p(z|x)はx に依存せずp(z)を出力してしまう=学習が難しい ⇨これまでの色々な対策 ○ 意図的にDecoderに不利な条件を与える ■ 単語のdropout[2] ○ Vector Quantizationの利用(画像、音声)[4] 15 [2]Hill et al. Learning Distributed Representations of Sentences from Unlabelled Data. In NAACL-HLT 2016. [4]van den Oord et al. Neural Discrete Representation Learning. In NIPS 2017.
- 16. VAEの欠点：本論文の主張 ◉ “Posterior Collapse”問題 ○ 原因はELBOにある 16
- 17. ELBOとは ◉ VAEの目的関数 ◉ evidence lowerbound objectiveの略 ○ ELBOの式： 17 誤差：ちゃんと復元できているか 正則化項：KL
- 18. 相対エントロピーと相互情報量 KL: Kullback-Leibler divergence(相対エントロピー) ◉ p=q ならば KL(p|q)=0 ◉ KL >= 0 I[x, y]: mutual information(相互 情報量) ◉ zとxが互いに独立なら ばI[z,x]=0 ◉ I >= 0 18
- 19. VAEの欠点：本論文の主張 ◉ ELBOをdatasetの平均に拡張 ・・・ELBO↑ ⇨ I↓ ⇨ zとxは互いに独立（に近づく） 19 証明：論文のAppendix参照
- 20. VAEの欠点：本論文の主張 ◉ 以下のようにELBOとmutual informationを最 適化することで解決できる ◉ infoVAE[5]と全く同じ目的関数 20 [5] Zhao et al. Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders. In ACL 2017.
- 21. ◉ q(z)はEx[q(z|x)]なので、各mini-batchについて ◉ これをBatch Prior Regularization(BPR)と呼ぶことに する 21 をどう求めるか
- 22. Learning Sentence Representations from the Context ◉ distributional hypothesis(分布仮説) ○ 文/単語の意味は周辺の文/単語から推測できる ○ Skip Thought vectors[6] ◉ Discrete Information Variational Skip Thought (DI- VST) ○ 2つのGeneratorで前(p)後(n)の文を予測 22 [6] Kiros et al. Skip-Thought vectors. In NIPS 2015.
- 23. Proposed Sentence Representations ◉ DI-VAE ◉ DI-VST 23
- 24. Framework 以下の4つの構成要素からなる ◉ Recognition network R: q(z|x) ◉ Generation network G: p(x|z) ◉ Encoder decoder network: F: p(x|z,c) ◉ Policy network π: p(z|c) 24 zの学習に使う cとzから xを生成する
- 25. Latent Action Encoder Decoder (LEAD) Input: c Output: x ◉ Encoder decoder network: F: p(x|z,c) ○ Encoder: c → h ○ Decoder: h, z → x ◉ Policy network π: p(z|c) ○ multi-layer perceptron: h → z’ 25
- 26. Attribute Forcing LAED ◉ Decoderのinputにzを加えてもそれがoutputに反映され るとは限らない ⇨Controllable text generation framework[7]の利用 ○ Recognition q(z|x)をdiscriminatorとしてDecoderの出力にzが反 映されていなかったらペナルティ ○ 離散値に対応するためにdeterministic continuous relaxation[7] 26 [7] Hu et al. Toward controlled generation of text. In ICML 2017.
- 27. Procedure ◉ Train ○ given c, x ○ Recognition x → z ○ Generation z →x ○ Encoder c → h ○ Decoder h, z →x ○ Policy h → z’ ◉ Test ○ given c ○ Encoder c → h ○ Decoder h, z’ → x ○ Policy h → z’ 27
- 28. Experiments ◉ 検証に使うデータセット ○ Penn Treebank preprocessed by Micolov ○ Stanford Multi-Domain Dialog (SMD) dataset ■ task oriented ○ Daily Dialog (DD) ■ 13,118 human-human dialogs (open domain) ○ Switchboard (SW) ■ 2,400 human-human telephone dialogs (open domain) 28
- 29. Experiments 文表現の提案モデル ◉ DI-VAE ◉ DI-VST Baselines ◉ Unregularized models ○ DAE (removing KL term from DI-VAE) ○ DST (removing KL term from DI-VST) ◉ ELBO models ○ DVAE (discrete sentence VAE) ○ DVST (discrete variational ST) 29
- 30. Results ◉ Unsupervised Discrete Sentence Representationの評価 ◉ PPL: 低いほど良い ◉ KL: 低いほど良い ◉ I: 高いほど良い 30
- 33. Results 33 Homogeneity: A clustering result satisfies homogeneity if all of its clusters contain only data points which are members of a single class. (http://scikit-learn.org/stable/modules/generated/sklearn.metrics.homogeneity_score.html)
- 35. Results 35 AE-EDの方が生成された文からlatent actionを復元できている Lattrを加えてlatent actionを無理やり考慮させるとよりlatent actionを復元できる DD、SWのopen domainで難易度が高いデータセットでLattrが特に効果を発揮
- 38. まとめ ◉ Interpretableな対話システムのために離散的 な文の表現を学習 ◉ VAE, SkipThoughtをベースにしたsentence representationを提案 ◉ 離散潜在変数によって対話システムが Interpretableになった 38