2020/01/31 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1

2. 緒⾔
2

3. 論⽂名
Data-dependentGaussianPriorObjectiveforLanguageGeneration
https://openreview.net/forum?id=S1efxTVYDr
著者情報
ZuchaoLi,RuiWang,KehaiChen,MasaoUtiyama,EiichiroSumita,Zhuosheng
Zhang,HaiZhao
ShanghaiJiaoTongUniversity,NICT
投稿会議
ICLR2020(Talk)
Rating:(8,8,8)
3

4. 選定理由
Openreviewの評価が⾼い
シンプルな拡張で尤度最⼤化にかかる問題の緩和を⾏っており興味を持った
4

5. 概要
GrandTruthのトークンに対して出⼒⾔語の語彙を類似度で順序づけた上でガウス分布を
作る(事前分布)
モデルの出⼒分布をこの分布に近づけるような損失(D2GPo)を提案
5種のテキスト⽣成を⾏うタスクで実験を⾏い、その全てでスコアを改善
5

6. 背景
テキスト⽣成モデル
⼊⼒系列 、系列を予測するモデル とその出⼒系列 について、 は
p (y∣x) =θ p y ∣x p y ∣x, y … p y ∣x, y .θ ( 1 ) θ ( 2 1) θ ( l 1:l−1)
MaximumLikelihoodEstimation(MLE)
テキスト⽣成モデルでよく使われるのは の負の対数尤度の最⼩化
L (θ) =MLE − log p (y∣x) =θ − log p y ∣x, y < i
i=1
∑
l
θ ( i )
x p (⋅)θ y p (y∣x)θ
p (y∣x)θ
6

7. MLEによるトレーニングの課題
Exposurebias
学習時に全てのデータを⾒るわけではない
Lossmismatch
MLEで学習するが、評価メトリクスはBLEUやROUGE
Generationdiversity
⽣成される単語はよくある単語(出現頻度が⾼い単語)ばかり
Negativediversityignorance
MLEはGrandTruth,それ以外でしかモデル出⼒を評価できない
7

8. Negativediversityignorance
出⼒1.Thelittleboysitsonthedeckchair.
出⼒2.Thelittleboysitsonthemushroom.
GT.Thelittleboysitsonthearmchair.
1,2は誤りではあるが、mushroomよりはdeckchairの⽅が意味が近く間違いは軽度
MLEではこの差を無視することになる(1,2は等しく間違いと評価される)
8

9. ⽬的
Negativediversityignoranceを軽減したい
9

10. ⼿法
10

11. Generalevaluationfunction
モデルとは独⽴な評価関数
GTのトークン について、より⾼い はより良いモデル出⼒
f(⋅)
f( , y) ∈y~ R
y∗
f , y(y~ ∗
) p ( ∣x)θ y~
11

12. Priordistribution
モデル出⼒分布 に対して、事前分布 を考える
GTのトークン に対して事前分布 を作る
q(y)
p (⋅)θ q(y)
yi q =i q y( i)
12

13. の学習
を学習する⽬的関数
L (θ, q) =O KL q(y)∥p (y∣x) −( θ ) αE [f( , y)]q y~
は重み
はモデルに対して独⽴に作るので 、よって
L (θ, q) =O KL q(y)∥p (y∣x)( θ )
f(⋅)
f( , y)y~
α
q(y) E [f( , y)] =q y~ 0
13

14. Data-DependentGaussianPrior(D2GPo)Objective
⽬的関数
L (θ) +
θ
min MLE λL (θ, q)O
は重みλ
14

15. の構築
GTのトークンごとに計算
温度付きソフトマックス関数を使⽤
q y =( ∗
)
exp f , y /T∑j ( (y~j
∗) )
exp f , y /T( (y~ ∗) )
は温度パラメータ
q(y)
T
15

16. の計算1
1.GT内の と全ての出⼒語彙 との類似度を使って を計算
dist =i,j cosine_similarity emb y , emb( ( i) (y~j ))
2. の⼤きさでソートし順序を決める
ORDER y =( i) sort dist , dist , … , dist([ i,1 i,2 i,N ])
f , y(y~ ∗
)
yi { }y~
j dist(i, j)
dist(i, j)
16

17. の計算2
3.⼤きさの順序でガウス分布を作る
単語埋め込みは独⽴な確率分布の⾜し合わせと考えれば、中⼼極限定理から を中
⼼とするガウス分布となる(とのこと)
実験的にガウス分布以外も試している
結局ガウス分布が⼀番良かった
f , y(y~ ∗
)
yi
17

18. のイメージq y( )
18

19. 実験
テキスト⽣成を⾏う以下のタスクで確認
機械翻訳,教師なし機械翻訳,⽂章要約,StoryTelling,ImageCaptioning
全てのタスクで損失関数の追加によりスコアが改善した
19

20. 埋め込みの事前学習
fastTextを使ってタスクごとに事前学習
単語ごとだったりサブワードだったりするので
実装を⾒ると、出⼒語彙それぞれに類似度でソートした語彙のリストをファイルに書き出
した上で使っている
20

21. 結果(機械翻訳)
WMT14(EN–DE,EN–FR),WMT16(EN–RO)
3タスク共通で、語彙数40,000,サブワードに分割
21

22. 結果(教師なし機械翻訳)
事前学習ではなく、Fine-tuningでD2GPo損失を加えている
22

23. 結果(⽂章要約)
AnnotatedGigawordcorpus
D2GPo損失はfine-tuningで使⽤
23

24. 結果(StoryTelling)
WRITINGPROMPTSデータセット
24

25. 結果(ImageCaptioning)
MSCOCO2014データセット
25

26. 26

27. 考察
27

28. に使う関数
ガウス関数が⼀番良かった
線形,cos関数も荒く⾔えばガウス関数に似ているので、近い値になる(とのこと)
f(⋅)
28

29. LowResource環境下での結果
NMTデータ(WMT16EN-RO)をサンプルしてデータが少ない状況下での性能をみた
データが少ない環境下でもD2GPo損失はスコアを改善
より少ない⽅がゲインは⼤きい
データが多い場合にはMLEでも⾃ずとモデルはロバストになれるが、少ない場合には
D2GPoの効果が活きると考察している
29

30. まとめ
Negativediversityignoranceの問題の軽減のための追加の損失関数Data-dependent
Gaussianpriorobjective(D2GPo)を提案した
テキスト⽣成を⾏う広範なタスクで実験し、全てでベースラインのスコアを改善した
30

31. 所感
単純だけど結果が出ててすごい
トークンごとに分布を作るのは⾯⽩い
出⼒系列の⻑さが違うと対応できなくなるので、似たようにできたりしないか
Negativediversityが全く⾒れないということもない気がするけど違うのだろうか
出⼒の分布がガウス分布であるというなら、BCEでも類語は近い値になりそう(デー
タが少ないと効くのはそのせいではないか)
31

32. 32

33. 予備
33

34. ハイパーパラメータの決定
λ=0.1,T=2.0を使⽤している
34

35. GenerationDiversityへの寄与
学習データセット中での出現が100以下の語彙(#LF)をどれだけモデルが出⼒したかをみ
た
D2GPoの追加で、多少#LFの割合は増えたので、GenerationDiversityに対しても多少の
寄与が⾒られた
35

36. 36