NeurIPS2018読み会@PFN 発表資料 a unified feature disentangler for multi domain image translation and manipulation

1. NeurIPS 2018 読み会 ＠PFN
岡本大和
2019/01/26
A Unified Feature Disentangler
for Multi-Domain Image Translation
and Manipulation(NeurIPS’18)
https://neurips.cc/ https://connpass.com/event/115476/

2. 自己紹介 岡本大和（おかもとやまと）
 京都大学でパターン認識を専攻して修士課程修了 (2013)
 卒業後はオムロンで技術起点の事業創造を担当 (2013~)
 夢は京都をポスト・シリコンバレーにすること
twitter RoadRoller_DESU
@ICDM’18
Banquet

3. 本日紹介する論文
A Unified Feature Disentangler
for Multi-Domain Image Translation and Manipulation (NeurIPS’18)
Alexander H. Liu, Yen-Cheng Liu, Yu-Ying Yeh, Yu-Chiang Frank Wang
National Taiwan University, Georgia Institute of Technology, University of California,
MOST Joint Research Center for AI Technology and All Vista Healthcare
なぜこの論文を選んだのか?
- 特徴量を分離する『Feature disentangle』が最近盛り上がっているから
- NeurIPS2018で『disentangle』をタイトルに含む論文は約10件あった
- 関西CVPRML勉強会で紹介されたCVPR’18の論文を読んで興味を持った
https://www.slideshare.net/atsushihasimoto/cvprml-cvpr2018-feature-disentangling

4. Motivation
ごちゃまぜの特徴量を分離/整理して取り出したい (disentangle)
①ドメイン特徴量、②それ以外(=ドメイン不変な特徴量)
Unsupervised
Domain Adaptation
Cross-domain
image translation
http://openaccess.thecvf.com/content_cvpr_2017/papers/Tzeng_Adversarial_Discriminative_Domain_CV
PR_2017_paper.pdf
http://sse.tongji.edu.cn/linzhang/CV/ReadingMaterials/Image-To-Image_Translation.pdf

5. Related Work
Adversarial Discriminative Domain Adaptation(CVPR’17)
どちらのドメインから抽出した特徴量なのか区別できないよう敵対学習
ドメインが異なっても同じような特徴量分布となるため識別器を共有可能
この手法の課題
ドメイン特徴量の分布を寄せる過程で、
意味ある情報（ semantic information ）を損失しているリスクがある。
Unsupervised Domain Adaptation

6. Related Work
この手法の課題
ドメイン特徴量の分布を寄せる過程で、
意味ある情報（ semantic information ）を損失しているリスクがある。
Unsupervised Domain Adaptation
補足：こんな感じ
0~9の文字クラスの特徴量分布
ドメイン(赤と青)が異なると、
分布が若干異なる。
これが重なるよう調整する。
http://proceedings.mlr.press/v37/ganin15.pdf

7. Related Work
Image-to-Image Translation with Conditional Adversarial
Networks (CVPR’17)
２ドメインの画像ペアについて敵対学習する。
Image Translationで生成した画像ペアだと見抜かれないよう学習する。
この手法の課題
２ドメイン専用手法なので拡張性が低い。
マルチドメインに展開した場合は計算量が膨大になる。
Cross-domain image translation

8. Key Idea
Unified Feature Disentangle Network (UFDN)
敵対学習を利用して特徴量を分離する
ドメイン特徴量を拡張可能なvector表現にしてマルチドメイン対応
自己符号化器を添えることで情報損失を防ぐ

9. Key Idea (detail)

10. Key Idea (detail)
Encoderによって
ドメイン不変の
特徴量 z を抽出したい

11. Key Idea (detail)
Encoderによって
ドメイン不変の
特徴量 z を抽出したい
ドメイン識別タスクで
敵対学習をする

12. Key Idea (detail)
Encoderによって
ドメイン不変の
特徴量 z を抽出したい
ドメイン識別タスクで
敵対学習をする
Dvはｚからドメイン識別できるように学習、
Encoderはドメイン識別されないような特徴量 z を抽出できるよう学習

13. Key Idea (detail)
ｚからドメイン識別できなくなれば、
つまり、ｚはドメイン不変の特徴量！

14. Key Idea (detail)
しかし、ドメイン識別できないようにするなら
特徴抽出するとみせかけて、
ノイズ出力するだけでも達成されてしまう
ｚからドメイン識別できなくなれば、
つまり、ｚはドメイン不変の特徴量！

15. Key Idea (detail)
しかし、ドメイン識別できないようにするなら
特徴抽出するとみせかけて、
ノイズ出力するだけでも達成されてしまう
ｚには、ドメイン以外の情報が
損失なく保存されるような工夫が必要
ｚからドメイン識別できなくなれば、
つまり、ｚはドメイン不変の特徴量！

16. Key Idea (detail)
自己符号化器によるReconstruct LOSSを追加
ｚからｘを復元できるような制約によって情報損失を防ぐ

17. Key Idea (detail)
自己符号化器によるReconstruct LOSSを追加
ｚからｘを復元できるような制約によって情報損失を防ぐ
ただしｚは
先ほどの敵対学習により
ドメイン不変である
つまり、
ドメイン情報は含まれず、
ドメイン以外の情報しか
含まれない。
Reconstructionするには
ドメイン情報が足りない。

18. Key Idea (detail)
自己符号化器によるReconstruct LOSSを追加
ｚからｘを復元できるような制約によって情報損失を防ぐ
ドメインを示すvectorをｚに加算(concat)してReconstructionする。
ドメイン情報を加えるだけでReconstructionに成功したならば、
ドメイン以外の情報はｚに保存されていると言える。
ただしｚは
先ほどの敵対学習により
ドメイン不変である
つまり、
ドメイン情報は含まれず、
ドメイン以外の情報しか
含まれない。
Reconstructionするには
ドメイン情報が足りない。

19. Key Idea (detail)
補足：
ドメインを示すvectorは、具体的にはone hot vectorを利用
例） ドメイン１ ⇒ [1, 0, 0]
ドメイン２ ⇒ [0, 1, 0]
ドメイン３ ⇒ [0, 0, 1]

20. Key Idea (detail)
ドメイン以外の情報がｚに保存されているならば、
ウソのドメイン情報（vector）をｚに加算すれば、
Image-translationができる

21. Key Idea (detail)
ドメイン以外の情報がｚに保存されているならば、
ウソのドメイン情報（vector）をｚに加算すれば、
Image-translationができる
生成画像の質を担保するために
Real/Fakeおよび、
ドメイン識別のLOSSを設置

22. Key Idea (detail)

23. Experiment
① Unsupervised domain adaption
抽出したドメイン不変の特徴量ｚによって、
学習データとは異なるドメインのデータで数字識別タスクにチャレンジ
② image-to-image translation
ｚに加えるドメイン情報（vector）を変化させることで、
様々な画像を生成する
①
②

24. Experiment
① Unsupervised domain adaption
state-of-the-art !!
MNIST USPS SVHN

25. Experiment
① Unsupervised domain adaption
state-of-the-art !!
MNIST USPS SVHN
残り３パターンは
どうだったんだろ・・？

26. Experiment
① Unsupervised domain adaption
state-of-the-art !!
MNIST USPS SVHN
→SVHN のパターンは
ダメだったんだろうな…

27. Experiment
② image-to-image translation
マルチドメイン（ここでは３）でimage translationに成功
(a) 左端の元画像に対してimage translationした結果
(b) ｚをランダムサンプリングして画像生成した結果
※上下方向ではドメイン以外の特徴量(ｚ)が異なり、左右方向ではドメイン特徴量(ｖ)が異なる

28. Experiment
② image-to-image translation
マルチドメイン（ここでは３）でimage translationに成功
(a) 左端の元画像に対してimage translationした結果
(b) ｚをランダムサンプリングして画像生成した結果
※上下方向ではドメイン以外の特徴量(ｚ)が異なり、左右方向ではドメイン特徴量(ｖ)が異なる
Sketch と Paint の間や、
3ドメインの中間はどうなるんだろう…
[1/3, 1/3, 1/3]を入力してみたい

29. Experiment
② image-to-image translation
画質評価（SSIM/MSE/PSNR）で従来手法を上回った
※これらの画像はいずれもドメイン以外の特徴量(ｚ)は同じで、ドメイン特徴量(ｖ)だけが異なる

30. Conclusion
• ドメイン特徴量とそれ以外に分離して抽出するUFDN手法を提案
 ドメイン情報を示すvectorを調整すれば簡単に複数ドメイン対応可能
 自己符号化器と敵対学習によって情報損失を防ぐ
• Unsupervised domain adaption (SVHN→MNIST)でSOTAを達成

31. Thanks r2d.info