KCS AI班2017年3月1日の活動。

1. Image-to-Image Translation
with Conditional Adversarial
Networks
論文紹介
Twitter:@UMU____

2. 何の論文か？
• 画像から画像への変換を行う方法がたくさん開発されてきた．

3. 何の論文か？
• たくさんの手法がある中で，手法の役割/効果について研究．

4. 生成した画像の紹介
• 論文参照（多いので）
https://arxiv.org/pdf/1611.07004.pdf

5. 目次
• GAN
• cGAN
• Encoder-Decoder vs U-Net
• Patch-GAN
• L1 vs cGAN vs L1+cGAN

6. • 敵対的生成ネットワーク(Generative Adversarial Networks).
• G:画像を生成する．
• D:画像が本物かどうか判別する．
GAN

7. GAN
• Ｌは，Ｇが生成した画像と，本物の画像を，それぞれ，Ｄが
「Ｇが生成した」，Ｄが「本物の画像だ」と判別できた頻度が
高いほど，大きな値を取る．
損失関数Ｌを，
• Ｄの重みは，最大化するように学習．
• Ｇの重みは，最小化するように学習．
→敵対的生成ネットワーク．

8. GAN
• 学習時にはＤとＧを学習させ，使用時にはＧを用いて画像を生
成する．

9. cGAN
• GANは，Ｇの入力値として高次元のラ
ンダム値を使用していた．
• cGAN(conditional-GAN)は，ＧとＤの入
力値にお手本画像を与える．
→このようにすることで，お手本画像と
本物の画像の関係性に基づいた画像を，
生成できる．

10. Encoder-Decoder vs U-Net
• Ｇでは，お手本画像をもとに画
像を生成する．
• E-Dモデル（左）では，
Convolution層でどんどん画像が
畳み込まれて，生成(DeConvoluton)
するときにはお手本画像のどの
部分のピクセルを生成すべきな
のかという情報が失われる．
• U-Netでは，層を飛び越えて接続
することで，これを解決．
Ｇの中身

11. Encoder-Decoder vs U-Net
• E-DよりもU-
Netの方が，良
い結果を与える．

12. Patch-GAN
• Patch-GANは，Ｄによって画像が本物かどうかを識別するとき
に，画像の全体を見るのではなく，局所領域を見て本物かどう
かを判定する．
→これによって，画像の低周波成分の妥当性より，高周波成分の
妥当性が確保される．
Ｄに入力する局所領域の大きさによっ
て生成画像の性質が変化する．

13. Patch-GAN
• Ｄに入力する局所領域の大きさについて
局所領域を小さくしていくと，全体的な妥当性が失われる．
局所領域を大きくしていくと，局所的な妥当性が失われる
局所領域が大きいと学習すべきパラ
メータが増大するという問題点もあり
局所領域が小さいとColorful

14. L1 vs cGAN vs L1+cGAN

15. L1 vs cGAN vs L1+cGAN
• 損失関数にL1正規化項を入れることで，全体的な妥当性（低周
波領域での妥当性）が確保される．
• cGANでは(PatchGANの導入によって)高周波成分の妥当性が確
保される
→cGANにL1正規化を追加し，
局所的・全体的に妥当性を生む．
※Semantic segmentationなどのhigh detailedな画
像が要求されない場合は，L1正規化のみの方が良
い．

16. まとめ
• GANを用いた画像生成で用いられる様々な手法を評価し，良い
構成方法を検討した．