Recommandé
Contenu connexe
Tendances
Tendances (20)
Plus de Yen-lung Tsai
Plus de Yen-lung Tsai (18)
生成對抗模式 GAN 的介紹
- 2. 1 轟動登場 2
- 3. 3 強化學習 ⽣成對抗模式 (GAN) VAE 膠囊 標準 NN CNN RNN
- 4. 4 There are many interesting recent development in deep learning… The most important one, in my opinion, is adversarial training (also called GAN for Generative Adversarial Networks). ” “ —Yan LeCun (楊⽴昆), 2016
- 5. 5 原創者 Ian Goodfellow, 之前 最著名的是和他博⼠時期兩位 ⽼師 Yoshua Bengio 和 Aaron Courville 寫了號稱 Deep Learning 聖經的書。
- 6. 6 Generative Adversarial Networks https://arxiv.org/abs/1406.2661 Ian Goodfellow 等⼈ (NIPS 2014)
- 7. 7 Ian Goodfellow 的 GAN 教學 (NIPS 2016) https://youtu.be/AJVyzd0rqdc
- 10. 2 DEMO 10
- 11. 11 朱俊彦等⼈ (ECCV 2016) “Generative Visual Manipulation on the Natural Image Manifold” iGAN https://arxiv.org/abs/1609.03552
- 13. 13 Karras 等 NVIDIA 團隊 (ICLR 2018) “Progressive Growing of GANs for Improved Quality, Stability, and Variation” Progressive GAN https://arxiv.org/abs/1710.10196
- 15. 15 Isola, 朱俊彦等⼈ (CVPR 2017) “Image-to-Image Translation with Conditional Adversarial Networks” Pix2Pix https://arxiv.org/abs/1611.07004
- 16. 16 * 來⾃ Isola, 朱俊彦等⼈的原始論⽂ (2017) Pix2pix 把衛星圖變地圖。
- 17. 17 * 來⾃ Isola, 朱俊彦等⼈的原始論⽂ (2017) Pix2pix 隨⼿畫畫變街景。
- 18. 18 * Christopher Hesse 依原論⽂做出 Pix2pix 線上版。 https://affinelayer.com/pixsrv/
- 19. 19 朱俊彦等⼈ (ICCV 2017) “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks” CycleGAN https://arxiv.org/abs/1703.10593
- 24. 24 What I cannot create, I do not understand. ”“ —Richard Feynman
- 28. 28 向量 z 可能代表⼀個類 別 (⽐如說狗), 那有很多 可能圖⽚都是「正確」 的... 難點 2
- 29. 29 常常是我們選好了 z, 就要學⼀個機率分布, 然後我們就 可以從這個機率分布適當的抽樣出來 x。 這樣會⽐較簡單也實 在是件懸疑的事...
- 33. 33 encoder decoderz latent vector x m >> k k維 x m維 於是, z 可以取代 x (或者說 z 是 x 的 ⼀個 presentation)
- 34. 重點 AutoEncoder 34 encoder zx 以後我們基本上可以⽤ ⽐較⼩的 z 來取代⽐較 ⼤的 x。
- 35. 重點 AutoEncoder 35 更有意思的可能是, 我 們是不是可以⽤我們⾃ ⼰隨便取的 z, ⽣出⼀ 些有意思的 x? decoderz x
- 36. 36 答案是不太⾏ 隨便⽣兩個 laten vectors, 數學上距離很近, 但⽣出來的東⻄不⼀定有什麼關係。 ⽩話⽂是 z 差不多就是亂數, 我們無以掌控。
- 38. 重點 VAE 38 神秘編碼 laten vector 每個數字是符合某常態分 布的, 這樣我們容易掌控! 我們想辦法找每個數的平 均值和變異數 (or 標準差)
- 39. 重點 VAE 39 encoder zx k維 m維 μ σ 在 encoder 後做點⼿腳。 laten vector 其實這層還有 加 noise
- 42. 5 GAN 42
- 43. 43 ⽣成器 generator Noise 鑑別器 discriminator 真的 or 假的 再⼀次, GAN 是兩個神經網路, ⼀個⽣成、⼀個判斷, 相互對抗! z x G D G(z)
- 44. 44 希望 接近 1 希望 接近 0 接近 1 ⽣成器 G 判斷器 D D, G ⼤對抗!
- 45. 45 真實世界的 distribution 我們 model 出來的 distribution 向量 z 的 distribution 常被⽤到的分布
- 46. 46 插播: 可愛的 log log 是遞增 函數。 1
- 47. 47 插播: 可愛的 log log 把可怕的乘法變可 愛的加法! 2
- 48. 48 Ex∼pdata [log D(x)] Ez∼pz [log(1 − D(G(z)))] 判斷器 D 這兩個都越⼤越好。 1 2
- 49. 49 Ez∼pz [log(1 − D(G(z)))] 想辦法變⼩騙過 D! 2 ⽣成器 G
- 50. 50 ⽣成對抗 min G max D V (D, G) = Ex∼pdata [log D(x)] + Ez∼pz [log(1 − D(G(z)))]
- 51. 51 過程: 每個 minibatch 判斷器 D ⽣成器 G 訓練 訓練
- 52. 52 D∗ G(x) = pdata(x) pdata(x) + pg(x) optimal discriminator 這可以證明
- 53. 53 學習過程 * 來⾃ Ian Goodfellow 等⼈ GAN 的原始論⽂ (2014) D pg Pdata ⼀開始 G 就被下⾺威!
- 54. 54 學習過程 * 來⾃ Ian Goodfellow 等⼈ GAN 的原始論⽂ (2014) 學成的時後 D 無法區分哪個是真的! D pgPdata =
- 55. 6 GAN的困難點 55
- 57. 57 有種種調校法 但是我們沒有要細講。 Feature Matching One-sided Label Smoothing Batch Normalization
- 58. 58 WGAN Wasserstein GAN Arjovsky-Chintala-Bottou (PMLR 2017) https://arxiv.org/abs/1701.07875
- 59. 59 WGAN Wasserstein GAN 令⼈拍案叫絕的 Wasserstein GAN https://zhuanlan.zhihu.com/p/25071913
- 60. 60 聽說 Soumith Chintala 來, 參加 GAN ⽐賽的同學
- 61. 61 Wasserstein Distance (Earth Move Distance)
- 62. 62 原始 paper 建議不要⽤ 有調到 momentum 的 optimizer, ⽐如說 RMSprop。
- 63. 63 WGAN 就是穩!
- 64. 7 CycleGAN 64
- 67. 67 多個 domains 互轉的 StarGAN 也很值得注意! Choi 等⼈ (CVPR 2018 ) “StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation” https://arxiv.org/abs/1711.09020