第2回3D勉強会の研究紹介スライドです。 [論文概要] ニューラルネットワークに組み込むことができる3Dメッシュのレンダラーである Neural Renderer を開発しました。『逆伝播』と呼ばれる処理をニューラルネットワークに適した形に定義し直したことがポイントです。そしてこのレンダラーを (a) 単一画像からの3Dメッシュの再構成 (b) 画像から3Dへのスタイル転移と3D版ディープドリームへと応用しました。

2. •
•
•
•
•
•
•
•
•
•

10. 3D Reconstruction 2D-to-3D Style Transfer 3D DeepDream

11. •
•
•
•
•
•
•
•
•
•
•

14. !!

16. Images are from
http://cse.iitkgp.ac.in/~pb/research/3dpoly/3dpoly.html
http://waldyrious.net/learning-holography/pb-cgh-formulas.xhtm
http://www.cs.mun.ca/~omeruvia/philosophy/images/BunnyWire.gif

19. ✗

20. •
•
✗

21. ✗

22. •
•
✗

23. ✗

24. •
•

25. •
•

26. ! "
x
x
p
p
#$
#%

27. !"
!#
=
∆"
∆#
x
x
x
p
p
p
Δp
Δx

28. x
x
x
p
p
p
Δp
Δx
!
"#
"$
0 <
"#
"$
! '
• ∆' < 0 ) '
"*
"$
=
∆*
∆$
• 0 < ∆' ) '
)
"*
"$
= 0
0 <
"#
"$
"#
"$
< 0
• ∆,
-.
-,
< /
-0
-,
=
∆0
∆,
• / ≤ ∆,
-.
-,
-0
-,
= /

29. !!
•
•
•

30. •
•
!!

31. •
!!

33. airplane bench dresser car chair display lamp speaker rifle sofa table phone vessel mean
.5564 .4875 .5713 .6519 .3512 .3958 .2905 .4600 .5133 .5314 .3097 .6696 .4078 .4766
.5556 .4924 .6823 .7123 .4494 .5395 .4223 .5868 .5987 .6221 .4938 .7504 .5507 .5736
.6172 .4998 .7143 .7095 . 4990 .5831. 4126 .6536 .6322 .6735 .4829. 7777 .5645 .6016
•
•

34. •
•

35. Juan Gris, “Portrait of Pablo Picasso” Pieter Bruegel the Elder, “The Tower of Babel”

36. https://github.com/google/deepdream
•
•

37. ✗

38. •
•

39. •
•
•
•
•
•
•

40. •
•
•
•
•
•
•
•
•

42. •
•
•
•
•
•
•
•
•
•
•
•