CEDEC2016 発表資料 http://cedec.cesa.or.jp/2016/session/AC/12313.html セッションの内容： 現在、ディープラーニングなどの大規模データの学習を活用して、従来成し遂げられなかった実用的な結果を達成している研究が、CGの分野を問わず活発に進められています。 本セッションでは，新進気鋭の若手研究者お二人に、最先端の大規模学習に関連するCGの研究を、ご本人の研究成果を含めて紹介いただきます。 1. 近年、マイクロタスク型クラウドソーシングを活用した研究が多く発表されており、中でもクラウドソーシングと機械学習技術を組み合わせた様々なデザイン支援ツールが提案されています。これらデザイン支援研究について、SIGGRAPHや周辺分野の国際会議の論文から近年の動向を紹介するとともに、共通で用いられている技術や方法論を簡単に紹介いたします。（小山 裕己） 2. 最近のディープラーニングのCGへの応用について、特に画像処理に関する研究に焦点を当て、自身の研究である「白黒写真の自動色付け」および「ラフスケッチの自動線画化」を中心に最新技術を紹介します。（飯塚 里志） ※ 本招待セッションは、情報処理学会 コンピュータグラフィックスとビジュアル情報学研究会とのコラボレーション企画セッションとなります。 情報処理学会 コンピュータグラフィックスとビジュアル情報学研究会 公式サイト: http://cgvi.jp/

5. Research

7.
PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014
ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016
PG 2016
On-Going

8. PG 2016
PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014
ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-GoingACM/EG SCA 2012 ACM/EG SCA 2013

9. PG 2016
PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014
ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-Going
EG-Short 2016 医療情報学 2014

10. PG 2016
PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014
ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-Going
ACM Trans. Graph. 2014
ACM Trans. Graph. 2015
PG 2016

11. PG 2016
PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014
ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016 On-GoingACM UIST 2014 ACM CHI 2016 On-Going
PG-Short 2016

12.
PG-Short 2016EG-Short 2016 医療情報学 2014 ACM Trans. Graph. 2014
ACM/EG SCA 2012 ACM/EG SCA 2013 ACM Trans. Graph. 2015 ACM UIST 2014 ACM CHI 2016
PG 2016
On-Going

13. Real-Time Example-Based Elastic Deformation
Y. Koyama, K. Takayama, N. Umetani, and T. Igarashi
SCA 2012

15. Interactive Deformation of Heart Models from Medical Images
K. Nakashima, Y. Koyama, T. Igarashi, T. Ijiri, S. Inada, K. Nakazawa
Eurographics 2016 Short Papers

26. 0
100
200
300
400
500
600
700
800
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

35. Body Talk: Crowdshaping Realistic 3D Avatars with Words
S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black
SIGGRAPH 2016

42. AttribIt: Content Creation with Semantic Attributes
S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser
UIST 2013

44. 「もっと怖く」「もっと強そうに」などの
言葉にもとづいた三次元モデリングが可能

45. Semantic Shape Editing Using Deformation Handles
M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara
SIGGRAPH 2015

47. 言葉に基づくスライダによる形状編集

48. 異なるトポロジでも適用可能

49. A Similarity Measure for Illustration Style
E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann
SIGGRAPH 2014

51. スタイルを考慮した画像検索

52. Style Compatibility for 3D Furniture Models
T. Liu, A. Hertzmann, W. Li, T. Funkhouser
SIGGRAPH 2015

54. 応用：スタイルの親和性を考慮した三次元モデル検索

55. Crowd-Powered Parameter Analysis for Visual Design Exploration
Y. Koyama, D. Sakamoto, and T. Igarashi
UIST 2014

59. Mirror Mirror: Crowdsourcing Better Portraits
J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang
SIGGRAPH Asia 2014

62. Body Talk: Crowdshaping Realistic 3D Avatars with Words
S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black
SIGGRAPH 2016
AttribIt: Content Creation with Semantic Attributes
S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser
UIST 2013
Semantic Shape Editing Using Deformation Handles
M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara
SIGGRAPH 2015
A Similarity Measure for Illustration Style
E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann
SIGGRAPH 2014
Style Compatibility for 3D Furniture Models
T. Liu, A. Hertzmann, W. Li, T. Funkhouser
SIGGRAPH 2015
Crowd-Powered Parameter Analysis for Visual Design Exploration
Y. Koyama, D. Sakamoto, and T. Igarashi
UIST 2014
Mirror Mirror: Crowdsourcing Better Portraits
J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang
SIGGRAPH Asia 2014

63. Body Talk: Crowdshaping Realistic 3D Avatars with Words
S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black
SIGGRAPH 2016
AttribIt: Content Creation with Semantic Attributes
S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser
UIST 2013
Semantic Shape Editing Using Deformation Handles
M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara
SIGGRAPH 2015
A Similarity Measure for Illustration Style
E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann
SIGGRAPH 2014
Style Compatibility for 3D Furniture Models
T. Liu, A. Hertzmann, W. Li, T. Funkhouser
SIGGRAPH 2015
Crowd-Powered Parameter Analysis for Visual Design Exploration
Y. Koyama, D. Sakamoto, and T. Igarashi
UIST 2014
Mirror Mirror: Crowdsourcing Better Portraits
J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang
SIGGRAPH Asia 2014
言葉や描写とデザイン要素の関係性を学習

64. Body Talk: Crowdshaping Realistic 3D Avatars with Words
S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black
SIGGRAPH 2016
AttribIt: Content Creation with Semantic Attributes
S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser
UIST 2013
Semantic Shape Editing Using Deformation Handles
M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara
SIGGRAPH 2015
A Similarity Measure for Illustration Style
E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann
SIGGRAPH 2014
Style Compatibility for 3D Furniture Models
T. Liu, A. Hertzmann, W. Li, T. Funkhouser
SIGGRAPH 2015
Crowd-Powered Parameter Analysis for Visual Design Exploration
Y. Koyama, D. Sakamoto, and T. Igarashi
UIST 2014
Mirror Mirror: Crowdsourcing Better Portraits
J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang
SIGGRAPH Asia 2014
言葉や描写とデザイン要素の関係性を学習
デザイン要素間の認知的な距離を学習

65. Body Talk: Crowdshaping Realistic 3D Avatars with Words
S. Streuber, Q. Ramirez, M. Hill, C. Hahn, S. Zuffi, A. O'Toole, M. Black
SIGGRAPH 2016
AttribIt: Content Creation with Semantic Attributes
S. Chaudhuri, E. Kalogerakis, S. Giguere, and T. Funkhouser
UIST 2013
Semantic Shape Editing Using Deformation Handles
M. E. Yumer, S. Chaudhuri, J. K. Hodgins, and L. B. Kara
SIGGRAPH 2015
A Similarity Measure for Illustration Style
E. Garces, A. Agarwala, D. Gutierrez, and A. Hertzmann
SIGGRAPH 2014
Style Compatibility for 3D Furniture Models
T. Liu, A. Hertzmann, W. Li, T. Funkhouser
SIGGRAPH 2015
Crowd-Powered Parameter Analysis for Visual Design Exploration
Y. Koyama, D. Sakamoto, and T. Igarashi
UIST 2014
Mirror Mirror: Crowdsourcing Better Portraits
J.-Y. Zhu, A. Agarwala, A. A. Efros, E. Shechtman, and J. Wang
SIGGRAPH Asia 2014
言葉や描写とデザイン要素の関係性を学習
デザイン要素間の認知的な距離を学習
デザイン要素の美的評価基準を学習

69. σ(x) =
1
1 + exp(−x)
-3 -2 -1 0 1 2 3
0.5
1
σ(x)

70. σ(x) =
1
1 + exp(−x)
-3 -2 -1 0 1 2 3
0.5
1
σ(x)

73. f( ) = 0.13
f( ) = 0.96
f( ) = 0.53

74. f( ) = 0.13
f( ) = 0.96
f( ) = 0.53
f

75. f(x) = wT
x
x f

76. f(x) = wT
x
x f
f w,

77. i Ai Bi

78. i Ai Bi
A5 B5

79. i Ai Bi

80. i Ai Bi
f(xi
A) > f(xi
B) f

81. i Ai Bi
f(xi
A) > f(xi
B) f
σ f(xi
A) − f(xi
B) f

82. i Ai Bi
max
w
X
i2D
σ
�
f(xi
A) − f(xi
B)
�
f
f(xi
A) > f(xi
B) f
σ f(xi
A) − f(xi
B) f

84. p(choose A over B) = σ(f(xA) − f(xB))

85. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

86. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

87. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

88. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

89. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

90. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

91. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))

92. arg max
w
{p(w|D)} = arg max
w
{p(D|w)p(w)}
= arg max
w
{log p(D|w) + log p(w)}
= arg max
w
(
X
i2D
log σ(f(xi
A) − f(xi
B)) − λkwk1
)
p(choose A over B) = σ(f(xA) − f(xB))