Contenu connexe Similaire à [DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling (10) Plus de Deep Learning JP (20) [DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling1. DeepSketch2Face: A Deep Learning
Based Sketching System for 3D Face
and Caricature Modeling
19 May, 2017
M2 杉原 祥太
2. 書誌情報
• 著者: Xiaoguang Han, Chang Gao and Yizhou Yu
• The University of Hong Kong
• Proceedings of SIGGRAPH 2017
• https://www.youtube.com/watch?v=93WZHKYxqtM
2
5. 関連研究
• Data-drivenなスケッチによるモデル⽣成
• ⼊れ物,⽊など(Huang et al. 2016), 建物(Nishida et al. 2016)
• インタラクティブ性,ネットワークの新規性,データの⾮公開
• Morphableな顔モデル
• CNN以外からも形状の特徴を得ているので,推定がより正確
• 3D顔カリカチュア
• 2Dスケッチから3D顔カリカチュアは本研究初
• スケッチベースのモデリング
• スケッチの線だけでなく,Deepから3D座標を推測して制約条件に
5
6. 提案システム
• 3つのインタラクションモードがある.
• 1. Initial Sketching Mode
• 描いたスケッチがそのまま3Dモデルへ
• 2D投影と3Dモデルの形状は正確には⼀致しない
• 2. Follow-up Sketching Mode
• 線を修正していく
• 適宜スケッチとモデルを切り替えられる
• 3. Gesture-Based 3D Face Refinement
• ジェスチャーで編集
6
7. データベースの構築
• 3Dモデル
• Chao et al. 2014 のデータベースを拡張
• 15000個 (150⼈×表情25通り×誇張4段階)
• 2Dスケッチ
• 雛形にあらかじめ線を定義しておき,線をレンダリング
• ⼿書きスケッチを2000枚⽤意した
7
8. Bilinear Morphable Representation
• Cao et al. 2014のアイデア
• 顔のデータベースを3階テンソル𝑇で表現する
• 𝑇(11500頂点, 600⼈, 表情25通り)
• 𝑇を特異値分解
• 𝑇×# 𝐔×% 𝐔 = 𝐶,
• 𝐶はcore tensor,
• 𝑇 ~ 𝐶*×# 𝐔+×% 𝐔+
• 𝐶*は左上⾓を保存したcore tensor
• 𝑉 = 𝐶×# 𝑢.×% 𝑣.
• 個⼈,表情を表すベクトル𝑢, 𝑣
8
9. ネットワーク構成
• 上はAlexNetと⼀緒 (ReLU, Softmax)
• 𝑢, 𝑣を別々に計算したいため,FC Layersで異なるネットワークを⽤いる. 𝑢が⼤きい
• 輪郭を捉えるため,Shape-level InputでBilinear modelを使う
• Loss関数: 𝐸 =
1
2
∑ 𝑤5 𝐶5×# 𝑢. ×%−𝑔5
#
5 , 𝑔5はground truth
9
10. 学習の流れ
• Classifier training
• Identity, expressionと⼀致するよう学習
• 𝑢 − 𝑣 regression
• 𝑢, 𝑣をLoss関数が⼩さくなるよう学習
• Final tuning
• 内挿して10000データを増やす.
• 10%をテストデータに
10
11. 実験
• Iterations
• Classifier training : 500,000
• 𝑢 − 𝑣 regression: 800,000
• Final tuning: 500,000
• Learning rate: 0.00001, mini-batch size: 50
• Momentum: 0.9, weight decay: 0.00005
11