関西CVPRML勉強会(https://goo.gl/pMu9A2)で発表したfeature disentanglingに関する論文2篇の紹介スライド． 1. Exploring Disentangled Feature Representation Beyond Face Identification 2. Adaptation and Re-Identification Network: An Unsupervised Deep Transfer Learning Approach to Person Re-Identification

1. Branchの分岐による
Disentangled Feature Learning
@a_hasimoto
2018/7/21
関西CVPRML勉強会 CVPR2018読み会
関西CV・PRML勉強会 https://goo.gl/pMu9A2 1

2. 自己紹介
名前: 橋本敦史 @a_hasimoto
2018/4に京都 → 東京に移動しました
Omron SINIC X(OSX) リサーチャー
専門: CV, Multimedia,
Human Computer Interaction
CVPR2018に参加してきました
関西CV・PRML勉強会 https://goo.gl/pMu9A2
2

3. 今日の発表
• Disentangled Feature Learningの中でも，branchを分けるタ
イプのものを紹介します．
Input
fenc
例: 人物を区別する特徴
例: 人物内の違いを表現する特徴
ごちゃまぜの特徴量を
分離する(=disentangle)
関西CV・PRML勉強会 https://goo.gl/pMu9A2
3

4. 一本目
関西CV・PRML勉強会 https://goo.gl/pMu9A2
4

5. • 本会議初日のポスター発表でした．
• この論文を選んだ理由
• 顔ではないけれど，似たようなことを
しようとしていたので．
• 後に出てくるWorkshopの発表と
対比させたかったので．
• 今後，学習データによる制約を緩和するのに
基本的なArchitectureになりそうと感じたので．
関西CV・PRML勉強会 https://goo.gl/pMu9A2
5

6. 目的: 特徴量を分割する．
• 人のIDを教師データとして持っているとき，
• IDを識別する特徴は獲得できる（当たり前）．
• IDに不変な特徴を獲得できたら？
→ 表情認識のPre-training
→ Semantic Face Editing
関西CV・PRML勉強会 https://goo.gl/pMu9A2
6

7. アイディア: distilling / dispelling branches
このブロックは後で
このブロックは後で
関西CV・PRML勉強会 https://goo.gl/pMu9A2
7

8. 識別問題において，絶対に間違える≒識別可能なので，
敵対的誤差は上流に伝播しない & 乱択になることも目指す
学習方法
: 個人識別できる特徴を出力
: 個人識別を試みる(Discriminator)
（※上流へは誤差伝播しない）
: 個人識別結果のエントロピー最大化
(情報量を0に近づける)
関西CV・PRML勉強会 https://goo.gl/pMu9A2
8

9. VAEで各チャンネルの独立性を上げる
𝒇𝑖
= 𝒇𝒊
+ 𝜀𝝈𝑖
with 𝜀~𝒩(0,1)
VAEのように，各チャンネルiを独立な正規分布と仮定→学習が促進
(fと 𝒇の両方でそれぞれ𝒓𝒆𝒄𝒐𝒏𝒔𝒕𝒓𝒖𝒄𝒕𝒊𝒐𝒏 𝒍𝒐𝒔𝒔を計算, ちょっと黒魔術ぽい)
関西CV・PRML勉強会 https://goo.gl/pMu9A2
9

10. 実験 (個人識別)
• 顔認識について，悪影響はない
• MA-Celeb-1Mだとちょっとだけ悪い?誤差?
• WebFaceだと，ちょっと良い？誤差?
関西CV・PRML勉強会 https://goo.gl/pMu9A2
10
提案手法⇢
※TPR = True Positive Rate @ 0.001 False Positive Rate
※

11. 実験(属性推定) -linear SVMでfine-tuning-
関西CV・PRML勉強会 https://goo.gl/pMu9A2
11
Identify側branch⇢
非Identify側branch⇢
非Identify側(エントロピlossなし)⇢
非Identify側(敵対的lossなし)⇢

12. 属性毎の2つの特徴での正解率の差
関西CV・PRML勉強会 https://goo.gl/pMu9A2
12

13. 二本目(Workshop Paper)
関西CV・PRML勉強会 https://goo.gl/pMu9A2
13

14. 関西CV・PRML勉強会 https://goo.gl/pMu9A2
14

15. 目的: Unsupervised Domain Adaptation
関西CV・PRML勉強会 https://goo.gl/pMu9A2
15
つまり，Domain SpecificとDomain Invariantなfeatureに分ける．

16. Source Domainだけで考えると…
内積が0になる（=ecとepが直行する)ように学習
関西CV・PRML勉強会 https://goo.gl/pMu9A2
16

17. ECは共通の特徴，ET,ESはDomain Specificな特徴を出力
ECは人物同定に寄与しないドメイン特有の特徴を排除するよう学習される．
関西CV・PRML勉強会 https://goo.gl/pMu9A2
17

18. 結果，従来より10ポイント以上精度↑
関西CV・PRML勉強会 https://goo.gl/pMu9A2
18

19. それぞれのlossやbranchの寄与
関西CV・PRML勉強会 https://goo.gl/pMu9A2
19

20. ただし，まだEnd-to-Endでない．
関西CV・PRML勉強会 https://goo.gl/pMu9A2
20
ImageNetで事前学習したResNetを
Freezeして利用
ResNetの特徴をReconstructionし，
AEとしている
実質学習しているのは3層のCNNのみ実質学習しているのは3層のCNNのみ

21. 今後の展開について
• 「特徴抽出工学からネットワークアーキテクチャ工学へ」を特
に感じる問題．
• Hand-crafted 特徴⇢Hand-crafted Networkへ．
• 事前学習済みのモデルがコモディティ化しており，
問題毎にカスタマイズされたネットワークの研究提案が増加?
• おそらく，Feature Disentanglingのノウハウはそのような研究の
中心的な役割を果たすのではないか？
• 系統の整理・性能評価をバッチリするだけでも価値がありそう．
関西CV・PRML勉強会 https://goo.gl/pMu9A2
21