2017/6/13 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. Learning by Association
A versatile semi-supervised training
method for neural networks
東京大学大学院 中山研究室 横田匡史

2. Semi-Supervised Learning
‣ グラフベース
データの類似グラフを作りラベルを伝搬
‣ 決定境界をデータから遠ざける(擬似データetc)
１．学習したモデルを用いて
ラベルなしデータをラベル付け(pseudo-label etc.)
２．または、ラベル付きデータにノイズを入れる(VAT)
‣ 多様体学習
多様体の推定にラベル無しデータ用いる(Tanget Manifold Classifier)
‣ 生成モデル
ラベルなしデータを特徴量学習に用いるか
不完全データとして学習に用いる(VAE etc.)
→今回のテーマは、”グラフベース”と”決定境界をデータから遠ざける”の中間
(参考: https://www.slideshare.net/beam2d/semisupervised-learning-with-deep-generative-models)

3. Idea
記憶
イヌ！
人間は、学習サンプルに関連付けて考えることができるので
少数サンプルでも正確に回答できる。
→学習サンプルとラベルなしデータを紐付けながら学習する
事で同じことができないか？

4. Idea
Labeled Unlabeled Labeled
同じクラスの２つのラベル付きデータの間に適切な
ラベルなしデータを紐付けられるように学習する。

5. Overview
Unlabeled
Label X
Label Y
walkerが「ラベル付き→ラベルなし→ラベル付き」と遷移させた時
にスタートとゴールのクラスが同じになるように学習させる。この
時のwalkerは類似度から算出される遷移確率に従い行動する。

6. Method

7. Method
• A: ラベル付きデータ
• B: ラベルなしデータ
• AiのデータとBjのデータの類似度Mij: 内積
• この類似度Mを元にwalkerの遷移確率を求める

8. Method
• Transaction Probability
• Round Trip Probability

9. Walker Loss
同じクラス間のPathの確率は一様分布に、異なるクラス間のPathの
遷移確率が0にさせる。しかし、これだけだと難しいラベルなしデー
タ(Ex. MNISTの1に似た7のラベルなし画像)の遷移確率も0に近づい
てしまい、簡単なデータだけが残ってしまう。
(※H: cross entropy)

10. Visit Loss
Unlabeled
Label X
Label Y
ここの微妙なポイントも
有効に活用したい。

11. Visit Loss
Aiから全てのBに対する遷移確率が一様分布にさせる
→明らかなデータだけでなく難しいデータも遷移確率
が上がるようにする。
(※H: cross entropy)

12. Loss Function
• は、通常の教師ありで用いる softmax
cross entropy。
• 実際にはVisit Lossには正則化の力が大きいので重
みをかけた方が良い結果が得られている(後述)。
Total Loss Function

13. Experiment

14. Experiment
- 検証項目
‣ 提案手法を用いて性能が上がるかどうか
‣ 上手くラベルなしデータを関連付けできているか
‣ Domain Adaptation(SVHN→MNIST)への応用
- Dataset
‣ MNIST: (labeled: 100 or 1000 or All,
unlabeled: labeledで使ってないデータ)
‣ STL-10: (labeled: 5k, unlabeled: 100k)
‣ SVHN: (labeled: 0 or 1000 or 2000 or All,
unlabeled: labeledで使ってないデータ)
✓ 訓練用データの中のラベル付きデータを一部だけ使い、残りはラベル無しとし
て学習を行う。

15. Setting
• Batch Size: 100
• Optimizer: Adam
• 出力層以外の活性化関数: elu
• 正則化項: L2 norm (重み:10-4)

16. MNIST Result

17. 遷移確率の変化(MNIST)
学習前
学習後

18. MNIST エラー分析
筆者らの主張では、ラベル付きデータにない特徴がテストに存
在したため(Ex. 4の上が閉じていて9に似ている)間違えてしまっ
ている。
全ラベルデータ
テストデータの
間違えた部分
テストデータの
Confusion Matrix

19. SLT-10
学習データにないクラスのデータを入力しても、比較
的近いラベルなしデータの関連付けができている。

20. SVHN Result
少ないサンプルにおいては、先行研究よりかは精度良い。

21. SVHN
ラベルなしデータの効果検証
ラベルなしデータが多くなるにつれて、精度は良
くなっている。

22. Visit Lossの効果検証
Labeled Data Size: 1000
Visit Lossが大きすぎるとモデルへの正則化が強すぎて、上
手く学習できない。データのバリアンスに応じて重みを調整
すべき。(Ex. labeledとunlabeledが似ていない場合、Visit
Lossは小さくする。)

23. Domain Adaptation
DA: Domain-Adversarial Training of Neural Network[2016 Ganin et. al.]
DS: Domain separation networks [2016 Bousmalis et. al.]
教師あり
学習
教師あり
学習
Domain
Adaptation

24. まとめ
• ラベルなしデータとラベルありデータに関連付ける
ように学習する。
• ラベル付きデータが少なくても、比較的上手く学習
ができる。
• Visit Lossは、データのバリアンスを見て設定する
。
• Domain Adaptationに応用しても上手くいった