2019年6月2日の「ICLR'19 読み会in京都」での発表資料です。 https://connpass.com/event/127970/ そもそもDomain Adaptationってなんだ？から始まり、Domain Adaptationの研究動向を調査して、どのような研究が増加しているのか紹介します。 紹介論文：LEARNING FACTORIZED REPRESENTATIONS FOR OPEN-SET DOMAIN ADAPTATION

1. ICLR 2019 読み会 in 京都
[LT枠]
Domain Adaptationの研究動向
LEARNING FACTORIZED REPRESENTATIONS
FOR OPEN-SET DOMAIN ADAPTATION
2019/06/02 Yamato OKAMOTO

2. Domain Adaptation とは？
 ある条件のデータで構築したモデルを、異なる条件の
データへ適応させる技術
＜例＞SVHNで構築した数字認識モデルをUSPSに適合させる
※こういった条件を総じて『ドメイン』と呼ぶ
※学習条件を『Source』、適応先を『Target』と呼ぶ
USPS DatasetSVHN Dataset

3. Domain Adaptation の方法
 ドメイン間で特徴量分布が重なるように制約をかける
[左図]Domain Adaptation 実行前
・ドメイン(赤と青)で分布が分かれている
[右図]Domain Adaptation 実行後
・ドメインが重なったうえで10個のクラスタ(数字0~9に対応)を形成
引用: Domain-Adversarial Training of Neural Networks
http://jmlr.org/papers/volume17/15-239/15-239.pdf
分布が重なればSourceで学習したクラス識別境界がTargetでも有効

4. Domain Adaptation の研究動向
 OPEN SET条件での研究が増加中！！
OPEN SET条件とは？
・Targetドメインに未知クラスが含まれる条件
・既知クラスのどれかに分類することなく未知であることを知りたい
＜例＞ Targetにだけ『7,8,9』のクラスが存在する
Target
Domain
Source
Domain

5. OPEN SET条件の難しさ
 未知クラスが異なるクラスと重ねられてしまう
※分布が重ならないとペナルティがかかるよう設計されているため
⇒ 未知クラスは重ねずに残すといった判断が必要
青ドメインにだけ
存在する未知クラス

6. LEARNING FACTORIZED REPRESENTATIONS
FOR OPEN-SET DOMAIN ADAPTATION (ICLR’19)
OpenReview: https://openreview.net/forum?id=SJe3HiC5KX
Pdf: https://openreview.net/pdf?id=SJe3HiC5KX
特徴量空間に２つの部分空間を設置した
『Share部分空間』 ・・・SourceドメインとTargetドメイン共用
『Private部分空間』・・・Targetドメイン専用、未知クラスをここへ隔離する
Source
Data
Xs
Target
Data
Xt
Enc
V
Enc
B[V,U]
Share部分空間
(d-dim)
Private部分空間
(d-dim)
ℝ 𝑫×𝒅
ℝ 𝑫×𝟐𝒅
• Source-Dataはd次元のShare部分空間へ射影する
• Target-Dataは2d次元のShare部分空間とPrivate部分空間の和空間へ射影する
• Target-Dataを射影したとき、Share部分空間またはPrivate部分空間いずれかの成分がゼ
ロに近づくよう制約をかける（A）
• Share部分空間に射影したSource-Dataを教師あり学習して識別器を構築（Ｂ）
S
Ｔ
（Ａ）（Ｂ）（射影変換を算出）
成分がPrivate部分空間に偏ったサンプル（下式参照）を未知クラスと判定する
ここへTargetドメインの
未知クラスを集めたい

7. 所感
 未知クラスが含まれるという想定は、かなり現在に即し
た問題設定である
 実世界での活用を想定した研究が増えたことは嬉しい
 OPEN SET条件での研究が増加しているものの、実験条
件が統一されていないように感じる。そのため手法に優
劣をつけにくい。
 個人的には、未知クラスだと判定する閾値がハイパラ化
しているので、そこをいい感じにしたい。。。