2020/02/07 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
An Adversarial Perturbation Oriented Domain
AdaptationApproach for Semantic Segmentation
Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業)
http://deeplearning.jp/
1

2. 書籍情報
• 著者：
– Jihan Yang, Ruijia Xu, Ruiyu Li, Xiaojuan Qi, Xiaoyong Shen, Guanbin Li, Liang Lin
– このチームはUDAについて、ICCV2019 Best Paper Nominationsされた
• AAAI2020に採択

3. 概要
• 目的：
UDA(Unsupervised Domain Adaptation) for semantic segmentation
• 提案手法のポイント
Pointwise adversarial perturbationsで特徴マップを摂動する
ClassifierとDiscriminatorにアタックすることで、性能を向上する

4. 既往研究
• Semantic segmentationにおけるUDA
GANの前には、Maximum Mean Discrepancy (MMD)などで距離をはかる
Feature/pixel-level adversarial alignmentが提案された(Hoffman et al., 2016)
ASNは、出力空間（output space）で適用することを提案(Tsai et al., 2018)
CycleGANを使ってpixel-levelでDA（Hoffman et al., 2017; Zhang et al., 2018）
Hoffman et al., 2016 Tsai et al., 2018

5. 既往研究
• Adversarial Training
入力を摂動することで、モデルが誤認識する
摂動したデータを学習データにすることで、モデルのロバスト性を向上
Liu et al., 2019は、生成したサンプルでdomain gapを埋めることを提案し、画像分類
におけるUDAの性能を向上した
Liu et al., 2019

6. 課題
• 従来のsemantic segmentationにおけるUDAの効果は、カテゴリーによる
Adversarial alignmentは、discriminatorでsource domainかtarget domainかを分類す
ることで、DAを実現
この方法は、カテゴリーレベルに分類していないため、割合の多くを占めるカテゴリー
(head category)に引っ張られ、tail categoryが課題になる

7. 提案手法の概要
• 特徴マップを摂動（アタック）することでDA
• 具体的は
sourceとtargetサンプルの特徴マップを摂動する
摂動は、ClassifierとDiscriminatorへのアタックにより（loss勾配)生成する
Iterative Fast Gradient Sign Preposed Method (I-FGSPM)を提案し、摂動を動的に生成
特徴マップ全体に対する摂動のため、全てのカテゴリーをカバー。特に、tail categoryの性能も向
上できる
摂動サンプルがdomain gapを埋める
提案手法は、active learning/hard sample miningとも言える

8. 提案手法のフレームワーク
• Step1: sourceのみでG&Fをpre-train（普通のsemantic segmentation)
• Step2: 摂動（adversarial feature)をI-FGSPMにより生成
• Step3: adversarial featureで学習。Gを固定し、step2&3を繰り返す

9. Generation of Adversarial Sample
• 摂動は特徴マップへの外挿となり、domain-invariant特徴を特定できれば、Discriminator
は判別できなくなる。 Ladvの勾配に従っていれば、特定できる
• また、classifierのロバスト性の向上には、tail categoryの性能を向上する必要がある。
Lov´asz-Softmax (Berman et al., 2018) を用いてLsegの勾配を計算する
• 摂動が変にならないように、摂動前後のL2距離で制約をかける。
• 3つLossの勾配をそのまま使用する場合(Liu et al., 2019)は、勾配消失課題がある
• Iterative Fast Gradient Sign Method (I-FGSM) (Kurakin et al., 2016)は動的に摂動を生
成するが、タスク難易度が異なるため、loss間にギャップが生じる

10. I-FGSPM
• I-FGSMにより、sign関数を前置きすることで、loss間のギャップを解消する
• ハイパラは増えたが。。。
• sourceとtargetに複数回適用する

11. Training with Adversarial Features
• targetは教師がないため、学習に制限をかける必要がある
①摂動をかけた前後のtargetの出力は大きく変化しないこと
一方、Pt*は不確実性が高いため、他の制限も必要
entropy minimization techniqueを用いた自己教師あり学習（soft-assignment variant
of the pseudo-label cross entropy loss）(Vu et al. 2019)
• 全体Loss
Step1:
Step2:
Step3:

12. 実験
• Semantic segmentation手法： DeepLab-V2
• Discriminator: DCGAN, w/o BatchNorm
• Classifier: ASPP(Atrous Spatial Pyramid Pooling)
• Network architecture: VGG16/ResNet101
• Dataset: GTA5 → Cityscapes, SYNTHIA → Cityscapes
• ハイパラの設定：
 k=3
ε1=0.01, ε2=0.002, ε3=0.011
α1=0.2, α2=0.002, α3=0.0005

13. 実験結果
• 既存SOTAより精度が高い
• tail categoryの精度を向上
できた
• 既存手法にtail categoryに
注目した改善法（weighted
cross entropy/ Lov´asz-
Softmax）だけを加えても効
果は確認できず

14. 実験結果

15. Ablation Study
• 摂動方法
FGSPMは、提案のI-FGSPMと同様だが、摂動は1回のみ
MI-FGSPMは、I-FGSMにmomentumを導入
• 摂動するレイヤ
深いほど、効果が大きくなる
activation of hidden units can be unbounded and very
large
• Component analysis
上段：摂動手法(I-FGSPM)、 Lov´asz-Softmax、 entropy
minimizationに関する検証
下段：pre-train(step1)に関する検証

16. まとめ
• 動的に特徴マップをlossの勾配に従って摂動することでUDAを実現
• tail categoryの改善に向け、特徴マップに対する摂動・ Lov´asz-Softmax・
entropy minimizationを用いることで実現
• オリジナルな部分はI-FGSPMのみ（？）だが、他のパーツとうまく組み合わ
せた
• ハイパラの調整が大変そう
• Gを固定して、D＆Fを学習するため、Gが抽出できない特徴はどう扱うか？