「When NAS Meets Robustness:In Search of Robust Architectures againstAdversarial Attacks」に関する解説スライド（修正版）

1. When NAS Meets Robustness:
In Search of Robust Architectures against
Adversarial Attacks
菅沼 雅徳
wkpeco
CVPR 2020 論⽂読み会（2020.07.04）

2. • 所属
• 2017.10 ‒ 現在 理化学研究所 AIP 特別研究員
• 2018.10 ‒ 現在 東北⼤学 助教
2
⾃⼰紹介（菅沼 雅徳）
NAS（勾配法）+ 画像復元
[CVPR, 2019]
NAS（進化計算）+ 画像復元
[ICML, 2018]
NAS（進化計算）+ 画像分類
[GECCO, 2017 (Best paper)]
Ours
• 興味：Neural Architecture Search (NAS)

3. • AdversarialNAS: Adversarial Neural Architecture Search for GANs
• UNAS: Differentiable Architecture Search Meets Reinforcement Learning
• Rethinking Performance Estimation in Neural Architecture Search
• EcoNAS: Finding Proxies for Economical Neural Architecture Search
• Hit-Detector: Hierarchical Trinity Architecture Search for Object Detection
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning
• GP-NAS: Gaussian Process based Neural Architecture Search
• NAS-FCOS: Fast Neural Architecture Search for Object Detection
• MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation
• Butterfly Transform: An Efficient FFT Based Neural Architecture Design
• DSNAS: Direct Neural Architecture Search without Parameter Retraining
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio
• Meta-Learning of Neural Architectures for Few-Shot Learning
• MnasFPN : Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices
• Improving One-shot NAS by Suppressing the Posterior Fading
3
NAS in CVPR 2020
NASに関する論⽂が約32本採択されている

4. • Can weight sharing outperform random architecture search? An investigation with TuNAS
• A Semi-Supervised Assessor of Neural Architectures
• CARS: Continuous Evolution for Efficient Neural Architecture Search
• Block-wisely Supervised Neural Architecture Search with Knowledge Distillation
• GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy
• MemNAS: Memory-Efficient Neural Architecture Search with Grow-Trim Learning
• All in One Bad Weather Removal using Architectural Search
• Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
• C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
• Graph-guided Architecture Search for Real-time Semantic Segmentation
• Organ at Risk Segmentation for Head and Neck Cancer using Stratified Learning and Neural
Architecture Search
• When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks
• Densely Connected Search Space for More Flexible Neural Architecture Search
• Neural Architecture Search for Lightweight Non-Local Networks
4
NAS in CVPR 2020

5. 5
CNNの構造はそれなりに⼤事
[引⽤] https://coggle.it/diagram/WgPeVuojMQABBOPO/t/machine-learning
CNNのアーキテクチャの改善で
20%以上の性能向上
errorrate
https://medium.com/@rishi30.mehta/object-detection-with-yolo-giving-eyes-to-ai-7a3076c6977e
AlexNet [2012] ResNet [2015] DenseNet [2016]

6. 外乱に対して頑健性を有するCNN構造はあるのか？
• 基本的にはcleanな画像上で構造設計・性能評価
• ImageNet上では，DenseNet > ResNet だが，外乱画像上ではどうなのか
• 現実では，様々な外乱が含まれることが想定される
6
Research Question
CNNの予測:
パンダ
CNNの予測:
テナガザル
Adversarial attack
Distortions
(Raindrop + Blur)

7. When NAS Meets Robustness: In Search of Robust Architectures
against Adversarial Attacks
• Minghao Guo1, Yuzhe Yang2, Rui Xu1, Ziwei Liu1, Dahua Lin1
• 1The Chinese University of Hong Kong, 2MIT CSAIL
この論⽂では以下の問いに答えます
• Adversarial attackに頑健なCNNの構造は何なのか？
• パラメータ数に制限がある場合，どのように畳み込み層を配置すべきか？
• 統計的に頑健性を計る指標は何が良いか？
7
紹介する論⽂
?

8. 既存のOne-shot NAS[1]を利⽤して，多数のCNNを⽣成し，
それらCNNのAdversarial attackに対する頑健性を調査
8
基本的な⽅針
[1] G. Bender+, Understanding and Simplifying One-Shot Architecture Search, ICML, 2018
Supernet
…
sampling
Finetuning the network with adversarial
training and evaluate it on eval samples
Subnets
…
…
Finetuning the network with adversarial
training and evaluate it on eval samples

9. Cell = 有向⾮巡回グラフ（Directed acyclic graph）の構造を探索する
• ノード：特徴マップ
• エッジ：演算（畳み込み層，identity） ← 探索対象
9
本論⽂で使⽤するOne-shot NASの概要
Cell Cell Cell Cell… OutputInput
Input1
Input2
!"
!#
!$
%&'%()
!*
!+
%&',1×1
%&',1×1

10. 10
探索空間＝各エッジでどの演算を実⾏するか
Cell Cell Cell Cell… OutputInput
Input1
Input2
!"
!#
!$
%&'%()
3×3 ,-. %&'/
01-')0)2
!3 = 5
673
5
89:
;
<8
6,3
&8(!6)
<:
:,#
<@
:,#
architecture parameter
< = <8
6,3
<8
6,3
∈ 0,1 ,
0, E = 1, … , G + 2, J = 1, … , K}
G: ノード数 K: 演算数 (=2)
!:
!@
%&'/1×1
%&'/1×1
+

11. 11
ResNetやDenseNetに類似した構造も構築可能
Cell Cell Cell Cell… OutputInput
Input1
Input2
!"
!#
!$
%&'%()
!*
!+
%&',1×1
%&',1×1
ResNet-like
3×3 012 %&',
341')3)5
6*
*,"
6+
*,"
+
3×3 012 %&',
341')3)5
6*
*,#
6+
*,#
+

12. for ! = 0 … % do
Set all elements in & to 1
Sample a training batch (), +) ),-
.
Randomly set some of the elements of & to 0 and
get the corresponding network parameters /0
for 1 = 1 … 2 do
()
3
← ()
for 5 = 0 … (7 − 1) do
((:;-) ← Π= ()
:
+ ? @ A1BC ∇Eℒ /0, ()
:
, +)
Update /0 using ()
G
, +)
),-
.
by SGD
12
Supernetの学習⼿順
// PGD adversarial example
Supernet
Subnet /0

13. • Supernetからランダムに1000個のCNNをサンプリング
• セル内のノード数は4に設定 → ! ∈ 0,1 &×() ≈ 10+
13
CNN構造の解析
サンプルされた1000個のアーキテクチャの性能分布
• さらに，性能がtop300とlast300の!の分布をt-SNEで可視化（右図）
• 明らかにrobust / non-robust networkの!の分布に差異がみられる
600個のアーキテクチャ(!)の分布

14. CNNのdensityとadversarial robustnessには正の相関があることが判明
• architecture density ! =
|$%&''(%)(*|
|$|
=
∑,,.,/ 0/
(,,.)
|$|
14
Adversarial attackに頑健なCNNの構造は？
top300とlast300を分類する線形分類器
を学習させた際の重みの分布

15. 15
例えば，ResNet vs DenseNet
ResNet
type
DenseNet
type
DenseNetの⽅がdensityが⾼いため，adversarial
attackに対する頑健性が優れていることを⽰す

16. • 複数の研究[2][3]で，CNNのパラメータ数が増加するにつれて頑健性も増加す
ることが⽰されている
• では固定されたパラメータ数のもとではどういった構造が優れた頑健性を
⽰すのか？
16
Architecture Strategy under Budget
[2] A. Madry+, Towards deep learning models resistant to adversarial attacks. ICLR, 2018
[3] D. Su+, Is robustness the cost of accuracy?‒ a comprehensive study on the robustness of 18 deep image classification models. ECCV, 2018
→ パラメータ数が少ない制約下では，隣接するノード間に畳み込み層を配置
したほうが頑健性が増加する (Direct convolution)

17. • 各セルが異なる構造をもつように制約を緩めた場合を考える
• セル数が!の場合，組み合わせ数は⼤体 10$ %
• 探索範囲が膨⼤すぎるので，頑健性を計る新しい指標を提案
17
より多様なCNN構造での検証
&' (; * = ,
-./
0
,
1./
2
3',-,1
56
(; * ×3',-,1
891
((; *)
ℎ×=
!'
>?@
=
1
A
,
B
&' (; * − &' (D
; * E
E
Flow of solution procedure (FSP) matrix loss
clean画像とadversarial exampleをそれぞれセルに⼊⼒した際の，特徴マップの
変化具合をみている（関連研究[4][5]）
[4] J. Yim+, A gift from knowledge distillation: Fast optimization, network minimization and transfer learning. CVPR, 2017
[5] H. Zhang+, Theoretically principled trade-off between robustness and accuracy. ICML, 2019

18. • 深い層でのFSP matrixと頑健性の間に正の相関関係がある
• Adversarial attackに頑健なCNNは，深い層で低いFSP matrix lossを⽰す
18
FSP matrix lossと頑健性の関係
50個のCNNをサンプルした際のFSP matrix lossの結果

19. Q1. Adversarial attackに頑健なCNNの構造は何なのか？
A1. Densely connected pattern
Q2. パラメータ数に制限がある場合，どのように畳み込み層を配置すべきか？
A2. 少ないパラメータ制約下では，隣接するノード間に畳み込み層を配置
Q3. 統計的に頑健性を計る指標は何が良いか？
A3. Flow of solution procedure (FSP) matrix loss
19
ここまでのまとめ
※ あくまで本論⽂で設定した探索空間での話

20. RobNet-small, RobNet-medium, RobNet-large/large-v2
• Density ! > 0.5 かつ Direct convolutionの割合が0.5以上のsubnetを選択
• 各budgetで50個のsubnetをsupernetからサンプルし，adversarial exampleに対する性能が
最も優れているsubnetを以下に掲載
20
既存のCNNとの⽐較（White-box attack, CIFAR-10）
RobNet-free
• 300個のsubnetをサンプルし，出⼒層に近い10層分のFSP matrix lossを算出し，しきい値以上
のCNNを除去後，adversarial exampleに対する性能が最も優れているsubnetを以下に掲載

21. Adversarial exampleに対する頑健性は，DenseNet > ResNet
• Density (DenseNet) > Density (ResNet)
• 本論⽂の主張とも⼀致する
21
既存のCNNとの⽐較（White-box attack, CIFAR-10）

22. • Black-box results on CIFAR-10
• 同じネットワークを⽤意して，そちらでadversarial exampleを⽣成
• White-box results across different datasets
• CIFAR-10上で探索したCNNをほかのデータセット上で評価
22
既存のCNNとの⽐較（Black-box attack, different datasets）
Black-box results White-box results across different datasets

23. 頑健性を向上させる既存⼿法[6]をRobNetに適⽤することで，ResNetと⽐べて
さらなる頑健性の向上が可能
• [6] C. Xie+, Feature denoising for improving adversarial robustness, CVPR, 2019
23
既存⼿法との関係
ほかにも頑健性を向上させる既存⼿法はあるため，それらとの関係性もみたい
• [7] C. Xie+, Adversarial Examples Improve Image Recognition, CVPR, 2020
• [8] C. Xie+, Smooth Adversarial Training, arXiv:2006.14536, 2020

24. 24
まとめ
Q1. Adversarial attackに頑健なCNNの構造は何なのか？
A1. Densely connected pattern
Q2. パラメータ数に制限がある場合，どのように畳み込み層を配置すべきか？
A2. 少ないパラメータ制約下では，隣接するノード間に畳み込み層を配置
Q3. 統計的に頑健性を計る指標は何が良いか？
A3. Flow of solution procedure (FSP) matrix loss
• 上記の結果は，あくまで今回設定した探索空間での話のため，ほかの探索空間での
検証も必要
• Adversarial attackに対する頑健性を向上させるほかの⼿法との関連性も要検証

25. • 真に新しい構造を探索しているようには感じない
• 探索空間を定義した時点である程度の性能は決まる ≈ ランダムサーチでも⼗分な
探索性能
• 探索空間も進化させたい（関連研究いくつかあり[9]）
• 現状のgradient-based NASは，architectureのfine-tuningのような印象
• Gradient-based NASにも局所解がある
• e.g. DARTSではidentityばかりの構造が獲得されがち
• 安定して探索するには多少の⼯夫が必要[10]
• ほかのハイパーパラメータや学習率のスケジューリングと⼀緒に最適化でき
れば，さらに有⽤性もあがりそう
25
Gradient-based NASに対する所感
[9] E. Real+, Large-Scale Evolution of Image Classifiers. ICML, 2017
[10] A. Zela+, Understanding and Robustifying Differentiable Architecture Search. ICLR, 2020