2021/05/07 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Makoto Kawano (Matsuo Lab.)
自動運転技術の課題に役立つかもしれない論文3本

2. パイプライン処理が基本
‣ 各モジュールごとに機能が実装されている状態
自動運転技術
2
Sensing Perception
Localization
Planning Control
•カメラ
•LiDAR
•加速度センサ
•GPS
•物体検出
•Semantic
Segmentation
•経路予測
•自車
•他車
•移動物体
•走行位置の特定
•車体の制御
•アクセル
•ブレーキ
•ハンドル

3. 実世界で深層学習ベース手法の限界
‣ 分布シフト
天気・多差路など
‣ Q1. 分布シフトが起きた時にうまく対処したい
データを増やせば良い？
‣ アノテーションのきつさ
動画 x 対象の数の多さ
‣ Q2. ラベルなしデータをうまく使えないか？
自動運転技術における課題
3

4. A1.分布シフトが生じていることを検知できたらいい
‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?
(ICML2020)
Sergey Levine / Yarin Galのチーム
https://sites.google.com/view/av-detect-recover-adapt
A2. 自己/半教師あり学習使えば良い
‣ Emerging Properties in Self-Supervised Vision Transformers (arXiv 2021/4/29)
‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View
Assignments with Support Samples (arXiv 2021/4/28)
FAIRチーム
アプローチ&書誌情報
4

5. A1.分布シフトが生じていることを検知できたらいい
‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?
(ICML2020)
Sergey Levine / Yarin Galのチーム
https://sites.google.com/view/av-detect-recover-adapt
A2. 自己/半教師あり学習使えば良い
‣ Emerging Properties in Self-Supervised Vision Transformers
‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View
Assignments with Support Samples
FAIRチーム
アプローチ&書誌情報
5

6. この論文では何をするのか？
6

7. タスク目的：未知のexpert policy の近似
‣ デモンストレーション にのみもとづく模倣学習
‣ 単純化のため，仮定をさらに追加
πexpert
𝒟
問題設定
7
仮定1：expertによるデモンストレーション
時間に沿ったシーン (画像や点群などの高次元データ表現)におけるexpertの経路(i.e. プラン)
のペアで構成されたデータセット にアクセス可能．経路は，expert policy
からサンプリングされる：
x y
𝒟
= {xi
, yi
}N
i=1
πexpert( ⋅ |x) y ∼ πexpert( ⋅ |x)

8. 問題設定
8
仮定3：Global Planner
目的地の位置 と制御 (交差点での左右折•2番目の出口から出る)の[両方/どちらか]を特定する
ことができるglobalなナビゲーションシステムにアクセス可能
𝒢𝒞
仮定4：Perfect Localization
利用できる位置情報(目的地や自車の走行位置)の精度は完璧である
仮定2：Inverse Dynamics
現在の状態と次の状態(走行位置)を与えれば，それに従う制御(アクセルやハンドル)を行う逆動
力学モデル(Bellman 2015, PID Controller, Ⅱ)にアクセス可能．つまり，状態のみの経路
を操作することで，local plannerにより行動がきまる:
y = (s1, …, sT) at =
𝕀
(st, st+1), ∀t = 1,…, T − 1

9. 3種類の性質を持つ模倣学習モデル
‣ エキスパートの経路における分布を提供
‣ 分布外検出のためにepistemic uncertaintyを計量
‣ 分布シフトに対してロバスト性を持つ
提案手法：Robust Imitative Planning
9

10. エキスパートの経路における分布密度の推定
‣ 確率的 模倣 モデル の尤度最大化
‣ モデルパラメータ に事前分布 を設定=>モデル全体に分布が設けられる
‣ データ が観測された時，事後分布 を持つ
q(y|x; θ)
θ p(θ)
𝒟
p(θ|
𝒟
)
Bayesian Imitative Model
10
θMLE = arg max
𝔼
(x,y)∼
𝒟
[log q(y|x; θ)]

11. Autoregressive Density Estimator [Rhinehart et al., 2018]
‣ 自己回帰における正規分布の積：多峰分布をモデリングできる[Uria et al., 2016]
事後分布の推定
‣ 個の模倣モデルのアンサンブルによる事後分布 の近似
番目のモデル のパラメータを とする
K p(θ|
𝒟
)
k qk θk
Practical Implementation
11

12. 偶然的不確実性／aleatoric uncertainty
‣ データが持つ真の確率性 データに含まれているノイズ
‣ どんなにデータ量があっても，ノイズがあればエントロピーは高い
‣ コインの裏表予測では，p(裏)=p(表)=0.5が学習されてしまう
認識論的不確実性／epistemic uncertainty
‣ 知識不足によって生じる
‣ データ不足によってモデルのパラメータが決まらない
‣ パラメータの事後確率も末広がりになってしまう
不確実性の種類
12

13. 事後分布 における対数尤度 のdisagreementを利用
‣ 対数尤度：モデル における状況 における経路 の質を表現
‣ 事後分布に関する模倣モデルの分散を利用
分布内シーンにおける経路：低分散
分布外シーンにおける経路：高分散
‣ 検出としては十分だが，分布外の状況下での対応としては不十分
p(θ|
𝒟
) log q(y|x; θ)
θ x y
分布シフトの検出
13
u(y) ≜ Varp(θ|
𝒟
)[log q(y|x; θ)]

14. 事後分布 における目的地 へのplanningをRobust Imitative Planning(RIP)として定式化
：事後分布への演算子(後述)
目的地尤度：例）目的地の位置 を中心とした正規分布
‣ 直感的には次の経路 を選択
エキスパートによる経路っぽい(尤度最大化する)経路
目的地 に 近い 経路
p(θ|
𝒟
)
𝒢
⊕
s
𝒢
T p(
𝒢
|y) =
𝒩
(yT |y
𝒢
T , ϵ2
I)
y
𝒢
RIP
𝒢
不確実性の下でのplanning
14

15. 深層模倣モデル[Rhinehart et al., 2020]
‣ 事後分布から一つの を選択(=点推定)
‣ epistemic uncertaintyが使えない&見慣れないシーンで失敗しがち
2種類の集約演算子を提案
‣ Worst Case Model: 不確実性を悲観的に見るロバスト制御[Wald, 1939]
‣ Model Average: Epistemic uncertaintyを周辺化するベイズ決定理論
θk
：事後分布における集約演算子
⊕
15

16. Worst Case Model (RIP-WCM)
‣ 最悪ケースを想定して，そこで最適化する[Wald, 1939]
‣ 一般に はtractableではないがアンサンブルなら簡単
個のモデルで最小値を見つければ良い
Model Averaging (RIP-MA)
‣ 事後予測分布を利用
‣ 本来ならintractableであるが，アンサンブルによって解決
(結局は単にモデルの平均？)
arg max
y
min
θ
K
提案集約演算子
16

17. 4種類の問いに応えるための実験設計
‣ Q1. 自動運転/模倣学習/不確実性を扱わない手法で分布シフトを検出可能か？
‣ Q2. これらの手法が分布シフト下でロバストかどうか？
‣ Q3. RIPによる不確実性計量は，新しいシーンを特定できるか？
‣ Q4. RIPによる明示的な分布シフト対応は，性能を改善するか？
2種類のデータセットを利用
‣ nuScenes(実オープンデータ)：データ分割ができないため，分布シフトの制御不可
基本Q4.のみ(部分的にQ2)を解決
‣ CARNOVEL(CARLA, シミュレータ)
分布外シフトを制御して，Q1とQ3を解決
実験1：分布外シーンにおけるロバスト性
17

18. 評価指標：Displacement error
‣ ICRA2020 nuScenes prediction challengeで利用
‣ 確率的モデルの場合， 個のサンプリングを利用可能
‣ 最終結果のみの比較
k
nuScenes
18
<latexit sha1_base64="qDYVH+52/OSLbXD4gxQ0Eicfa5M=">AAADSnicfVHLbhMxFHXSAmV4pbBkY4iQ0lCiTBaAhCoVKBIbRJGStFKcRh7nzsSKxx5sDySy5jNY8kf8AL/BDnWDJw+gKeJKozk+5/hx74kywY1tt79XqlvbV65e27ke3Lh56/ad2u7dvlG5ZtBjSih9GlEDgkvoWW4FnGYaaBoJOImmr0v95BNow5Xs2nkGw5QmksecUeupUe0LiSDh0lHBE9ksAoyJhZl1L4/eFA0Szff8WnMqEwEfMYk1ZS4sXLfAxOTpyNmDsDhbLPugLTaeKfCT5f/MNdf8PiYvMEmpnUSxmxf4ADfMKPTsWFmz7+3dvYCAHK+fMarV2632ovBlEK5AHa3qeLRb+erPYnkK0jJBjRmE7cwOHdWWMwFFQHIDGWVTmsDAQ0lTMEO3mF+BH3lmjGOl/SctXrB/73A0NWaeRt5Z9mA2tZL8lzbIbfx86LjMcguSLS+Kc4GtwmUYeMw1MCvmHlCmuX8rZhPqh2x9ZAE5At+Lhnf+3PcZaGqVbjpCdZLSWeF7S8h+if5n5HJt9CggEj4zlabUj5pEdgKWFh4oMS7bU8KRJbfpnHvX7/Q2xdkfcVZcmLSLlJpaGpky0HAzvsug32mFT1udD5364atVtDvoPnqIGihEz9AheouOUQ8xdF55UGlWHle/VX9Uf1bPl9ZqZbXnHrpQW9u/AADEE4g=</latexit>
ADE(y) ,
1
T
T
X
t=1
kst s⇤
t k, y = (s1, . . . , sT )
<latexit sha1_base64="0bwCpyr8jBJmwfLnwM6sg5bDL/g=">AAADPHicfVFNbxMxEPUuXyV8pfQISBYRUlpVUTYH4IJUoEhcEEUibaU4jWzH2Vjxx8b2QlbWnvkV/BX+B3duqFfOeJOtoAliJEtP772Z8cyQTHDrut3vUXzl6rXrN7ZuNm7dvnP3XnP7/rHVuaGsT7XQ5pRgywRXrO+4E+w0MwxLItgJmb2u9JNPzFiu1UdXZGwocar4hFPsAjVqfkGEpVx5LHiq9soGhMixhfOSq5eHb8qRn5Xt+W4gDccqFWwOUZBGHnlEijPPSxQ8/EVSngUnRJZLOG8HCaLQ1UFEFrtlXbKq166zQsX9DmJqfNF41Gx1O91lwE2Q1KAF6jgabUdf0VjTXDLlqMDWDpJu5oYeG8epYGUD5ZZlmM5wygYBKiyZHfrlxkr4JDBjONEmPOXgkv07w2NpbSFJcErspnZdq8h/aYPcTZ4PPVdZ7piiq0aTXECnYbV+OOaGUSeKADA1PPwV0ik2mLpwpAY6ZGEWw96Fuu8zZrDTZs8jbFKJF2WYLUX7FfqfkasLY0ANpNhnqqXEYdWIuClzuAxAi3E1nhYerbh1ZxFc1XRk4osNcfFHXJSXNu2J1jOHia0OmqyfbxMc9zrJ007vQ6918Ko+7RZ4AB6DNkjAM3AA3oIj0AcUnEc70cPoUfwt/hH/jM9X1jiqc3bApYh//QaVmhFj</latexit>
minADEk(q) , min
{yi}k
i=1⇠q(y|x)
ADE(yi
) .
<latexit sha1_base64="KGKyk8sTaQk/ABWqfr9s+R3ZxXc=">AAADFnicfVHLbhMxFHWGVxkeTWHJxiJCKlGJMlkAywoKYoMoUpNWqkPkcW4mVvwYbA9kZM1/sOFX2KFu2fIRbGGLJ0kFTRBXsnx0zvHjnpvmglvX7X5vRJcuX7l6bet6fOPmrdvbzZ07A6sLw6DPtNDmJKUWBFfQd9wJOMkNUJkKOE5nz2v9+AMYy7U6cmUOQ0kzxSecUReoUZOSFDKuPBU8U+0qxpg4mDsvuXp58KIa+aTaJWn5MNCGU5UJeI/JAIzDduSPKvxoub/z7WrFk71OTECNz68cNVvdTndReBMkK9BCqzoc7TQ+k7FmhQTlmKDWnibd3A09NY4zAVVMCgs5ZTOawWmAikqwQ7/IosIPAjPGE23CUg4v2L9PeCqtLWUanJK6qV3XavJf2mnhJk+Hnqu8cKDY8qFJIbDTuA4Wj7kB5kQZAGWGh79iNqWGMhfij8kBhF4MvA73vsnBUKdN2xNqMknnVegtI3s1+p+Rq3NjQDFR8JFpKWmImqRuCo5WAWgxrtvTwpMlt+4sg6vuLp34ckOc/xHn1YWkfar1zNHU1gNN1se3CQa9TvK403vba+0/W412C91D99EuStATtI9eoUPURwydoR/oJ/oVfYq+RF+js6U1aqzO3EUXKvr2G2ZmA5s=</latexit>
minFDE1(y) , ksT s⇤
T k .

19. Q4.への答え：全てで勝ってるからyes.
Q2.への部分的な答え：ベースラインはRIPに勝ててない
‣ 不確実性を扱わないとロバストにならないっぽい
実験1の結果(nuScenes)
19
<latexit sha1_base64="m6nHM9yQYv0+hkWWZPrerqVTZCY=">AAAJ8XicvVZLb9tGEKbThyL3FTfHXIiaLdwgJvgQRQm9JLZbNAe1ahvHAUzVWFIrmfByl9hd1hYY/pAeChS59o/02t76bzorkbIoyal06QIEZuabmf1mhtxlmJJYSMv6Z+feO+++937jfnP3gw8/+viTB3ufvhQs4xE+jRhh/FWIBCYxxacylgS/SjlGSUjwWXh1rPCzXzAXMaMv5CTFgwSNaTyKIyTBdLHX+CoI8TimuUQQ8rg4l4NdXQ8iTCXmMR0rZe6QEcSLnMB6DU8BGKCSpTwjeKpsur6YhSYZkTHUkCU0d4s8KvJA4hspZX7EhGS0KDbz/gmIopRxrAKCYOYeqZbkzmGrqGTv0C8qeDOGSUyfnXxtXOR2YehGMGTXFHHOro31Xt5/eH2zRa7/YceqU6qL4SjvYXnJhqLYcFivi/zAcCzfNXQBrwsWT3TDs0BBSUqUxlJMDwljqZ4SRCnM6Mvi7lkeGLbd6W6Va15AEg/nr2DvRd/4OQ+GMUoYHYoslvACx2Mh4dU1yu113WiZtruguqbTWlC7puNu6Vxy6anC+khebkLCNVXFC6pbz2t3t3QuSRwz+OS/w3JDDv6C6pgtu15be0vndUM5ed5TXCKShYpIff92K0gTy7S8eubOzOosWDum40ytS+PozKxWq5ah682sdi1D155ZO3OmPz7vHx4dv4Wg565L7/qr6X2zW1Kpj8rzV4txTN9aR9Dtzqzu+lYqtr1nd5NdCF8k664j2y7J+rUMVeftWoZ2d9087FvrQjfPlrs5jwjgnIHPp1tAmL7EUmGO6XQqzFrCfLPlVZi3hAFrt8LslZzt9l1YByZVYa3bhodMSpaUPQ8wHc5vv91KU5flxYN9xVMtfVWwS2FfK1f/Ym/nNziGoyyB6zUiSIhz20rlIEccTkOCIXsmcIqiKzTG5yBSlGAxyKfXfKF/DpahPmIcHir1qXUxIkeJEJMkBM8ETiCxjCnjOuw8k6POII9pmklMo9lGo4zokunqn0EfxhxHkkxAQBGPgaseXSKOIvhHgEwnGGrhuAd5v08xR5Lxx3mA+DhBNwXUNg6eKOltjjGtHEHaDSi+jliSIGh1EMpLLBFc9iEjQ1UeI3DxT23LnhPwUtXBYCcr4M0teFPUOp2HjF3BSIUaqL08vlXhpWPabdP5wdl/elSO9r72SPtMO9Bszdeeat9qfe1UixpvGn82/mr83RTNX5u/N9/MXO/tlDEPtdpq/vEvohamkQ==</latexit>
Boston Singapore
minADE1 # minADE5 # minFDE1 # minADE1 # minADE5 # minFDE1 #
Methods (2073 scenes, 50 samples, open-loop planning) (1189 scenes, 50 samples, open-loop planning)
MTP}F
4.13 3.24 9.23 4.13 3.24 9.23
MultiPath}F
3.89 3.34 9.19 3.89 3.34 9.19
CoverNet}F
3.87 2.41 9.26 3.87 2.41 9.26
DIM|
3.64 ± 0.05 2.48 ± 0.02 8.22 ± 0.13 3.82 ± 0.04 2.95 ± 0.01 8.91 ± 0.08
RIP-BCM|
3.53 ± 0.04 2.37 ± 0.01 7.92 ± 0.09 3.57 ± 0.02 2.70 ± 0.01 8.39 ± 0.03
RIP-MA|
3.39 ± 0.03 2.33 ± 0.01 7.62 ± 0.07 3.48 ± 0.01 2.69 ± 0.02 8.19 ± 0.02
RIP-WCM|
3.29 ± 0.03 2.28 ± 0.00 7.45 ± 0.05 3.43 ± 0.01 2.66 ± 0.01 8.09 ± 0.04

20. 普通に走行させた訓練データと訓練データにない特殊なケースの評価データ
‣ 環状交差点や斜面，角度のきつい右折など
CARLAを利用したCARNOVEL
20

21. Infractions per kilometer = ナビゲーションが安全かどうか
‣ 1キロメートルあたりの道交法違反と交通事故の回数
Success rate
‣ 違反なしに目的地にたどり着けた割合
Detection Score = 悲惨なイベントを起こす分布外シーンを予測できるか
‣ 違反行為と不確実性の相関係数
Recovery Score = 分布シフトから復活できるか
‣ 新しいシーンでの成功率
CARNOVELの評価指標
21

22. Q4.とQ2.の答えが確定
‣ RIPによるepistemic uncertaintyは分布シフト下で性能を改善する
実験2の結果
22

23. RIPだけでは，分布外シーンで対応しきれない
‣ 人間の運転手に制御を返せばいいのでは？
‣ →その時の正解データを手に入れられる！
オンライン学習を用いて不確実性を下げることが可能
‣ 不確実性が閾値を超えたら，運転手に制御を譲渡
‣ 閾値：false-negativeのレベルに一致
Adaptive Robust Imitative Planning
23
<latexit sha1_base64="HRbj9GcJ98lUTAfBVHvOgopzWk0=">AAAOsHicnVfrchM3FDbQC7htCu1M//SPpjitA46xnTuUDoQEmgEaKASYyaYZ7a52vUQrbSRtYo9GfaU+T9+gj9Ej7foaO52pf+zKOhfpfPrOOVo/o4lUrdbfV65e++TTzz6/fqP6xZdfLXx989Y37yTPRUAOAk65+OBjSWjCyIFKFCUfMkFw6lPy3j95YuXvz4iQCWdvVT8jRymOWRIlAVYwdXzrxl+eT+KEaUxjLhLVTc1h96iKkPeGqF0WPulisR89BuELWEGbUvL8/AlPU8KULt9G37uHzJh8j+3nSu+xLAdZ8bIyN9Ke53VlhgOil1ea6yQ1nkwxpVah2I3Cfk6xMIfqSFP0SA/Um5010DaImkVQrnkpVt0AU71jauhHtENSzqQSLjaJPM/qPLeS3/LUJwLxCKU8JLSUac8BqMELxf6yT3NiRj63Tc2A6SylHaww8vMoIsJc5krhfK6Pd1gkmAUEqa4gsstpWLryCAuHAAxxajVt5DbqxUmNxf9W+X+4+r7eM3V8rJAHDFJIHmtlGvZ5t22WLKovOOCEMooZA3ALuE/rnt8vLTy/9wAeqksUdgZ7aaLgcM5IcQyFySKqZfVSa2A4Oldn99JpZ1wqIhI+WAqsBnrPzHDJvrN4xmFnNDmBxOhyHo4sxnZTeh15nMQVJhxy2xDfiWW//TOg/eMsE7yXwPqDWEa7SxjwgsDRNhBpxs0GCgnJEGGS2LR0Pp9aMjizhIWkh2onD9vIoyFXEj2vGQ06CG1z+AtszpDEaUYJCoF2kqgJ3h/rE4id2xwnkFiK9JT2wdAY7ckkNWgiR7wHzvObwl+5cSxwSmDvEkWCpwUgDVikgKpYAFyhcfRKR28FTtgwtJ8kBFJbDniacQYoobMEoxQDTHk6fhhEKoscJCmqv3yxu4TctpWyNWT3lDX/rHuCRJqc3k8BryUztRdKIoWF4OfIwyIG/8e6lJfRAnN3ARjYbq/hGFHsfwo14xwdgj8eoynaohFvkSeSuKuOapfyYZ/ZClzkQsJi47LILT9O0bGdlxETdtaE9CeqvjQ4Hu99N6FEM66GWiHAaUpWPAMCCO7nUqFkmE523fkoxgTyMwmWuf+RBFa/xLT/h74zD88+CHLgZkGrEl7t8Yzm0szEbAyyu4XC3AR1gUwAObuCFnpTGOMQZ8qxp5DvFmyyhRSAECRMXIzobFBgoepb0SDgmkMLuHqaY5qoPnJhOpXpTJ6LKPh2GOb10ukSelhoa6jrQK/LKtpF4hXnMAPIAffQIOG8vUiPr/oLKppMwQ0061Rr6HVORB+RXmYXwMoxc5jC4210e5IN49NBnqFhQrm1xzwcZOGsQgj5PdFOR0d5DjcNhFkfReR8GZqfGjtVBMWoy8PicMefU4SpYduQLmy4aFteEHI1otzkhi9kZmMy0+YlKsSV1Y1bdjANWTuoCwEEANvXs4j82EZnEw/9XqTuqBO+GisZHhgQ6u5i9wEQkWSm6prS6HZ2fPN2q9lyP3Rx0C4Htyvl79XxrWv/eCEPcot7QLGUh+1WBu0fC5UEth15uSRwCTjBMTmEIYNmII+0i8GgRZgJUQSHGXEo6G523ELjVMp+6oOmhVNOy+zkLNlhrqLNI53Y6yC0ymKhKKdIcWTvqShMBNQq2ocBDiD0JEAB3EVxYBtV1dshEIsgL8HvPtAaKy7u6LJ8GYgt9hp2dJliwgaKMKp6jJxD40oxoD0qdz5cy2x4nEJrdXPTmn3QcrSLdP+CsDcS9swE0rZHn8BVQ07ibwucZO6ySsKGyCk8GQcGHI0o0Jk8s/KkJqZ6bq7hnsqnIAxJBK4vElOL2De61Wg1V1c37Gtjtd2arc8FZvHQorm51rL6K501+2ptbc4x6xNK+fnQbKuzZfXXt1btqw3Ws81iQQgbWq2urzurjcJqc95igNrQZn2l2NnGZmGzOscmywVchkZLbbXaTr+1Aq+1tc7WbDNqK/MEiM3O1maBYMPFOWUHn2xlZdOxwH0HxgroQIOlhMWqqz24itn7oP2cghw11Sk6QU2CdTybiRIqLJHahy8nQiFR7JytDe3pSnBx8K7TbK83O687tx9tl1XieuX7yg+VeqVd2ag8qvxaeVU5qATV76o/V3erTxc6Cx8WjhdwoXr1SmnzbWXit/DxX8s4EnU=</latexit>
Algorithm 1: Adaptive Robust Imitative Planning
Input:
D Demonstrations
K Number of models
B Data bu↵er
⌧ Variance threshold
I(at|st, st+1) Local planner
q(y|x; ✓) Imitative model
p(G|y) Goal likelihood
p(✓) Model prior
// Approximate model posterior inference, e.g., deep
ensemble
1 for model index k = 1 . . . K do
2 Bootstrap sample dataset Dk
boot
⇠ D
3 Sample model parameters from prior, ✓k ⇠ p(✓)
4 Train ensemble’s k-component via maximum likelihood estimation
(MLE) // Eqn. (??) ✓k arg max✓ E(x,y)⇠Dk
[log q(y|x; ✓)]
// Online planning
5 x, G env.reset()
6 while not done do
7 Get robust imitative plan // Eqn. (??)
y⇤
arg maxy
✓
log q(y|x; ✓) + log p(G|y)
// Online adaptation
8 Estimate the predictive variance of the y⇤
plan’s quality under the
model posterior // Eqn. (??) u(y⇤
) = Varp(✓|D) [log q(y⇤
|x; ✓)]
9 if u(y⇤
) > ⌧ then
10 y⇤
Query expert at x
11 B B [ (x, y⇤
)
12 Update model posterior on B // with any few-shot
adaptation method
13 at I(·|y⇤
)
14 x, G, done env.step(at)

24. Q5. RIPによる不確実性推定はエキスパートへの問い合わせに使えるか？
Q6. AdaRIPはsuccess rateを改善するか？
評価指標：Adaptation Score
‣ success rateの改善度合い：オンラインデモの数における関数
Adaptationの実験
24

25. 分布シフトに対して，検出・復旧・適応は可能か？
‣ Epistemic uncertaintyの計量を可能にした模倣学習RIPを提案
‣ オンラインフィードバックを受けるAdaRIPを提案
コードとベンチマークを提供
‣ OpenAI Gymのような使い方が可能
今後の課題
‣ リアルタイム実行が要求されている時，アンサンブルモデルは厳しい
‣ オンライン最適化をすると，破滅的忘却が起きてしまう
小まとめ
25

26. A1.分布シフトが生じていることを検知できたらいい
‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?
(ICML2020)
Sergey Levine / Yarin Galのチーム
https://sites.google.com/view/av-detect-recover-adapt
A2. 自己/半教師あり学習使えば良い
‣ Emerging Properties in Self-Supervised Vision Transformers
‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View
Assignments with Support Samples
FAIRチーム
アプローチ&書誌情報
26

27. 教師なし(自己教師あり)学習でViTを訓練させてみた
TL;DR
27

28. Vision Transfomer(ViT)の性能がかなり良い
‣ 詳しくは岩澤さんの資料を見てください
‣ CNNといい勝負
‣ 計算量大，大量のデータが必要で微妙
‣ ViTならではの性質もわかってない
自己教師あり学習をしたらどうなるのか？
‣ BERTやGPT(NLP)ではかなりうまく行ってる
‣ →クラスラベルの推定だと教師信号を減らしてしまってる
‣ 画像も同様のことが言える
背景
28

29. DINO = 自己教師あり学習+知識蒸留
DINO: knowledge DIstillation with NO labels
29

30. 生徒モデル の出力を教師モデル に近づける
‣ 温度つきソフトマックスを利用して，カテゴリカル分布をモデル
‣ 二つの分布の距離をクロスエントロピーでとる
異なる変換をした画像を各モデルに入力する
‣ global views ：元画像の50％以上の大きさ
‣ local views：元画像の50%以下の大きさ
‣ 教師モデル：global viewsのみ
‣ 生徒モデル：local viewsのみ
gθs
gθt
xg
1
, xg
2
知識蒸留による自己教師あり学習
30
min
θs
∑
x∈{xg
1,xg
2}
∑
x′

∈V,x′

≠x
H(Pt(x), Ps(x′

))
localの特徴量をglobalの特徴量に近づかせる

31. 生徒モデル：SGD，教師モデル：学習なし
‣ 生徒モデルの重みを指数的移動平均したものを利用(i.e. momentum encoder)
：0.966から1へcosineスケジュール
‣ お気持ち：mean teacherに近い役割
最後の重みではなく，学習途中の重みを平均とったほうが性能が良い
->モデルアンサンブルのようなもの
λ
学習
31
θt ← λθt + (1 − λ)θs

32. ネットワーク はバックボーン と写像ヘッド の合成:
‣ ダウンストリームタスクでは の特徴量を利用
‣ ：3層のMLP + 正規化 + weight normalized
g f h g = h ∘ f
f
h ℓ2
ネットワークアーキテクチャ
32

33. 自己教師あり学習：model collapseが起きやすい
‣ Collapse：全ての入力に対して同じ表現になってしまう現象
教師モデルの出力のcenteringとsharpeningによるcollapse回避
‣ sharpening: 特定の次元に集中させる
温度つきソフトマックス
‣ centering: 特定の次元に集中させずに一様分布になるようにする
Model collapseの回避
33
c ← mc + (1 − m)
1
B
B
∑
i=1
gθt
(xi)

34. DeiT(Data-e
ffi
cient Image Transformers)の実装に準拠
‣ ImageNetで学習
‣ adamwオプティマイザ x 1024BS
ウォームアップ+cosineスケジュール
‣ 16GPU(多分V100)
‣ 温度 ， は最初の30エポック0.04-0.07
‣ データ拡張：color jitter/gaussian blur/solarization
multi-crop
τs = 0.1 τt
実装や実験まわり
34

35. ResNetの時よりDeiTにした時の性能がとても良い
‣ k-NNがlinearを乗せた時と同じ
分類精度
35

36. Semantic Segmentation用に学習してなくてもいい感じ
‣ 近傍法ベースのsemantic segmentation[Jabri et al.]
semantic segmentation
36

37. Supervisedよりself-attention mapもいい感じ
Supervisedと比較
37

38. ViTを知識蒸留＋自己教師あり学習してみた
‣ 教師なしでも物体に着目しているself-attention mapが得られた
‣ 特徴量を使ったk-NNでかなりいい精度(ImageNetで78.3%)
色々な実験をしているので詳細は論文を見てください
‣ さまざまなダウンストリームタスクやablation studyをやっている
‣ アーキテクチャの模索も色々
画像におけるBERTを目指しているらしいので，今後に期待？
小まとめ
38

39. A1.分布シフトが生じていることを検知できたらいい
‣ Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?
(ICML2020)
Sergey Levine / Yarin Galのチーム
https://sites.google.com/view/av-detect-recover-adapt
A2. 自己/半教師あり学習使えば良い
‣ Emerging Properties in Self-Supervised Vision Transformers
‣ Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View
Assignments with Support Samples
FAIRチーム
アプローチ&書誌情報
39

40. 自己教師あり学習にラベルつきデータを利用するといい性能が出る
TL;DR
40

41. 大きなラベルなし画像 とラベルあり画像 ( )を仮定
‣ 目標： と を使って事前学習で表現を獲得すること
は
fi
ne-tuningに利用
‣ Multi-cropを利用してデータ を2種類のデータ と にして双方の表現を近づける
双方の表現とラベルありデータの表現の類似度計算をして，疑似ラベルを出力
疑似ラベル同士で比較をする
𝒟
= (xi)N
i=1
𝒮
= (x
𝒮
i, yi)M
i=1 M ≪ N
𝒟
𝒮𝒮
x ̂
x ̂
x+
Predicting view Assignments With Support Samples
41

42. PAWSアルゴリズム
42
xi
̂
xi
̂
x+
i
データ拡張
(multi-crop)
fθ
fθ
zi
z+
i
xs, ys ∼
𝒮
fθ
zs
πd(zi, z
𝒮
) =
∑
(zsj,yj)∈z
𝒮
d(zi, zsj)
∑zsk∈z
𝒮
d(zi, zsk)
yj
各クラスのデータとの類似度でラベルを生成
pi
ρ(p+
i )
温度を下げる
=尖らせる
−H
(
ρ(pi) + ρ(p+
i )
2 )
エントロピー
=一様にする
H(ρ(pi), p+
i ) + H(pi, ρ(p+
i ))
勾配カット

43. 10分の1くらいのエポック数で精度も高い
実験結果
43

44. ラベルありデータも自己教師あり学習に使う
‣ PAWSという学習アルゴリズムを提案
‣ Simularity Classi
fi
er を用いることで，ラベルありデータにover
fi
ttingしない
ラベルありデータが外部記憶のような役割で， は注意機構の役割っぽい
• ピアジェの同化と調節と関係している？(興味があれば論文を)
‣ 既存手法よりも約10倍効率良く，かつ高精度で学習が可能であることを示した
πd
πd
小まとめ
44

45. 自動運転技術に役立ちそうな論文を独断と偏見で選択
‣ 実世界を網羅したデータセットの作成(アノテーション含)は厳しい
1)現時点でデータが足りているのか判断したい
2)使ってないデータは（おそらく）大量にあるから使えないか
感想としては：
‣ 実応用に耐えうるため，ベイズ的な考え方は重要？
‣ 自己教師あり学習では，出力分布の尖り具合(一様具合)を制御すると良いっぽい？
‣ BERTのような万能？モデルが今後出てくるのか？
発表まとめ
45