Fast AutoAugment(https://arxiv.org/abs/1905.00397)のシンプルな解説スライド。

1. Fast AutoAugment ~概要~

2. 論文背景&概要
“Fast AutoAugment” (Kakao Brain, https://arxiv.org/abs/1905.00397)
- 適切なデータ拡張の探索ということで強化学習を用いたAutoAugmentが提案された。
- 強化学習の手法による探索は時間がめちゃくちゃかかる(CIFAR-10で5000GPUh)
- データ拡張を、”recovers missing data points”と捉えて+density matching的に解くことで格段にも早い探索アルゴ
リズムを提案。精度もAutoAugmentに匹敵する。(本論文はV100, AAはP100なのに注意)

3. 提案手法
キーアイデア
- 学習データをDm, Daに分けて、Data Augmentationを適用せずにDmを使ってモデルを学習させる。
- モデルパラメータは固定にしたままDaに対してData Augmentationを適用させて精度の高かったpolicy群を獲得す
る。適切なData Augmentationのハイパラ(probanility, magnitude)はベイズ最適化で探索する。

4. 結果
CIFAR-10, CIFAR-100, SCHN, ImageNetの結果
transferはWide-ResNet-40-2 x CIFAR-10 4000 randomly chosen examplesから得られたもの

5. 考察
- sub-policiesの数は今回設定した数より多い方が精度がよくなりそう。
- Transferでの精度がdirectよりも若干悪くなっている=>小さいモデルから得られるものでは大きいモデルでの汎化性
能に限界があるのでは？
- (提案手法が汎化性能的に限界がありそうな感じを受ける , あくまでtrain dataの中での拡張に留まっている。 )
- CIFAR-100に対してクラスごとに70のsub-policiesを見つけたところtest-errorが17.2%まで下がった。他のベースモ
デルとの比較はできないが計算時間が短いことからこういったこともできるのでは？
- (sub-policyをめっちゃ増やした時との精度の差が微妙な感じがする )