Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
論文要約：AUGMIX: A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY
- 1. AUGMIX: A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY Dan Hendrycks et al. AUGMIX：堅牢性と不確実性を改善する シンプルなデータ処理手法
- 2. ABSTRACT 2 実環境では訓練データとテストデータに 違いがあることが多い（data shift） →クラス分類の正確性が低下 画像分類において堅牢性と不確実性評価を改善する 新たな水増し手法：AUGMIXの提案 ※augmentation → データの水増し ・シンプルな実装 ・計算も軽い ・未知の data corruption（データ崩れ）に強くなる
- 3. 1 INTRODUCTION 3 訓練データに加工を入れても その特定の加工に強くなるだけ →未知の加工に対応できない 堅牢性と計算量はトレードオフ data shift があると 過剰に信頼性の高い予測をしてしまう →不確実性の評価に問題あり わずかな corruption （加工・乱れ）でも正解率が落ちる 通常の ImageNet error 22% data corruptionを加えた ImageNet-C error 64%
- 4. 1 INTRODUCTION 4 AUGMIXとは？ Data shift に対する堅牢性と不確実性を 同時に改善する手法 ランダム性と様々な水増し方法を使い 複数の水増し画像を合成する CIFAR, ImageNet の両方でいい結果が得られた
- 5. 2 RELATED WORK 5 data shift 下の堅牢性 訓練時の特定の加工を学習してしまう 例：あるブラーを覚えても未知のブラーに対応不可 data shift 下のキャリブレーション calibrated → 分類器が適切に正確性を予測できている 例：信頼度70%の画像のうち、70%が正解 data shift によってキャリブレーションは低下 複数のクラス分類予想を単純にアンサンブルすると改善
- 6. 2 RELATED WORK 6 水増し(augmentation) 水増しは大いに汎化に効果がある 切り取り・平行移動がよく使われる manifold intrusion → ミックスした画像と元画像の特徴が矛盾し 学習不足に陥ること
- 7. C AUGMENTATION OPERATIONS 7 もはや別の鳥の画像となっている →元画像の特徴を失わない水増し手法を選ぶべき
- 8. 2 RELATED WORK 8 adversarial machine learning 人間の目には同じように見えるような わずかな変化で間違った予測をしてしまう現象がある https://openai.com/blog/adversarial-example-research/ これらも考慮した学習を行うと • 学習時間の指数関数的増大 • non-adversary 画像の正解率低下 gibbon
- 9. 3 AUGMIX 9 水増し手法をミックスすると 堅牢・特定の水増しを覚えてしまうことがない 水増し手法の単なるチェーンでは 元データから乖離してしまう
- 10. 3 AUGMIX 10 AUGMIXでは複数のチェーンを凸結合することで 多様性を維持しつつ元データから乖離させない ※凸結合
- 11. 3 AUGMIX 11 • mix 比の重み 𝑤 𝑘 を乱数で決める • width は固定で3 https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506
- 12. 3 AUGMIX 12 • 各チェーンで operation を 3 個決める • operation のうち 1 ～ 3 個選ぶ https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506
- 13. 3 AUGMIX 13 • 各チェーンを重み 𝑤 𝑘 で合成した画像 𝑥 𝑎𝑢𝑔 を得る https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506
- 14. 3 AUGMIX 14 • 合成比 𝑚 で 𝑥 𝑜𝑟𝑖𝑔 と 𝑥 𝑎𝑢𝑔 を合成し 𝑥 𝑎𝑢𝑔𝑚𝑖𝑥 を得る https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506
- 15. 3 AUGMIX 15 実際は元画像に２回AugMix処理をして画像を２つ得る →損失関数で評価する AugMix also uses a consistency loss between augmentations that encourages invariance to semantic perturbations. ランダム性の中でも一貫性を保つ？ 元画像と乖離しないようにする？ 正直よくわからない・・・ https://hotcocoastudy.hatenablog.jp/entry/2019/12/07/143506
- 16. C AUGMENTATION OPERATIONS 16 • ImageNet-Cに含まれる加工はAUGMIXに含めないことに注意 • 使ったのは equalize, autocontrast, rotate, shear_x, shear_y, translate_x, translate_y, solarize, posterize posterize solarize
- 17. 4 EXPERIMENTS 17 CIFAR-10, 100 (10, 100 classes) 32×32×3 color, 50,000 training, 10,000 testing images ImageNet 1,000 classes, 1.2 million large scale color images -C dataset 15の curruption を加えたもの、5段階の強度(severity) ここに含まれる加工は学習では使ってはならない data shiftへの堅牢性を見る -P dataset 動画版（少しずつ明るくなっていくなど） 動画中で予測が変化しない→安定した予測ができている
- 18. 4 EXPERIMENTS 18 Clean Error : 加工されたデータでのエラー mCE : 加工の強度と各加工で平均をとったエラー →画像が加工されていても正解が出せるか？ Flip Probability : 徐々に加工されていく動画において あるコマと次のコマで予測が変化する確率 mFP : 10種の変化の平均をとったもの →画像が加工されても一貫した予測ができるか？ キャリブレーションできている→予測確率と正解率が一致している 予想した確率と実際の確率の二乗誤差で判断 →不確実性が正しく評価できているか？
- 19. 4.1 CIFAR-10 AND CIFAR-100 19 水増し手法ごとのエラー率の比較 • 他の手法に比べ約半分のエラー • 加工なしの場合のエラー率に近づいている
- 20. 4.1 CIFAR-10 AND CIFAR-100 20 モデルとCIFAR10/100ごとのエラー比較 • モデルやCIFAR10/100に関わらずエラー率が低い
- 21. 4.1 CIFAR-10 AND CIFAR-100 21 加工すると予測が変化するか ・一貫した予測ができている キャリブレーション比較 ・不確実性が見積れている
- 25. 4.3 ABLATIONS 25 AUGMIXの3要素：ランダム性、JSD、Mix の切り分け • これ以上ミックスしてもいい結果にならなかった • Mixupの前にAUGMIXするとエラー率が増した→manifold intrution • 水増し手法の種類、損失関数、mix の組合せは慎重に
- 26. 5 CONCLUSION 26 • AUGMIX : ランダムに選ばれた前処理をミックスする手法 • 簡単に実装でき、計算量も少ない • 堅牢性と不確実性評価を改善する • CIFAR-10/100-C/P, ImageNet-C/P で良い結果 • 安全性が必要な信頼できるモデルの提供につながる