Mixed Precision Training
•Télécharger en tant que PPTX, PDF•
2 j'aime•1,673 vues
論文「Mixed Precision Training」について。 TensorFlow User Group Tokyo主催の「NN論文を肴に酒を飲む会 #10 新年会！」にて。
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Mixed Precision Training
Similaire à Mixed Precision Training (20)
Dernier
Dernier (7)
Mixed Precision Training
- 1. MIXED PRECISION TRAINING Masao Taketani(竹谷 昌夫) 2020/01/22
- 2. https://bit.ly/36U7RqA https://github.com/Masao- Taketani 自己紹介 名前：竹谷 昌夫(たけたに まさお) 学歴：ミネソタ大学ツインシティー校 理工学部 統計学科卒 職業：ディープラーニング研究開発エンジニア(1年半ぐらい) 趣味： ● ディープラーニングに関わる技術の追求 ● 筋トレ(トレーニング+食事等の理論)の追求 ● 筋トレをスポーツに応用 今回TFUG発表資料用のレポを作りました！ 今回のプロジェクト：https://github.com/Masao-Taketani/for_TFUG/tree/master/NN_papers/no_10 TFUGレポ：https://github.com/Masao-Taketani/for_TFUG
- 3. 概要 今回紹介する論文は「MIXED PRECISION TRAINING(混合演算)」という論文で、簡 単に言うとNVIDIAのGPUを使ってDNNのトレーニングの際に、FP32(単精度浮動小 数点)のみを使用するのではなく、大部分の演算に上手くFP16(半精度浮動小数点) を適応することにより、学習時間を2から6倍早くすることができ、かつFP32のみ で学習させたときと同精度の結果を出すことができる。 ※混合演算を行うにはNVIDIAのVolta世代より上のGPUが必要 S, Narang, G. Diamos, E. Elsen, P. Micikevicius , J. Alben, D. Garcia, B. Ginsburg, M. Houston, O. Kuchaiev, G. Venkatesh and H. Wu. MIXED PRECISION TRAINING, 2018. URL: https://arxiv.org/abs/1710.03740
- 4. Introduction ● 近年のDNNモデルは段々巨大化していっている。そのため学習の際に非常に 時間がかかり、効率的に学習させる必要性がでてくる。 ● そこでメモリー帯域幅と演算速度を効率的に扱う必要がでてくる。具体的に は、FP32⇒FP16等、1つの値を保持/演算するのに必要なバイト数を下げる。 ● 学習速度を上げるだけでなく、FP32のみで学習させたときと同精度の結果を 出すための取り組みも行う。 ● そのために以下３つの手法を提案する。 ○ 重みのマスターコピー更新値をFP32で保持 ○ 勾配が0になることを防ぐためのロススケーリング ○ FP16の演算結果をFP32で蓄積 ● これらの手法を様々なDNNモデル検証する。
- 6. ● 多くのモデルで重みのFP32のマスターコピーを必要とするであろう理由は2 つある。 ○ 更新値(学習率 x 勾配)の絶対値がFP16で表せない数値になる(アンダーフロー) ○ 重みの値と更新値の比率が大きくなりすぎる(情報落ち) 重みのマスターコピーと更新値をFP32で保持 ここの絶対値がFP16で 扱えない程小さくなる ※この２つについて後のスライドで詳しくお話しします。
- 8. 浮動小数点数 ● 符号部 s、指数部 e、仮数部 f からなり、四倍精度(FP128, quad-double)倍精度 (FP64, double)、単精度(FP32, single)、半精度(FP16, half)などがある。(※今回論 文に出てくるのはFP32とFP16) 浮動小数点数(正規化数) 浮動小数点数(非正規化数) 符号部 仮数部 指数部
- 9. 正規化数、非正規化数 前のスライドに正規化数、非正規化数とあるが、簡単に説明すると、通常仮数部 の先頭を1で固定する正規化数を用いるが、正規化数で扱いきれない小さな数字 がきた場合に、指数部を表現できる最小の値に固定した状態で、仮数部の先頭を 0にする非正規化数を用いることにより、より小さな値を扱えるようにする (gradual underflow)。(IEEE 754(浮動小数点算術標準)での話し) (例)半精度浮動小数 点の場合 半精度浮動小数点のbiasは15のため、表現できる最小の指数部 は そのため正規化数で扱える最小の絶対値は であり、それよりも小さな絶対値を扱いたいときは非正規化数 の絶対値 を使用すればよい。 ※なお非正規化数の絶対値を使っても より小さな絶対値は扱えない。 （後でまたここの話しがでてきます） 最小が1となっているが 0は特殊な数を表す用に 使われる
- 10. それぞれの精度のビット数の内訳 それぞれの精度で必要なs, e, f のビット数は以下の通り。 精度(総ビット数) s e f quad-double(128) 1 15 112 double(64) 1 11 52 single(32) 1 8 23 half(16) 1 5 10
- 11. それでは本題に戻りましょう。
- 12. アンダーフローによる誤差 ● 更新値(学習率 x 勾配)の絶対値がFP16で表せない数値になる(アンダーフロー) ○ 前のスライドでお話ししたように、FP16で扱える最小の絶対値は であり、これより小 さい値は全て0になってしまう。 FP32 FP32 FP32ここがFP16だと FP16で表せない 数字は0になる 対策
- 13. 情報落ちによる誤差 ● 重みの値と更新値の比率が大きくなりすぎる(情報落ち) ○ (例) 重みの値： 更新値： ー このままでは 演算できない ため指数部を 揃える ー 有効桁数内 0 に な る つまり更新前と比べて値が変わらない つまりここでも更新の演算をFP32の精度を使って行うと誤差が生じにくくなる。
- 17. ● 効率的にスケーリングするためには、順伝播時に計算したロス値にスケーリ ングするための値を掛けることである。理由はスケーリングされたロス値を 使って逆伝播により勾配を求める際に、全ての勾配に同じようにスケーリン グされるためである。それにより、勾配が0になるのを防げる。 ● ただし、上記の勾配をそのまま使用して更新を行うと、FP32で学習させたと きと異なる値で更新を行うことになってしまうので、更新前に勾配の値のス ケーリングを元に戻す必要がある。 ● スケーリングを元に戻すタイミングは、逆伝播を行って全ての勾配を計算し た直後で、勾配クリッピング等の勾配に関連する演算をする前に行うのが簡 単な方法である。そうすることにより、勾配クリッピングの閾値や、重み減 衰等のハイパーパラメータを変更する必要がなくなる。 ロススケーリング(続き)
- 18. ● スケーリングするための値を決める方法はいくつかあるが、最も簡単な方法 は、定数を設定することである。 ● 当論文では8から32Kの間で値を設定して、様々なモデルを学習させた。(多 くのモデルではスケーリングさせる必要がなかった) ● スケーリングの定数は過去の経験を元に決めることもできるが、もし勾配の 統計データがあるならば、そのデータを元にオーバーフローにならないよう に設定すればよい。(FP16の場合、扱える最大値は65,504) ● オーバーフローの際のオプションとして、オーバーフローが検知された場合 は、単純に重みの更新をさせずにスキップして、次のイテレーションを回せ ばよい。 ロススケーリング(続き)
- 19. 演算精度 ● ニューラルネットワークの演算は大まかに以下の３つのカテゴリーに分かれる。 ○ ベクトルのドット積 ○ リダクション ○ 要素ごとの演算 ● これらの演算をする際も、FP32を使って工夫して演算する必要ある。 ○ ベクトルのドット積では、演算途中の積の値をFP32で保持する。その値をメモリーに書かれる前 にFP16に変換する。(NVIDIA GPUのVolta世代から導入したTensor Coresがこれを可能にする) ○ 大きなリダクション(batch-normalizationやsoftmax層で行われるベクトルの全ての要素の和を求め る等)を行う際もFP32で演算すべきである。値の読み込みや書き込みはFP16を使用するが、演算は FP32で行う。 ○ 非線形演算やアダマール積で行われる要素ごとの演算は、FP16でもFP32でもどちらでも使用可。 これらの工夫により、FP32と同精度の結果が得られる。
- 20. 結果 ● 今回の実験は様々なDNNモデルで、以下2つを検証する。 ○ Baseline(FP32)： FP32のみを使用して学習を行う ○ Mixed Precision(MP, 混合演算)：重み、活性化後の値、勾配はFP16で保持し、更新時に必要な FP32の重みのマスターコピーを使用。ロススケーリングはいくつかのモデルで使用。Tensor Coreの演算を使ってFP16の演算の蓄積をFP32で行う(畳み込み層、全結合層、リカレント層の 行列演算で使用)。 ● 使用するGPU ○ Baseline : NVIDIA’s Maxwell or Pascal ○ Mixed Precision：Volta V100
- 21. CNNによるILSVRCの画像分類 ● Alexnet, VGG-D, GoogLeNet, Inception v2, Inception v3, and pre-activation Resnet-50のモデルで検証 ● ロススケーリングをすること無しに同精度の結果を出すことができた。
- 22. CNNによる物体検出 ● Faster-RCNNとMultibox-SSDのモデルで検証(両モデルのバックボーンはVGG16) ● 回帰予測と分類予測が同時に行われる。 ● SSDではロススケーリング無しで学習させると値が発散した( をかけること により、FP32と同精度の結果を得た)
- 23. 音声認識 ● DeepSpeech2のモデルで検証(英語とマンダリン(中国語の標準語)のデータセッ トで検証)。 ● リカレント層を含むモデルでも混合演算でFP32と同精度を出すことができた。 ● 結果を見るとMPの方が5%～10%ほど良いが、これはFP16を使用することが正則 化の役割の果たすのではないか。
- 25. 言語モデル ● bigLSTMというモデルで検証。 ● ロススケーリング無しだと300Kイテレーションを超えたあたりから値が発散 し始めるため、 をかけてロススケーリングするとFP32と同精度が出せた。
- 26. 画像生成モデル ● DCGANのモデルを使用。 ● 図の左側がFP32で学習させた結果、右側がMPで学習させた結果。 ● 定量的な指標は無いが、大体見て同精度だということがわかる。 ● ロススケーリングは必要なかった。
- 27. 結論 ● 混合演算はDNNを学習させる際に、メモリー使用量を減らしたり、演算の速 度を早めたりするのにとても重要な手法である。 ● 当論文で異なる多くのDNNに混合演算を適用しても、精度を落とすことなく 、またハイパーパラメータも変更することなく学習させることができること を示せた。 ● FP16で扱いきれないような小さな勾配値を多く持つモデルでは、ロススケー リングを行うことにより、混合演算でもbaselineと同精度の結果を出すこと ができた。 ● メモリーや演算に制限がある際に、DNNのそれぞれの演算をVolta GPUを用 いて行った結果、混合演算を行った方がFP32で演算を行った時と比べて2倍 から6倍早くなった。