Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

PRMU201902 Presentation document

540 vues

Publié le

深層学習に関する (個人的な)取り組みの紹介

Publié dans : Sciences
  • Soyez le premier à commenter

PRMU201902 Presentation document

  1. 1. 田中正行 PRMU研究会2019/02 深層学習に関する (個人的な)取り組みの紹介
  2. 2. 概要 1 1.mgq (Minimal Gram task Queue) 2.train1000 (Train with small samples) 3.WiG (Weighted Sigmoid Gate Unit) (便利な)シンプルタスクキュー (練習用)小サンプル学習 新しい活性化関数 https://github.com/likesilkto/mgqueue http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  3. 3. タスクキューと深層学習 2 時間 18:00 20:00 22:00 00:00 02:00 04:00 06:00 08:00 10:00 GPU0 GPU1 Task0 Task1 Task2 Task3 (少ない)GPU資源を効率的に活 用したい 処理終了後,すぐに次の処理を行 いたい!
  4. 4. mgq (Minimal Gram task Queue) 3 https://github.com/likesilkto/mgqueue % pip install git+https://github.com/likesilkto/mgqueue インストール: python application タスク追加: % mgq queue_name ad ‘python train1.py’ % mgq queue_name ad ‘python train2.py’ スタート: % mgq queue_name start % mgq queue_name start –gmail [@マークより前のgmail アカウント] タスク追加: % mgq queue_name ad ‘python train3.py’
  5. 5. Train1000 project 4 http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ Cifar-10, 100 学習データ数: 50,000枚 テストデータ数:10,000枚 GPUを使って学習に数時間かかる いろいろ試すには時間がかかるし, 初学者の練習には大変 少数データから学習できるのか? 1,000個の少数データから、 どれくらい性能が出せるのか? #train1000
  6. 6. Train1000 project 5 http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ #train1000 mnist 100 samples x 10 classes = 1,000 samples Test Acc.: 0.9786 fashion_mnist 100 samples x 10 classes = 1,000 samples Test Acc.: 0.8159 cifar-10 100 samples x 10 classes = 1,000 samples Test Acc.: 0.5295 cifar-100 10 samples x 100 classes = 1,000 samples Test Acc.: 0.1676
  7. 7. 概要 6 1.mgq (Minimal Gram task Queue) 2.train1000 (Train with small samples) 3.WiG (Weighted Sigmoid Gate Unit) (便利な)シンプルタスクキュー (練習用)小サンプル学習 新しい活性化関数 https://github.com/likesilkto/mgqueue http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  8. 8. Activation Functions for DNNs Input x Activation function Weight Output y Conv. Activation function Input x Output y Activation functions Sigmoid tanh ReLU 𝜎𝜎 𝑥𝑥 = 1 1 + 𝑒𝑒−𝑥𝑥 max(𝑥𝑥, 0)
  9. 9. Advanced Activation Functions ReLU max(𝑥𝑥, 0) � 𝑥𝑥 (𝑥𝑥 ≥ 0) 𝛼𝛼𝛼𝛼 (𝑥𝑥 < 0) Leaky ReLU Parametric ReLU swish, SiL 𝑥𝑥 𝜎𝜎 𝑤𝑤𝑤𝑤 + 𝑏𝑏 Existing activation functions are element-wise function. Dying ReLU: Dead ReLU units always return zero.
  10. 10. WiG: Weighted Sigmoid Gate (Proposed) Existing activation functions are element-wise function. Sigmoid Gated Network can be used as activation function. Weight Activation function Weight Activation networkunit Proposed WiG (Weighted sigmoid gate unit) W × Wg WiG activation unit It is compatible to existing activation functions. It includes the ReLU. Sigmoid W Wg × My recommendation is: You can improve the network performance just by replacing the ReLU by the proposed WiG.
  11. 11. WiG: Three-state 10 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) 人の網膜細胞 オン中心型受容野 オフ中心型受容野 中心が明るいほど 大きな出力 中心が暗いほど 大きな出力 反応なし ⊗ 反応の大きさ閾値制御 (符号付の) 反応の大きさ制御 閾値制御 独立に制御できる (かもしれない) Uchida, Coupled convolution layer for convolutional neural network, 2018
  12. 12. WiG: 側抑制 11 脳の測抑制 WiGは測抑制を実現できる! 測抑制 ニューロンの空間分布 大きな反応の周辺のニューロンの 反応が抑制される 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) ⊗ 反応の大きさ閾値制御 要素独立の活性化関数 測抑制は実現不可能 測抑制を実現するWgを簡単に設計可能
  13. 13. WiG with sparseness constraint 12 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) スパースネス: yの非ゼロ要素が少ない スパースネス拘束: 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 1
  14. 14. WiG  ReLU 13 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) 𝑦𝑦 = 𝜎𝜎(𝛼𝛼𝛼𝛼) × 𝑥𝑥 𝑦𝑦 = 𝜎𝜎(𝛼𝛼𝛼𝛼) 𝛼𝛼 → ∞ 𝑦𝑦 = � 0 (𝑥𝑥 < 0) 1 (𝑥𝑥 ≥ 0) 𝑦𝑦 = 𝜎𝜎(𝛼𝛼𝛼𝛼) × 𝑥𝑥 𝛼𝛼 → ∞ 𝑦𝑦 = max(0, 𝑥𝑥) WiGはReLUを再現できる! 既存ネットワークのReLUをWiGに置き換えて, 高性能化できる!(かも)
  15. 15. Experimental Validations Object recognition Average accuracy Image denoising The reproduction code is available http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  16. 16. まとめ 15 1.mgq (Minimal Gram task Queue) 2.train1000 (Train with small samples) 3.WiG (Weighted Sigmoid Gate Unit) (便利な)シンプルタスクキュー (練習用)小サンプル学習 新しい活性化関数 https://github.com/likesilkto/mgqueue http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/

×