Contenu connexe
Plus de Deep Learning JP (20)
Direct feedback alignment provides learning in Deep Neural Networks
- 2. 書誌情報
- Direct Feedback Alignment Provides Learning in Deep Neural Networks
- Arild Nøkland (Trondheim, Norway)
- 6 Sep 2016
- http://arxiv.org/abs/1609.01596
- Accepted for publication at NIPS 2016
2
- 7. 関連研究
- Random feedback weights support learning in deep neural networks
(Lillicrap, 2014)
- feedback alignmentを提案
- 逆伝播を、固定ランダム行列で返しても、順伝播側で吸収できる
- 学習が進むための、ネットワークや初期化の条件を証明した
- この論文では、隠れ1層の線形ネットワークでしか証明できておらず、
非線型/複数のレイヤーでどうなるかは、明らかではなかった。
→今回の論文で、ふつうのニューラルネットに拡張された
7
- 14. 実験
- MNIST&CIFAR10で、BP、FA、DFAを比較した。 (順に、図のa, b, c)
- 全体として、BPが最も良く、DFAも、(MNISTでは)BPに近い性能を出せた。
- FAは、DFAに劣っていた。
- なお、IFA(図d)については、メインの実験では取り扱われていない。
- 7ページの一番下で5行ほど書いてある
- MNISTを、隠れレイヤー4×100で学習
- 訓練エラー0%、テストエラー3.9%まで下がったとのこと
14