ディープラーニングの最新動向

1. ディープラーニングの最新動向岡野原　⼤大輔 hillbig@preferred.jp Preferred Networks, Inc. Preferred Infrastructure, Inc. 2016/1/15@NVIDIA Deep Learning Day 2016

2. ディープラーニング（DL：DeepLearning）とは l  層が深く、幅も広いニューラルネットワークを利利⽤用した機械学習⼿手法 l  2012年年の⼤大ブレーク以来、研究コミュニティのみならず産業界に多く使われてきた –  2014〜～2015年年中に出された関連論論⽂文数は1500を超える* l  画像認識識、⾳音声認識識などで劇的な精度度向上を果たし、その多くが既に実⽤用化されている 2 2014年の一般画像認識コンテストで優勝した 22層からなるNNの例 [Google] *http://memkite.com/deep-‐‑‒learning-‐‑‒bibliography/ 2015年の一般画像認識コンテストで優勝した 152層からなるNNの例 [MSRA]

3. なぜ機械学習が実世界で使えるようになったのか l  Internet of Thingsの到来 –  センサとコンピューターとアクチュエーターがつながる l  モバイル機器の性能向上 –  モバイルでもTﬂops級の計算リソースが利利⽤用可能に –  デバイス上で深層学習の⼤大部分が実現可能 l  低価格ハイスループットセンサの登場 –  映像カメラ　数千円以下に、2020年年台の⾞車車は10個以上のカメラを搭載 –  ゲノムシーケンサ　1000ドルゲノム時代の到来 l  アクチュエータの登場 –  ⾃自動運転⾞車車、ロボット、ドローン l  機械学習の研究⾃自体の進化 3 NVIDIA DrivePX 2  1秒間に24兆回のDLの演算可能 Velodyne Lidar １秒間で周囲数百mの  数百万点の測距

4. 開発⼿手法の⼤大きな変⾰革 l  ハードウェアで実現 –  綿密な要求定義・設計・テスト –  市場に出てからの機能修正・変更更は困難 –  試⾏行行錯誤のコストは⼤大きい l  ソフトウェアで実現 –  アジャイルに開発可能 –  市場にでてからの機能修正・変更更は容易易 –  （優秀な）プログラマがボトルネック l  機械学習/深層学習で実現 –  実現したい機能は機械が獲得する –  データさえ集められれば瞬時に実現 –  市場に出た後も勝⼿手に進化し続ける 4 開発期間 1〜3ケ月 1〜3日 1〜3年

5. Chainer : 深層学習フレームワーク ü  Pythonプログラムで⾃自由にネットワーク記述可能 ü  最新の深層学習の様々なアルゴリズムをネイティブにサポート ü  データごとにオンデマンドでのネットワーク構築が可能 ü  マルチGPU対応(Model Parallel / Data Parallel) ü  2015年年6⽉月の公開以降降，産業界，研究界で広く使われている 5

6. l  深層学習の最新の研究成果を紹介する –  強化学習によるロボットの⾃自動制御 u  CES 2016にてトヨタ、NTTと共同展⽰示デモ u  運転技術を0から経験のみで学習で獲得する。詳細はYoutube コメントを参照 –  セグメンテーションによる駐⾞車車場認識識 u  Panasonicとの共同研究 –  バラ積みロボットの学習 u  FANUCとの共同研究 –  機器の異異常検知 u  FANUCとの共同研究 –  画像の⾃自動⽣生成 6

7. 駐⾞車車場の検出 (Panasonicとの共同研究) 7 l  ⽊木漏漏れ⽇日があるだけでなく、境界に⽩白線はないため，従来⼿手法では困難 –  ⾚赤：駐⾞車車場内　緑：駐⾞車車場枠 l  ディープラーニングのセグメンテーションにより検出可能に

8. センサからの異異常検知 8 異異常な部分を抽出するディープラーニング技術異異常は発⾒見見されない異異常を検出正常時の波形異異常時の波形実際の減速機から得られたセンサデータ

9. 9 既存⼿手法で検出が遅かった異異常を事前に検出提案⼿手法経過時間異異常スコア故障の約40⽇日前にアラームで通知判定閾値既存⼿手法経過時間故障直前で通知ロボット故障ロボット故障 15⽇日前

10. 画像の⾃自動⽣生成 l  Chainer-‐‑‒goph https://github.com/mattya/chainer-‐‑‒gogh l  深層学習は画像も⽣生成できる l  左の画像からスタイルだけを抽出し、ネコの画像を⽣生成 10

11. chainer-‐‑‒DCGAN 　学習30分後画像を0から⽣生成するNN https://github.com/mattya/chainer-‐‑‒DCGAN 11

12. 学習2時間後 12

13. 学習1⽇日後 13

14. まとめ l  深層学習は急速に応⽤用範囲が広がっている –  認識識 u  従来の画像分類，⾳音声認識識+画素単位のセグメンテーション 3D復復元，意味理理解 –  制御 u  ⾃自動⾞車車，ロボット，ドローンの強化学習ベースの制御 –  異異常検知 u  特徴設計を必要しない，任意のセンサを組み合わせられる，⾼高検出率率率 –  ⽣生成 u  画像、⾳音声、設計図の⽣生成 l  今回のデモは全て半年年内で実現されている –  深層学習の研究，開発はますます加速している 14