2018/06/22 Neural Network Console Tutorial
•Télécharger en tant que PPTX, PDF•
6 j'aime•5,525 vues
This is a slide we have showed in db analytics showcase in Sapporo.
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 2018/06/22 Neural Network Console Tutorial
Similaire à 2018/06/22 Neural Network Console Tutorial (20)
2018/06/22 Neural Network Console Tutorial
- 1. db analytics showcase Sapporo 2018 ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社 シニアマシンラーニングリサーチャー 小林 由幸 Deep Learningツール Neural Network Consoleチュートリアル
- 2. 2 自己紹介 小林 由幸 1999年にソニーに入社、2003年より機械学習 技術の研究開発を始め、音楽解析技術「12音 解析」のコアアルゴリズム、認識技術の自動 生成技術「ELFE」などを開発。近年は 「Neural Network Console」を中心にディー プラーニング関連の技術・ソフトウェア開発 を進める一方、機械学習普及促進や新しいア プリケーションの発掘にも注力。 こばやし よしゆき
- 3. 3 目次 • Deep Learningの基礎知識とNeural Network Console • Neural Network Consoleチュートリアル • セットアップ • 分類問題（画像入力） • 分類分類（画像以外） • ニューラルネットワーク設計の基礎まとめ • 作成した認識機の製品・サービス等への組み込み • まとめ
- 4. 4 Deep Learningの基礎知識とNeural Network Console
- 5. 5 Deep Learningとは 脳の学習機能をコンピュータでシミュレーションするニューラルネットワークを用いた技術 神経細胞 人工ニューロン x1 x2 x3 … y 𝑦 = 𝑓 𝑤𝑖x𝑖 + b ニューラルネットワーク （1960～1990頃） Deep Learning (2006～) 0 1 入力層 中間層 出力層 … … … 1～2層の中間層 … … … … … … … 入力層 出力層 3層～1000以上の中間層 数十Ｍ規模のニューロン数 大規模なニューラルネットワークの 学習が可能になり、大幅に性能向上
- 6. 6 認識機を作成するために必要な作業（画像認識機における例） … … … … … … … 画像認識機 （Neural Network） Input：画像 Output：画像認識結果 「2」 1. データセットを用意する 入力と、期待する出力のペアを多数用意 2. ニューラルネットワークの構造を 設計する （サンプルを利用可能） 3. 用意したデータセットで、設計した ニューラルネットワークを学習する 基本的にはこの3ステップで画像認識機を作成することができる … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
- 7. 7 Feed Forward Neural Networkの構成例 28×28 8×8×16 4×4×16 24×24×6 12×12×6 入力 出力 1 x 28 x 28 6 x 24 x 24 16 x 12 x 12 16 x 8 x 8 16 x 4 x 4 120 convolution maxpooling tanh convolution maxpooling tanh affine tanh 16 x 12 x 12 16 x 4 x 4 affine softmax 120 10 10 120 10 Convolutional Neural Network Convolution 6種の5x5フィルタを 畳み込み Convolution 16種の6x5x5フィルタを 畳み込み 2↓ MaxPooling + tanh Affine +tanh Affine +softmax 2↓ Maxpooling (sub sampling) + tanh ニューラルネットワークは乗加算計算を主とする関数の組み合わせで表現できる
- 9. 9 -1.5 -1 -0.5 0 0.5 1 1.5 -6 -4 -2 0 2 4 6 Output Input Tanh （活性化関数） 入力値を-1～1の範囲に収める MaxPooling （プーリング層） 8 x 8 4 x 4 Input Output 隣接ピクセルで最大値を取り、 ダウンサンプリング
- 10. 10 学習データを用いたWの更新方法 ニューラルネットワークでは、乱数で初期化したパラメータWをミニバッチ勾配降下法 （Mini-Batch Gradient Descent）で最適化するのが一般的 入力x 出力y 0 1 2 3 4 5 6 7 8 9 … … … … 1. 学習データからミニバッチ（256個程度のデータ）を取得 2. 用意したデータを用いてForward計算を行い、現在のパラ メータWによる出力yとロス（最小化したい値）Eを求める 3. Backward計算を（ロスEの逆伝播）行い、パラメータWの 勾配ΔWを求める 4. Updateを行う（求めた勾配ΔWを元にWを更新） 2. Forward （入力から出力を計算） ロスE 3. Backward （パラメータの勾配を計算） パラメータW パラメータの勾配ΔW w E δE δW Forward→Backward→Updateを繰り返し、パラメータWを最適化していく 𝑊𝑡+1 ← 𝑊𝑡-𝜂Δ𝑊𝑡 0 1 2 3 4 5 6 7 8 9 正解
- 11. 11 入出力次第で無限に広がるDeep Learningの応用 Deep Learning応用開発人材の育成と、活用の促進が求められる …入力 出力 実現する機能 入力 出力 画像認識 画像 カテゴリ 文章の自動仕分け 文章 文章カテゴリ 音声認識 音声 文字列 機械翻訳 英単語列 日単語列 人工無能（チャット） 入力発話の単語列 期待応答の単語列 センサ異常検知 センサ信号 異常度 ロボット制御 ロボットのセンサ ロボットのアクチュエーター … 実現する機能
- 12. 12 Neural Network Console 商用クオリティのDeep Learning応用技術（画像認識機等）開発のための統合開発環境 コーディングレスで効率の良いDeep Learningの研究開発を実現 クラウド版（CPU 10時間まで無償）Windows版（無償） dl.sony.com インストールするだけ、もしくはサインアップするだけで本格的なDeep Learning開発が可能 成果物はオープンソースのNeural Network Librariesを用いて製品、サービス等への組み込みが可能
- 13. 13 Neural Network Console チュートリアル セットアップ
- 14. 14 セットアップ：Windows版 1. zipファイルをダウンロード 2. 適当なフォルダに解凍 ダウンロードしたzipファイルを解凍するだけで基本的なセットアップは完了 日本語マニュアル Neural Network Consoleアプリ ※Neural Network Consoleは2バイト文字に対応していないため、漢字等の含まれないフォルダへの解凍が必要 ※Visual Studio 2015の再頒布パッケージがインストールされていない場合はインストール ※NVIDIAのGPUを用いる場合、GPUドライバを最新のものにアップデート
- 15. 15 セットアップ：Cloud版 新規アカウントを作成し、ログインするだけで利用の準備が完了 1. アカウントを作成 2. 作成したアカウントでログイン
- 16. 16 Neural Network Console チュートリアル 分類問題（画像入力）
- 18. 18 データセットの準備（画像分類問題） 入力xには画像ファイル名を指定 出力yには正解のカテゴリのIndexを記述 1行目 ＝ヘッダ 変数名[__次元Index][:ラベル名] 2行目以降 ＝データ 値 or ファイル名 xとy、2つの変数 ヘッダ データ (2行目以降)Neural Network 入力 x 画像 出力 y カテゴリ Neural Network Consoleに対応したデータセットファイルは簡単なスクリプトで作成可能 画像認識機学習用データセットの例 Neural Network Console所定のCSVファイルフォーマットでデータセットを準備 ※Neural Network Consoleは2バイト文字に対応していないため、 CSVファイル内やファイル名に漢字等を含まないようにする
- 20. 20 データセットのアップロード（Cloud版の場合） 1. ダッシュボードからUpload Datasetを選択 2. アップローダをダウンロード （Windows / MacOS） 3. アップローダを用いてデータセット CSVファイルとデータをアップロード Upload Datasetで表示されるトークンをアップローダに Pasteし、アップロードするデータセットCSVを指定して Startボタンを押すことでアップロードを開始
- 23. 23 画像認識用ネットワーク（1層 Logistic Regression）を設計する ←1（モノクロ）×28（Height）×28（Width）の画像入力 ←全結合層 入力（1,28,28）→出力（1） ←Sigmoid関数によるアクティベーション ←ロス関数(1) ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ … ○ Input 1x28x28 Affine ○ 全結合 ○ OutputSigmoid 4(=0) or 9(=1) 1層のネットワークで4と9の数字を見分ける課題 28 28 EDITタブにて関数ブロックを組み合わせ、1層ニューラルネットワークを設計 ドラッグ＆ドロップ操作で、視覚的にニューラルネットワークを設計
- 27. 27 画像認識用ネットワーク（2層 Multi Layer Perceptron）を設計 IOカテゴリより、Input Basicカテゴリより、Affine Activationカテゴリより、Tanh Basicカテゴリより、 Affine Activationカテゴリより、 Sigmoid Lossカテゴリより、BinaryCrossEntropy を追加
- 29. 29 1層のLogistic Regression～4層のCNNまで 1層（Logistic Regression） 2層（Multilayer perceptron） Convolutional Neural Networks(CNN) Input：データ入力 → Convolution → ReLU → MaxPooling → Affine → ReLU → Affine → Softmax → Categorical Crossentropy 繰り返し 配置 最後の 仕上げ (分類問題時)
- 30. 30 Neural Network Console チュートリアル 分類問題（画像以外）
- 31. 31 データセットの準備（ベクトルデータ） neural_network_consolesamplessample_datasetiris_flower_dataset 例） Fisher Iris Flower Dataset あやめのがく、花びらの長さ、幅からあやめの種類(3種類)を認識 以下のようなフォーマットのデータセットCSVを用意 がく、花びらの長さ、幅 あやめの種類 0: Iris setosa 1: Iris versicolor 2: Iris virginica 入力ベクトル x 目的変数 y
- 34. 34 Neural Network Console チュートリアル ニューラルネットワーク設計の基礎まとめ
- 35. 35 ニューラルネットワーク設計の基礎 • 入力ニューロンの数を入力データの次元数、出力ニューロンの数を出力デー タの次元数に設定 • 画像分類問題の場合の例 • 入力ニューロン数：色数×高さ×幅 • 28x28ピクセルのモノクロ画像を入力する場合、(1, 28, 28)の配列となる • 出力ニューロン数：画像カテゴリ数 • 画像を10カテゴリに分類する場合、10とする 入力ニューロン数 ＝入力データの次元数 出力ニューロン数 ＝出力データの次元数28 28 X:0,Y:0 X:1,Y:0 X:2,Y:0 X:3,Y:0 X:4,Y:0 X:5,Y:0 X:26,Y:27 X:27,Y:27 784 10 0 1 2 3 4 5 6 7 8 9 … … … …
- 36. 36 ニューラルネットワーク設計の基礎 1層を構成する基本構造 • Convolution層 畳み込み 出力を平均0、分散1に正規化 活性化関数 ダウンサンプリング（必要に応じて） 全結合 平均0、分散1に正規化 活性化関数 • Affine（全結合）層 • これらの構造を複数つなぎ合わせることで、多層ネットワークを構成するのが基本 • 活性化関数は他のものを使ってもよい
- 40. 40 Neural Network Console チュートリアル 作成した認識機の製品・サービス等への組み込み
- 41. 41 作成した認識機を利用する方法は3通り • Neural Network LibrariesのCLI（Python利用）からの実行 簡単だが低速 • Neural Network Libraries Pythonコードからの実行 比較的容易かつ高速 • Neural Network Libraries C++からの実行 コンパクトに製品搭載する際に • https://github.com/sony/nnabla/tree/master/examples/cpp/mnist_runtime python "(path of Neural Network Console)/libs/nnabla/python/src/nnabla/utils/cli/cli.py" forward -c Network definition file included in the training result folder (net.nntxt) -p Parameter file included in the training result folder (parameters.h5) -d Dataset CSV file of input data -o Inference result output folder 1. Neural Network Console上で推論に用いるネットワークを右クリックして、Export、Python Code （NNabla）を選択→ネットワークの定義コードがクリップボードにコピーされる 2. 学習結果のparamters.h5を、load_parametersコマンドで読み込み import nnabla as nn nn.load_parameters('./parameters.h5') 3. 2によりパラメータが読み込まれた状態で、1でExportされたネットワークを実行（forward）
- 42. 42 まとめ
- 44. 44 まとめ Neural Network Consoleを用いた開発の流れ プロジェクトの作成→データの読み込み→ネットワーク設計→学習→評価 様々なデータの扱い データセットCSVファイルを介して、画像、音声、ベクトル、テキストなど、様々なデータを 扱うことができる ニューラルネットワーク設計の基礎 Convolution層、Affine層の繰り返し構造が基本 解きたい課題（2値分類、分類、回帰等）に合わせて最終層とロス関数を設定 作成したモデルの製品・サービス等への組み込み Python（CLI）、Python（NNabla API）、C++の3通りから選択できる Neural Network Consoleで快適なDeep Learningライフを