Soumettre la recherche
Mettre en ligne
GPU上でのNLP向け深層学習の実装について
•
25 j'aime
•
31,165 vues
Yuya Unno
Suivre
GPU向けにNLPの深層学習を実行する場合の工夫について
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 24
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
Recommandé
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習
SSII
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
深層学習の数理
深層学習の数理
Taiji Suzuki
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
MLSE
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
最適輸送の解き方
最適輸送の解き方
joisino
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
[DL輪読会]Disentangling by Factorising
[DL輪読会]Disentangling by Factorising
Deep Learning JP
CuPy解説
CuPy解説
Ryosuke Okuta
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
Contenu connexe
Tendances
深層学習の数理
深層学習の数理
Taiji Suzuki
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
MLSE
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
最適輸送の解き方
最適輸送の解き方
joisino
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
Deep Learning JP
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
[DL輪読会]Disentangling by Factorising
[DL輪読会]Disentangling by Factorising
Deep Learning JP
Tendances
(20)
深層学習の数理
深層学習の数理
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Active Learning 入門
Active Learning 入門
coordinate descent 法について
coordinate descent 法について
深層生成モデルと世界モデル
深層生成モデルと世界モデル
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
最適輸送の解き方
最適輸送の解き方
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
Triplet Loss 徹底解説
Triplet Loss 徹底解説
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
【DL輪読会】Flow Matching for Generative Modeling
【DL輪読会】Flow Matching for Generative Modeling
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]Disentangling by Factorising
[DL輪読会]Disentangling by Factorising
En vedette
CuPy解説
CuPy解説
Ryosuke Okuta
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
PyOpenCLによるGPGPU入門
PyOpenCLによるGPGPU入門
Yosuke Onoue
More modern gpu
More modern gpu
Preferred Networks
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Seiya Tokui
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
En vedette
(6)
CuPy解説
CuPy解説
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
PyOpenCLによるGPGPU入門
PyOpenCLによるGPGPU入門
More modern gpu
More modern gpu
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Similaire à GPU上でのNLP向け深層学習の実装について
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
MOTOGRILL
SIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to Rank
sleepy_yoshi
[part 2]ナレッジグラフ推論チャレンジ・Tech Live!
[part 2]ナレッジグラフ推論チャレンジ・Tech Live!
KnowledgeGraph
bigdata2012ml okanohara
bigdata2012ml okanohara
Preferred Networks
1017 論文紹介第四回
1017 論文紹介第四回
Kohei Wakamatsu
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
Knowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embedding
Ace12358
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Yuya Unno
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
パターン認識モデル初歩の初歩
パターン認識モデル初歩の初歩
t_ichioka_sg
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開
Seiya Tokui
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
CVPR 2011 ImageNet Challenge 文献紹介
CVPR 2011 ImageNet Challenge 文献紹介
Narihira Takuya
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Kazuki Fujikawa
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Toru Fujino
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Yuya Unno
PythonによるDeep Learningの実装
PythonによるDeep Learningの実装
Shinya Akiba
PRML 4.1 Discriminant Function
PRML 4.1 Discriminant Function
Shintaro Takemura
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
Similaire à GPU上でのNLP向け深層学習の実装について
(20)
20150730 トピ本第4回 3.4節
20150730 トピ本第4回 3.4節
SIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to Rank
[part 2]ナレッジグラフ推論チャレンジ・Tech Live!
[part 2]ナレッジグラフ推論チャレンジ・Tech Live!
bigdata2012ml okanohara
bigdata2012ml okanohara
1017 論文紹介第四回
1017 論文紹介第四回
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Knowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embedding
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
パターン認識モデル初歩の初歩
パターン認識モデル初歩の初歩
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開
機械学習の理論と実践
機械学習の理論と実践
CVPR 2011 ImageNet Challenge 文献紹介
CVPR 2011 ImageNet Challenge 文献紹介
Kaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular Properties
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
PythonによるDeep Learningの実装
PythonによるDeep Learningの実装
PRML 4.1 Discriminant Function
PRML 4.1 Discriminant Function
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Plus de Yuya Unno
深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来
Yuya Unno
深層学習時代の自然言語処理ビジネス
深層学習時代の自然言語処理ビジネス
Yuya Unno
ベンチャー企業で言葉を扱うロボットの研究開発をする
ベンチャー企業で言葉を扱うロボットの研究開発をする
Yuya Unno
PFNにおけるセミナー活動
PFNにおけるセミナー活動
Yuya Unno
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
Yuya Unno
進化するChainer
進化するChainer
Yuya Unno
予測型戦略を知るための機械学習チュートリアル
予測型戦略を知るための機械学習チュートリアル
Yuya Unno
深層学習による機械とのコミュニケーション
深層学習による機械とのコミュニケーション
Yuya Unno
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
Yuya Unno
Chainer, Cupy入門
Chainer, Cupy入門
Yuya Unno
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
Yuya Unno
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
Yuya Unno
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Yuya Unno
NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」
Yuya Unno
Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
Yuya Unno
企業における自然言語処理技術利用の最先端
企業における自然言語処理技術利用の最先端
Yuya Unno
「知識」のDeep Learning
「知識」のDeep Learning
Yuya Unno
自然言語処理@春の情報処理祭
自然言語処理@春の情報処理祭
Yuya Unno
ピーFIの研究開発現場
ピーFIの研究開発現場
Yuya Unno
Plus de Yuya Unno
(20)
深層学習で切り拓くパーソナルロボットの未来
深層学習で切り拓くパーソナルロボットの未来
深層学習時代の自然言語処理ビジネス
深層学習時代の自然言語処理ビジネス
ベンチャー企業で言葉を扱うロボットの研究開発をする
ベンチャー企業で言葉を扱うロボットの研究開発をする
PFNにおけるセミナー活動
PFNにおけるセミナー活動
深層学習フレームワークChainerとその進化
深層学習フレームワークChainerとその進化
進化するChainer
進化するChainer
予測型戦略を知るための機械学習チュートリアル
予測型戦略を知るための機械学習チュートリアル
深層学習による機械とのコミュニケーション
深層学習による機械とのコミュニケーション
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
Chainer, Cupy入門
Chainer, Cupy入門
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
深層学習フレームワークChainerの特徴
深層学習フレームワークChainerの特徴
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
NIP2015読み会「End-To-End Memory Networks」
NIP2015読み会「End-To-End Memory Networks」
Chainer入門と最近の機能
Chainer入門と最近の機能
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
企業における自然言語処理技術利用の最先端
企業における自然言語処理技術利用の最先端
「知識」のDeep Learning
「知識」のDeep Learning
自然言語処理@春の情報処理祭
自然言語処理@春の情報処理祭
ピーFIの研究開発現場
ピーFIの研究開発現場
GPU上でのNLP向け深層学習の実装について
1.
GPU上でのNLP向け深層学習 の実装について (株)Preferred Infrastructure 海野 裕也
2.
概要 l データごとに構造の異異なる⾃自然⾔言語処理理の様な 分野で、効率率率的な学習をするにはどうすればよ いか? l 論論⽂文ベースで幾つかの⼯工夫を紹介 2
3.
確率率率的勾配降降下法 until converge: for x,
y in trianing data: grad = calc_grad(x, y) update(w, grad) 3 こちらの並列列化は限度度がある こちらの並列列度度を上げる
4.
ミニバッチ並列列化 until converge: for {x,
y} in trianing data: grad = calc_grad({x, y}) update(w, grad) 4 ⼀一度度にたくさん計算する 並列列に計算できる
5.
ミニバッチの勾配計算の例例(SVM) Lhinge(yxTw) l W ∈
RD l x ∈ RD l y ∈ {-1, 1} l Lhinge: R à R 5 ∑ Lhinge(y⦿(xTw)) l W ∈ RD l x ∈ R{B, D} l y ∈ {-1, 1}B l Lhinge: RB à RB Bはミニバッチサイズ ⾏行行列列計算ライブラリに並列列化を押し込む
6.
⾔言語処理理でのミニバッチ並列列化の問題 l = 0 for
x, y in sentence: l = l + dot(softmax(dot(W, h)), y) c, h = LSTM(c, h, x) 6 ループ回数がデータ依存
7.
ミニバッチ並列列(Bunch training) l 複数⽂文をいっぺんに学習 l
⽂文⻑⾧長の差分はNULL(特別な記号)で埋めてごまかす 7
8.
NULL埋めによる無駄 8 l ⽂文⻑⾧長はガンマ分布に従うとして[古橋12]、複数サンプリ ングした中で最⼤大⻑⾧長に合わせた時の計算効率率率をプロット 0 0.2 0.4 0.6 0.8 1 1.2 1 2
4 8 16 32 64 128 256
9.
Sentence splicing [Chen+14] l
NULLで埋めずに、次々に⽂文を処理理する l 実装は単純ではない気がするが 9
10.
Splicingの効果 l Splicingしないと、50並列列程度度で性能は頭打ち 10
11.
Pipeline [Chen+15] l 層ごとにGPUが担当して、層が深くなるごとに別GPUが 計算を⾏行行う 11
12.
短いチャンクに切切る[Doetsch+14] l 単に短いチャンクに切切って並列列度度を上げる l NULLの量量も減る l
本当に⻑⾧長い依存は学習できなくなる 12
13.
計算グラフを解析 [Hwang+15] l 計算グラフを強連結成分分解 l
Recurrentの部分は1つの強連結成分に押し込める l 各強連結成分ごとに並列列計算する 13
14.
⾃自動並列列化の効果 l 単⼀一ストリームでもスループット向上 l ストリーム数が増えると性能は変わらない 14
15.
おまけ:Bucketing l 予め幾つかの⽂文⻑⾧長⽤用のネットワークを⽤用意して、 処理理データが収まる最⼩小のネットワークを利利⽤用 する l TensorFlowで使われている 15
16.
並列列化の⼯工夫まとめ l ゼロ埋め l ⽂文⻑⾧長の違うデータに0を埋めて、無理理やり計算 l
スプライシング l ストリームごとに次々データを流流す l パイプライン l 層ごとに別GPUを割り当ててスループットを稼ぐ l チャンク l ⽂文を無理理やり切切って⽂文⻑⾧長の差を緩和 l グラフ解析 l 計算系列列中の独⽴立立部分を抽出して⾃自動割当 16
17.
この辺から本題 l 今までみたのは全てシンプルなRecurrentだった ので、基本的に⽂文⻑⾧長(EOSのタイミング)しか 違いがない l より複雑なネットワークの並列列処理理には更更に⼯工 夫が必要 l
Encoder-decoderモデル l Recursive neural network l Attentionモデル系 l Memory networks系 17
18.
並列列化のレベル l GPUデバイス内 l SIMD,
メモリ, スレッド, カーネル l メモリ帯域: ~1TB/sec l GPUデバイス間(マルチGPU) l PCI-ex (~100GB/sec) l マシン間 l InfiniBand (~50GB/sec), Ethernet (~1GB/sec) 18
19.
バッチ vs オンライン l
ミニバッチサイズを増やしても実時間での精度度 向上が早くなってないように感じる l バッチ学習とオンライン学習と同じ議論論 l 更更新頻度度をあげようとすると、CPUの⽅方が有利利 な可能性は無いか? 19
20.
実装レベルで⽐比較
21.
⽬目についた実装を調査 l Embedding l Recurrent l
Recursive 21
22.
Embedding l word2vec l CPU実装、スレッドで並列列化、ロックしないで更更新(ミニバッ チにはしていない)、勾配を陽に持たない l
gensim l Python実装、Cythonで⾼高速化 l Polyglot2 l Python実装、Cythonとblasで⾼高速化 l Chainer (word2vec example) l Python実装、cupyでGPUサポート、ミニバッチ 22
23.
Recurrent l theano-rnn l Python実装、theanoでGPU、batchsizeでchunkを作る l
Passage l Python実装、theanoでGPU、iteratorでミニバッチを作り、 余ったところはゼロ埋め l DL4J (rnn example) l Java実装、ND4JでGPU、iteratorでミニバッチを作り、 batchsizeでchunkを作る l Chainer (ptb example) l Python実装、CuPyでGPU、batchsizeでchunkを作る 23
24.
Recursive l Stanford core
nlp l Java実装、再帰関数で実装、ミニバッチしていない l deep-recursive l C++実装、Eigen利利⽤用、データ単位で処理理(ミニバッチしていな い) l RecursiveNeuralTensorNetwork l Python実装、theano利利⽤用、Treeをstack操作に変換してから学 習しているがミニバッチしていなさそう l Chainer (sentiment example) l Python実装、CuPyでGPU、再帰関数で実装、ミニバッチして いない 24
Télécharger maintenant