[DL納会] 第一回DL輪読会 & DLHacks納会
•
0 j'aime•2,050 vues
2018/07/14 Deep Learning JP: http://deeplearning.jp/hacks/
Recommandé
Recommandé
Contenu connexe
Dernier
Dernier (7)
En vedette
En vedette (20)
[DL納会] 第一回DL輪読会 & DLHacks納会
- 1. Deep Learning 勉強会 報告 松尾研 曽根岡 1
- 10. クロストレンド連載開始 10
- 11. 11
- 12. 第一弾 12
- 13. 第二弾 13
- 14. 第三弾 14
- 15. Twitter 15
- 16. @DL_Hacks 16
- 22. 11～20位 22 順位 発表者 会 ツイート文 Impr 11 中川 DLHacks 機械学習の実験支援ツールのCometMLを紹介。実験結果やハイパラなどをクラウド上のダッシュ ボードで確認可能。チームやプロジェクト単位での管理が可能で、Tensorboardに比べ複数実験の 可視化・比較がしやすい。 12069 12 冨山 DL輪読会 Deep Learningを用いて，任意の分布のサンプリングを行う．乱数を写像したあとカーネル密度推 定を行い，それと目標分布とのJSDを最小化する．資料ではMCMCなど，様々なサンプリングにつ いてまとめてあります． 11867 13 植木 DLHacks 正則化(regularization)とは、訓練誤差でなく汎化誤差を減少させる目的の技術。Shake-Shake以 降、ここ1年間の正則化の論文を紹介。正則化でCIFAR-10だとエラー率1.86%まで下がっている。 11608 14 前田 DLHacks [Deep Mind] 通称Relational Network．従来のモデルでは困難だった関係推論タスクの精度を大 きく上回るDeep Learningモジュールを提案．CNNやLSTMの特徴ベクトルをそのままオブジェク トとして扱える柔軟性を持つ．実装：PyTorch 11551 15 阿久澤 DLHacks 動画をGANで作るMocoGANをPytorchで実装。著者はコード未公開なので、おそらく初公開。 Generatorの潜在空間をContentとMotionにわけることで、簡単な人の動きの動画の生成に成功。 11533 16 関口 DL輪読会 音声時系列信号の最近２年間の深層学習の研究動向を調査する論文．音声認識と音声エンハンスメ ントが主な応用．音声波形か周波数解析データを入力し、欲しい結果を出力とするEnd-to-endのネ ットワークが主流． 11260 17 関 DL輪読会 Seq2Seqとして文書要約を行う研究のここ1年ぐらいの論文を何点か紹介しました。 10937 18 味曽野 DL輪読会 モバイル向けにint(主に8bit)のみで推論するための量子化計算手法や量子化を考慮した訓練方法の 提案．MobileNetをベースラインとして数%の精度低下でより高速なintによる推論を実現． TensorFlow(Lite)に実装． 9807 19 松嶋 DL輪読会 学習則として，生物的に妥当とされるスパイクタイミング依存可塑性(STDP)を用いたボルツマンマ シンによって，連続量・系列的な出力を予測できることを示した論文を紹介．ニューラルネットの 学習則にSTDPを用いる研究の発展に期待 9286 20 古賀 DLHacks 差分プライベートな医療データを生成するGAN。Discriminatorの勾配をclipし、ガウスノイズを 加える、Differential Private SGDをベースにした最適化手法を採用。論文内のfigureも再現。 9235
- 23. 4～10位 23 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 24. 4～10位 24 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 25. 4～10位 25 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 26. 4～10位 26 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 27. 4～10位 27 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 28. 4～10位 28 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 29. 4～10位 29 順位 発表者 会 ツイート文 Impression 4 初谷 輪読 みんなうすうす気づいている連続行動空間における深層強化学習の再現性、頑 健性のなさを多くの比較実験を行うことで明らかにした。今後の深層強化学習 の進むべき方向性、手法の評価方法についても議論している。その他タスク評 価に関する論文も 15735 5 東 Hacks CNNを用いたGANによる記号領域(Midi)での音楽生成モデル。Generator で小 節を生成する際には Conditional CNN を用いることで直前の小節の情報を付加 情報として与えることができる。 15401 6 村上 （晋） Hacks Variational Auto EncoderとDCGANの考え方を組み合わせることで、より良い 特徴表現を学習する。特徴空間上の分布を制御することでmode collupseを防 ぎ、学習の安定性を向上させた。 14772 7 阿久澤 Hacks 動画をGANで作るMocoGANの実装（Pytorch）について解説記事を書きまし た。実装自体はおそらく世界初公開。Generatorの潜在空間をContentと Motionにわけることで、簡単な人の動きの動画の生成に成功してます。 13549 8 藤川 輪読 Hintonらのグループによる、Capsule Networkに関する続報。ポーズ行列を含 む新しいCapsule層を提案し、Capsule間の結合の強さをEMルーティングで決 定。smallNORBベンチマークでSotA。 12725 9 大野 輪読 単一の画像から人の3D復元するモデルの提案. 敵対的に訓練するDiscriminator を用意し, real/fakeを判断しながら学習することで, 2D⇢3Dメッシュの対デー タが少ない中で高精度を達成. リアルタイムの推論も可. 12203 10 曽根岡 輪読 クラス間のデータ数が異なることで分類精度が落ちる不均衡データ問題に対し て、CNNに焦点をあて、悪影響の有無・対策手法の効果を検証。結果、 Oversamplingの有効性を示した。また、本発表では有名な対策をまとめた。 12132
- 33. 最後にまじめな話 • みなさんのおかげで、DL輪読会・DLHacksが存続し、 コミュニティが活性化しています • 外への発信体制が整い、みなさんの頑張りに報いることが できるようになってきました（少しばかりですが） • このコミュニティをより活性化させるためにも 完全紹介制で少し拡大しようと思います • 紹介フォーム：https://goo.gl/5bpa4X 33