Soumettre la recherche
Mettre en ligne
Stochastic Gradient MCMC
•
21 j'aime
•
6,125 vues
Kenta Oono
Suivre
Preferred Seminar 2016/1/21
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 29
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
From mcmc to sgnht
From mcmc to sgnht
Keisuke Hosaka
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
Preferred Networks
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML8章
PRML8章
弘毅 露崎
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
Recommandé
From mcmc to sgnht
From mcmc to sgnht
Keisuke Hosaka
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models
Deep Learning JP
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
Preferred Networks
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML8章
PRML8章
弘毅 露崎
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
moterech
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
LBFGSの実装
LBFGSの実装
Kotaro Tanahashi
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
【DL輪読会】A Path Towards Autonomous Machine Intelligence
【DL輪読会】A Path Towards Autonomous Machine Intelligence
Deep Learning JP
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
強化学習2章
強化学習2章
hiroki yamaoka
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
Kenta Oono
ロマンティックな9つの数 #ロマ数ボーイズ
ロマンティックな9つの数 #ロマ数ボーイズ
Junpei Tsuji
Contenu connexe
Tendances
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
cvpaper. challenge
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
moterech
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
LBFGSの実装
LBFGSの実装
Kotaro Tanahashi
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
【DL輪読会】A Path Towards Autonomous Machine Intelligence
【DL輪読会】A Path Towards Autonomous Machine Intelligence
Deep Learning JP
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
Hiroshi Shimizu
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
強化学習2章
強化学習2章
hiroki yamaoka
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
Tendances
(20)
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
自己教師学習(Self-Supervised Learning)
自己教師学習(Self-Supervised Learning)
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
MLaPP 24章 「マルコフ連鎖モンテカルロ法 (MCMC) による推論」
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
LBFGSの実装
LBFGSの実装
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
【DL輪読会】A Path Towards Autonomous Machine Intelligence
【DL輪読会】A Path Towards Autonomous Machine Intelligence
PRML第6章「カーネル法」
PRML第6章「カーネル法」
階層ベイズと自由エネルギー
階層ベイズと自由エネルギー
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
Optimizer入門&最新動向
Optimizer入門&最新動向
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
強化学習2章
強化学習2章
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
En vedette
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
Kenta Oono
ロマンティックな9つの数 #ロマ数ボーイズ
ロマンティックな9つの数 #ロマ数ボーイズ
Junpei Tsuji
Juliaで学ぶ Hamiltonian Monte Carlo (NUTS 入り)
Juliaで学ぶ Hamiltonian Monte Carlo (NUTS 入り)
Kenta Sato
Chainer Contribution Guide
Chainer Contribution Guide
Kenta Oono
結晶と空間充填 #ロマ数ボーイズ
結晶と空間充填 #ロマ数ボーイズ
hinge dearsip
On the benchmark of Chainer
On the benchmark of Chainer
Kenta Oono
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Kenta Oono
Bishop prml 11.5-11.6_wk77_100606-1152(発表に使った資料)
Bishop prml 11.5-11.6_wk77_100606-1152(発表に使った資料)
Wataru Kishimoto
RSS Read Paper by Mark Girolami
RSS Read Paper by Mark Girolami
Christian Robert
数学に包まれた生活 - 日曜にゼータ関数を(略 #ロマンティック数学ナイト
数学に包まれた生活 - 日曜にゼータ関数を(略 #ロマンティック数学ナイト
Junpei Tsuji
WAICとWBICのご紹介
WAICとWBICのご紹介
Tomoki Matsumoto
何故宇宙人も同じ数学に辿りつくか
何故宇宙人も同じ数学に辿りつくか
Kento Ichikawa
HMC and NUTS
HMC and NUTS
Marco Banterle
Replica exchange MCMC
Replica exchange MCMC
. .
集中不等式のすすめ [集中不等式本読み会#1]
集中不等式のすすめ [集中不等式本読み会#1]
Kentaro Minami
Caffeインストール
Caffeインストール
Kenta Oono
提供AMIについて
提供AMIについて
Kenta Oono
Techtalk:多様体
Techtalk:多様体
Kenta Oono
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Makoto Yui
Common Design of Deep Learning Frameworks
Common Design of Deep Learning Frameworks
Kenta Oono
En vedette
(20)
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
ロマンティックな9つの数 #ロマ数ボーイズ
ロマンティックな9つの数 #ロマ数ボーイズ
Juliaで学ぶ Hamiltonian Monte Carlo (NUTS 入り)
Juliaで学ぶ Hamiltonian Monte Carlo (NUTS 入り)
Chainer Contribution Guide
Chainer Contribution Guide
結晶と空間充填 #ロマ数ボーイズ
結晶と空間充填 #ロマ数ボーイズ
On the benchmark of Chainer
On the benchmark of Chainer
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Deep Learning技術の最近の動向とPreferred Networksの取り組み
Bishop prml 11.5-11.6_wk77_100606-1152(発表に使った資料)
Bishop prml 11.5-11.6_wk77_100606-1152(発表に使った資料)
RSS Read Paper by Mark Girolami
RSS Read Paper by Mark Girolami
数学に包まれた生活 - 日曜にゼータ関数を(略 #ロマンティック数学ナイト
数学に包まれた生活 - 日曜にゼータ関数を(略 #ロマンティック数学ナイト
WAICとWBICのご紹介
WAICとWBICのご紹介
何故宇宙人も同じ数学に辿りつくか
何故宇宙人も同じ数学に辿りつくか
HMC and NUTS
HMC and NUTS
Replica exchange MCMC
Replica exchange MCMC
集中不等式のすすめ [集中不等式本読み会#1]
集中不等式のすすめ [集中不等式本読み会#1]
Caffeインストール
Caffeインストール
提供AMIについて
提供AMIについて
Techtalk:多様体
Techtalk:多様体
並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
Common Design of Deep Learning Frameworks
Common Design of Deep Learning Frameworks
Similaire à Stochastic Gradient MCMC
[DL輪読会]物理学による帰納バイアスを組み込んだダイナミクスモデル作成に関する論文まとめ
[DL輪読会]物理学による帰納バイアスを組み込んだダイナミクスモデル作成に関する論文まとめ
Deep Learning JP
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
Kenta Ishii
[DL輪読会]Imputing Missing Events in Continuous-Time Event Streams (ICML 2019)
[DL輪読会]Imputing Missing Events in Continuous-Time Event Streams (ICML 2019)
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
Stochastic Variational Inference
Stochastic Variational Inference
Kaede Hayashi
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
Deep Learning JP
第3回nips読み会・関西『variational inference foundations and modern methods』
第3回nips読み会・関西『variational inference foundations and modern methods』
koji ochiai
[DL輪読会]Peeking into the Future: Predicting Future Person Activities and Locat...
[DL輪読会]Peeking into the Future: Predicting Future Person Activities and Locat...
Deep Learning JP
Akira Imakura
Akira Imakura
Suurist
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
DeepCas
DeepCas
Koichiro tamura
Introduction to Chainer (LL Ring Recursive)
Introduction to Chainer (LL Ring Recursive)
Kenta Oono
Web本文抽出 using crf
Web本文抽出 using crf
Shuyo Nakatani
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
Kenta Oono
20190512 bayes hands-on
20190512 bayes hands-on
Yoichi Tokita
Data assim r
Data assim r
Xiangze
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
201803NC
201803NC
Naoki Hayashi
Prml 10 1
Prml 10 1
正志 坪坂
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
Deep Learning JP
Similaire à Stochastic Gradient MCMC
(20)
[DL輪読会]物理学による帰納バイアスを組み込んだダイナミクスモデル作成に関する論文まとめ
[DL輪読会]物理学による帰納バイアスを組み込んだダイナミクスモデル作成に関する論文まとめ
効用最大化理論の観点から見る強化学習
効用最大化理論の観点から見る強化学習
[DL輪読会]Imputing Missing Events in Continuous-Time Event Streams (ICML 2019)
[DL輪読会]Imputing Missing Events in Continuous-Time Event Streams (ICML 2019)
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Stochastic Variational Inference
Stochastic Variational Inference
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for Prediction
第3回nips読み会・関西『variational inference foundations and modern methods』
第3回nips読み会・関西『variational inference foundations and modern methods』
[DL輪読会]Peeking into the Future: Predicting Future Person Activities and Locat...
[DL輪読会]Peeking into the Future: Predicting Future Person Activities and Locat...
Akira Imakura
Akira Imakura
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
DeepCas
DeepCas
Introduction to Chainer (LL Ring Recursive)
Introduction to Chainer (LL Ring Recursive)
Web本文抽出 using crf
Web本文抽出 using crf
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
日本神経回路学会セミナー「DeepLearningを使ってみよう!」資料
20190512 bayes hands-on
20190512 bayes hands-on
Data assim r
Data assim r
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
201803NC
201803NC
Prml 10 1
Prml 10 1
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
Plus de Kenta Oono
Minimax statistical learning with Wasserstein distances (NeurIPS2018 Reading ...
Minimax statistical learning with Wasserstein distances (NeurIPS2018 Reading ...
Kenta Oono
Deep learning for molecules, introduction to chainer chemistry
Deep learning for molecules, introduction to chainer chemistry
Kenta Oono
Overview of Machine Learning for Molecules and Materials Workshop @ NIPS2017
Overview of Machine Learning for Molecules and Materials Workshop @ NIPS2017
Kenta Oono
Comparison of deep learning frameworks from a viewpoint of double backpropaga...
Comparison of deep learning frameworks from a viewpoint of double backpropaga...
Kenta Oono
深層学習フレームワーク概要とChainerの事例紹介
深層学習フレームワーク概要とChainerの事例紹介
Kenta Oono
20170422 数学カフェ Part2
20170422 数学カフェ Part2
Kenta Oono
20170422 数学カフェ Part1
20170422 数学カフェ Part1
Kenta Oono
情報幾何学の基礎、第7章発表ノート
情報幾何学の基礎、第7章発表ノート
Kenta Oono
GTC Japan 2016 Chainer feature introduction
GTC Japan 2016 Chainer feature introduction
Kenta Oono
Tokyo Webmining Talk1
Tokyo Webmining Talk1
Kenta Oono
VAE-type Deep Generative Models
VAE-type Deep Generative Models
Kenta Oono
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
Kenta Oono
Chainerインストール
Chainerインストール
Kenta Oono
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
Encode勉強会:GENCODE: The reference human genome annotation for The ENCODE Proje...
Encode勉強会:GENCODE: The reference human genome annotation for The ENCODE Proje...
Kenta Oono
Learning Image Embeddings using Convolutional Neural Networks for Improved Mu...
Learning Image Embeddings using Convolutional Neural Networks for Improved Mu...
Kenta Oono
Development and Experiment of Deep Learning with Caffe and maf
Development and Experiment of Deep Learning with Caffe and maf
Kenta Oono
How to Develop Experiment-Oriented Programs
How to Develop Experiment-Oriented Programs
Kenta Oono
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
Kenta Oono
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
Kenta Oono
Plus de Kenta Oono
(20)
Minimax statistical learning with Wasserstein distances (NeurIPS2018 Reading ...
Minimax statistical learning with Wasserstein distances (NeurIPS2018 Reading ...
Deep learning for molecules, introduction to chainer chemistry
Deep learning for molecules, introduction to chainer chemistry
Overview of Machine Learning for Molecules and Materials Workshop @ NIPS2017
Overview of Machine Learning for Molecules and Materials Workshop @ NIPS2017
Comparison of deep learning frameworks from a viewpoint of double backpropaga...
Comparison of deep learning frameworks from a viewpoint of double backpropaga...
深層学習フレームワーク概要とChainerの事例紹介
深層学習フレームワーク概要とChainerの事例紹介
20170422 数学カフェ Part2
20170422 数学カフェ Part2
20170422 数学カフェ Part1
20170422 数学カフェ Part1
情報幾何学の基礎、第7章発表ノート
情報幾何学の基礎、第7章発表ノート
GTC Japan 2016 Chainer feature introduction
GTC Japan 2016 Chainer feature introduction
Tokyo Webmining Talk1
Tokyo Webmining Talk1
VAE-type Deep Generative Models
VAE-type Deep Generative Models
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
Chainerインストール
Chainerインストール
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Encode勉強会:GENCODE: The reference human genome annotation for The ENCODE Proje...
Encode勉強会:GENCODE: The reference human genome annotation for The ENCODE Proje...
Learning Image Embeddings using Convolutional Neural Networks for Improved Mu...
Learning Image Embeddings using Convolutional Neural Networks for Improved Mu...
Development and Experiment of Deep Learning with Caffe and maf
Development and Experiment of Deep Learning with Caffe and maf
How to Develop Experiment-Oriented Programs
How to Develop Experiment-Oriented Programs
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
NIPS2013読み会:Inverse Density as an Inverse Problem: The Fredholm Equation Appr...
Dernier
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(11)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Stochastic Gradient MCMC
1.
Stochastic Gradient MCMC 株式会社
Preferred Networks ⼤野健太 oono@preferred.jp 2016/01/21 Preferred セミナー
2.
⾃⼰紹介 • ⼤野健太(@delta2323_) • 経歴:数理科学研究科・修⼠課程(共形幾何) •
→ 2012.3 PFI → 2014.10 PFN • 所属:研究班(理論解析・ライフサイエンス・Chainer開発メンバー) • ブログ:http://delta2323.github.io • 最近の活動 • NIPS2014勉強会・ICML2015勉強会主催 • ⽇経ビッグデータ短期連載・雑誌寄稿など 2
3.
NIPS2015 Workshopにて 3
4.
今⽇のテーマ • 事後確率からのサンプリングをMCMCで⾏う問題設定 • 特に、訓練データからサブサンプリングして、勾配の近似値を推定することでスケーラブルにす る、Stochastic
Gradient MCMC (SG-MCMC)を紹介します • 紹介する⼿法 • (HMC : Hamiltonian Monte Carlo) ← “Stochastic”ではない • SGHMC : Stochastic Gradient Hamiltonian Monte Carlo • SGLD : Stochastic Gradient Langevin Dynamics • (m) SGNHT : (multivariate) Stochastic Gradient Nose-Hoover Thermostat • (Santa : Stochastic AnNealing Thermostats with Adaptive momentum) ← サンプリン グではなくMAP推定 4
5.
まとめ 5 HMC SGHMC SGLD SGNHT mSGNHT Santa RMSprop SGRLD 勾配を推定値 に置き換える フィッシャー 計量の導⼊ 摩擦→∞
サーモスタット パラメータの導⼊ 各次元に サーモスタット 幾何情報の 推定⽅法の輸⼊ ⾮ユークリッド化 + 焼きなまし SGRHMC gSGRHMC フィッシャー 計量の⼀般化 フィッシャー 計量導⼊
6.
MCMCとは • Markov Chain
Monte Carlo / マルコフ連鎖モンテカルロ法 • Markov Chain • 状態遷移モデルで次の状態が今の状態だけから決まるもの • Monte Carlo • 乱数を⽤いて数値計算・シミュレーション・サンプリングなどを⾏う⼿法 • パラメータ空間中を遷移するマルコフ連鎖を作り、その軌道をたどることで、パラメータ空間上 の確率分布からサンプリングを⾏う⼿法 6
7.
MCMC法の例:天気 状態:{晴れ、⾬} 次の⽇の天気は今⽇の天気だけから確率的に決まるとする (マルコフ性の仮定) 7 1/2 1/2 1/3 2/3 • 初⽇が晴れだと、t⽇⽬が • 晴れの確率 •
4/7 + 3/7 * (-1/6)t • ⾬の確率 • 3/7 - 3/7 * (-1/6)t • ⼗分⽇数が経った時、晴れの確率 は4/7, ⾬の確率は3/7 • 初⽇が⾬でもこの確率は同じ • t⽇⽬の天気の確率が(晴れ, ⾬)=(4/7, 3/7)ならば、t+1⽇⽬ の確率も(晴れ, ⾬)=(4/7, 3/7) • この確率分布が不変分布と なっている 「マルコフ連鎖モンテカルロ法⼊⾨-1」の例を引⽤ http://www.slideshare.net/teramonagi/ss-5190440 画像 http://free-illustrations.gatag.net/2013/11/08/170000.html http://sozaikoujou.com/19639
8.
MCMC法の基本戦略 • ⽬標:状態空間上の確率分布からサンプリングを⾏う • サンプリングしたい確率分布が不変分布となるような、マルコフ性を満たす状態遷移関数を作る •
適当な初期状態からスタートして、状態遷移関数に従って状態を次々と遷移させる • (⼗分時間が経つと、任意の時刻でスナップショットを取った時、ある状態にいる確率は不変分 布に従うようになる) • ⼗分時間が経った後に状態遷移から⼀定間隔で状態をサンプリングする • 本当はここでエルゴード性という性質を⽤いている • MCMC法のバリエーションは状態遷移関数をどのように作るかによって決まる。 8
9.
今回の問題設定 • 事後分布からのサンプリングを考える。 • θ
: ⽣成モデルのパラメータ • X = {x1, x2, …, xN} : 訓練データ、xn 〜 p(x | θ) i.i.d. • 事後分布:p(θ | X) からサンプリングを⾏いたい • 状態空間について • 幾つかの⼿法は θ の他に補助的なパラメータ (p, ξ…) を⽤いる。 • φ = θ, (θ, p), (θ, p, ξ) などを考え、その上の同時分布 p(φ| X) を考える • θ, p, ξいずれも連続変数 9
10.
なぜサンプリングが必要か? • 尤度 p(X
| θ) は計算できるが、事後分布 p(θ | X)は計算できないから 10 • θが⾼次元になると、分⺟の積分が解析的計算も数値計算も困難
11.
紹介する⼿法の特徴 • 状態空間上の質点が、ある運動⽅程式に従って運動している状況を考える。 • 今回の⼿法で⽤いる状態遷移関数は、その運動⽅程式を離散化することで得られる。 •
それぞれの⼿法のバリエーションは⽤いる運動⽅程式の種類によって⽣じる。 11
12.
カノニカル分布 • パラメータ空間上の運動とあるパラメータを とる確率を紐づける関係式 • エネルギー
H(φ) が⾼いほど、パラメータφを とる確率は低くなる 12 統計⼒学では、この関係式は等重率の仮定から導かれるものだ が、今回はこの関係式を⽤いて、⼀⽅から他⽅を定義している と考える。 • 今回は、H(φ) が、各パラメータの関数の和で 書かれている場合を考える(Santaを除く) • これは、各パラメータがXに条件づけられた時、 独⽴である事を意味する • この事から、各パラメータの周辺分布もカノ ニカル分布に従うこともわかる
13.
HMC [Neal11] 古典的な運動⽅程式を考える 13 これを変形すると、 これを離散化すれば、 アルゴリズム
14.
Leapfrog法 ナイーブな更新⽅法では、θ の t
→ t + h の更 新に時刻 t での p の値を⽤いている 14 これを時刻 t + h / 2での推定値を利⽤すること で、近似の精度を⾼める p と θ の役割を交換して同じ事ができるので θ p
15.
スケーラブルにする⽅法のアイデア ⽬標:HMCで⼒に対応する項 -∇θU(θ) を推定値で置き換える 15 左辺はベイズの定理でさらに計算できて、 カノニカル分布
第2項を |X~| << |X| となる X~で近似する
16.
SGHMC[Chen+14] じゃあHMCで-∇θU(θ)を単純に推定値に置 き換えれば良いか? → NO 16 左下の更新則は次の確率微分⽅程式を離散 化したもの p(θ,
p | X) ∝ exp(-U(φ) – K(p)) はこの運 動⽅程式の不変分布にならない これは次の更新則と同等(になってしまっ ている) 推定値を⽤いたHMCの更新則 V(θ) : サブサンプリングに伴う分散 ζのサンプリングは実際には⾏っていない
17.
SGHMC[Chen+14] そこで、同時分布が不変分布になるように、運 動⽅程式⾃体を変えてしまう 17 B(θ) = hV(θ)/2と置き直した この⽅程式は2次のLangevin
Dynamicと呼ばれ ている。これを離散化すると、 実際には、サブサンプリングによる分散B(θ)が 求まらない。論⽂ではこれを推定値B^に置き換 え、C>Bとなる係数を⽤いて系をコントロール するなどの⼯夫をしている さらにもう⼀段⼯夫すると、アルゴリズムは、 次のようになる
18.
SGLD[Welling+11], SGRLD[Patterson+13] SGLDの運動⽅程式は1次のLangevin Dynamics 18 SGHMCの2次のLangevin
Dynamicsで B→∞とした極限として得られる SGLDのアルゴリズム SGRLDは1次のLangevin DynamicsにFisher計量から くるパラメータ空間の幾何的な情報を加える G(θ)はフィッシャー⾏列の逆⾏列
19.
SGNHT[Ding+14] 系の温度をコントロールするサーモスタット のパラメータ ξ を⽤意し、摩擦をコント ロールする 19 アルゴリズム 背景となるのは以下の計算 K(p)
= pTp/2 Zkは p(p) ∝ exp(-K(p))の分配関数
20.
mSGNHT[Gan+15] サーモスタットに対応するパラメータ ξ を運動 量の各次元に⽤意する 20 アルゴリズム
21.
Santa ⼀⾔で⾔うと、mSGNHT + ⾮ユークリッド化 +
RMSprop + 焼きなまし 21 • ベースとなる運動⽅程式はmSGNHT • G1, G2にパラメータ空間の曲がり⽅の情報 を⼊れる (⾮ユークリッド化) • G1, G2の推定をオンラインで⾏う (RMSprop) • 逆温度 β = 1とすれば事後分布からのサン プリング、β を更新ごとに徐々に上げてい き∞とすればMAP推定 (焼きなまし) これは次の不変分布を持つ
22.
Leapfrog法再考 Leapfrog法は元の運動⽅程式を2つに分解し て、交互に解析的に解いていると思える 22 ナイーブな⽅法 離散化 離散化 分解 Leapfrog法
23.
Symmetric Splitting [Chen+15a]
[Chen+15b] [Chen+15c] Leapfrog法と同様に、運動⽅程式を⽅程式の和 に分解し各々を順番に解析的に解く SGHMCの場合 [Chen+15a] 23 これを3つに分解して A(h/2) → B(h/2) → O(h) → B(h/2) → A (h/2) の順に解析的に解く [Chen+15b]でmSGNHTに、[Chen+15c]でSantaにSSを 適⽤している Baker-Campbell-Hausdorffの公式を使って離散化による 近似誤差がO(h2)→O(h3)になることが証明できる
24.
統⼀的な理解 [Shi+12][Ma+15] これまでに出したHMC, SGHMC,
SGLD, SGRLD, (m)SGNHT, Santaはすべて同⼀の表式でかける 24 この運動⽅程式は逆温度 β のカノニカル分布を定常分布に持つ [Ma+15]では、パラメータD, Qとして特別の値を⼊れて、新しいサンプリングアルゴリズム SGRHMC, gSGRHMCを提案している
25.
25
26.
実験 モデル • パラメータ:θ =
(θ1, θ2) • 事前分布:p(θ) = (N(0, 10), N(0, 1)) • ⽣成:p(x | θ) = N(θ1, 2)/2 + N(θ1+θ2, 2)/2 問題設定 • θ = (0, 1)として100サンプルをiidで⽣成 • 事前分布と⽣成⽅法はわかっているとしてパラ メータの事後分布 p(θ | X) を推定 • 事後分布は (0, 1)と(1, -1)にモードがある⼆峰 性の⼭になる 26 ⼿法 • HMC, SGHMC, SGLD, mSGNHT • HMCは勾配の計算に100サンプル使⽤、それ 以外は10サンプルずつミニバッチで使⽤ 対数尤度の勾配 -∇log p(θ | x) はChainerで⽣成 モデルを作ってback propで計算 ⼀昨⽇1.6.0が出ました
27.
結果 27 HMC SGHMC-1(摩擦⼩) SGHMC-2(摩擦⼤) SGLD
mSGHMC-1(拡散⼩) mSGHMC-2(拡散⼤) SGHMCは摩擦に対応する項を変え mSGNHTは拡散に対応する項を変えた
28.
まとめ 28 HMC SGHMC SGLD SGNHT mSGNHT Santa RMSprop SGRLD 勾配を推定値 に置き換える フィッシャー 計量の導⼊ 摩擦→∞
サーモスタット パラメータの導⼊ 各次元に サーモスタット 幾何情報の 推定⽅法の輸⼊ ⾮ユークリッド化 + 焼きなまし SGRHMC gSGRHMC フィッシャー 計量の⼀般化 フィッシャー 計量導⼊
29.
Copyright © 2014- Preferred
Networks All Right Reserved.
Télécharger maintenant