Soumettre la recherche
Mettre en ligne
ニューラルネットワーク入門
•
Télécharger en tant que PPTX, PDF
•
13 j'aime
•
20,348 vues
naoto moriyama
Suivre
ニューラルネットワークの基礎であるパーセプトロンから、勾配計算までの概念をまとめました。
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 30
Télécharger maintenant
Recommandé
正準相関分析
正準相関分析
Akisato Kimura
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
MLSE
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
深層学習の数理
深層学習の数理
Taiji Suzuki
強化学習における好奇心
強化学習における好奇心
Shota Imai
Recommandé
正準相関分析
正準相関分析
Akisato Kimura
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
MLSE
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
深層学習の数理
深層学習の数理
Taiji Suzuki
強化学習における好奇心
強化学習における好奇心
Shota Imai
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
gree_tech
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fields
cvpaper. challenge
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
Deep Learning JP
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
Deep Learning JP
MICの解説
MICの解説
logics-of-blue
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
naoto moriyama
Dilated rnn
Dilated rnn
naoto moriyama
Contenu connexe
Tendances
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
gree_tech
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
gree_tech
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
Deep Learning JP
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fields
cvpaper. challenge
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
Deep Learning JP
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
Deep Learning JP
MICの解説
MICの解説
logics-of-blue
Tendances
(20)
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
機械学習モデルのハイパパラメータ最適化
機械学習モデルのハイパパラメータ最適化
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Deeplearning輪読会
Deeplearning輪読会
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
【メタサーベイ】Neural Fields
【メタサーベイ】Neural Fields
Optimizer入門&最新動向
Optimizer入門&最新動向
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
【DL輪読会】Poisoning Language Models During Instruction Tuning Instruction Tuning...
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
MICの解説
MICの解説
Plus de naoto moriyama
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
naoto moriyama
Dilated rnn
Dilated rnn
naoto moriyama
最近の自然言語処理
最近の自然言語処理
naoto moriyama
Deep forest
Deep forest
naoto moriyama
Differentiable neural conputers
Differentiable neural conputers
naoto moriyama
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
naoto moriyama
自然言語処理 Word2vec
自然言語処理 Word2vec
naoto moriyama
自然言語処理
自然言語処理
naoto moriyama
Plus de naoto moriyama
(8)
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
Dilated rnn
Dilated rnn
最近の自然言語処理
最近の自然言語処理
Deep forest
Deep forest
Differentiable neural conputers
Differentiable neural conputers
ニューラルチューリングマシン入門
ニューラルチューリングマシン入門
自然言語処理 Word2vec
自然言語処理 Word2vec
自然言語処理
自然言語処理
Dernier
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Dernier
(8)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
ニューラルネットワーク入門
1.
ニューラルネットワーク入門 〜パーセプトロンから勾配降下法まで〜 森山直人
2.
パーセプトロン x z 人間の思考(脳)を構築する最小計算ユニッ トであるパーセプトロンを考える
3.
パーセプトロン 何かを入力 ゴニョゴニョ して 何かを出力 x z
4.
一般的な動作原理 入力が一定に 達すると そこで出力する x z
5.
バイアス 入力が一定に 達すると 出力する これをバイアスという bx z
6.
複数入力 入力は複数になる ※でも出力は1つ x2 z x1 x3
7.
複数入力 ここにもバイアスはある bx2 x1 x3
8.
重み b 入力の重みを変えてみる (太さが重みの度合い) x2 x1 x3
9.
重み b 入力の重みを変えてみる (太さが重みの度合い) x2 x1 x3 w1 w2 w3
10.
総入力 bx2・w2 入力の合計とバイアスを比較 ⇒出力 x3・w3 x1・w1
11.
活性化関数 x・w z b 出力の値をコントロールしたい Why? ただ一定の閾値を超えると発火するのでは、線 形分離しかできない 非線形性を持たすことで、表現の自由度を獲得 したい 多層になった場合にいろいろ都合が良い(後 述)
12.
活性化関数 x・w z b ここを関数化する
13.
活性化関数 x・w z b ここを関数化する ⇒ z
= f(x・w + b)
14.
活性化関数 ⇒ z =
f(x・w + b) この f() の中身の計算によって、出力されるzの値が変わってくる • シグモイド ⇒ 0 ~ 1 • 双曲線正接関数 ⇒ -1 ~ 1 • 正規化線形関数 ⇒ 0 ~ ∞
15.
ニューラルネットワーク 前述したパーセプトロンが多数積み重なったもの 出力は複数あるが、すべて同じ出力のコピー 入力層 隠れ層 出力層
16.
ニューラルネットワーク 入力層 隠れ層 出力層 活性化関数と誤差関数は基本的に単一 パーセプトロンと同じ考え ・活性化関数: ∟各層の各ニューロンごとに活性化関数を持つ ∟異なる層で異なる誤差関数を持つことができる ・誤差関数 ∟出力層と正解データ間にて誤差関数を計算 ∟後述の誤差逆伝搬を用いて、各ニューロンの微分
17.
f() ニューラルネットワークのフロー x x*w w x*w+b b 入力 重み付加
バイアス計算 活性化関数
18.
誤差 ここまでは、パーセプトロンの動作について考えてきたが、その パーセプトロンが正しく機能しているかを判断する必要がある そもそも、パーセプトロンを使う理由はその計算によって、意図す る値を出力させること 誤った値が出た場合は、正しい値を出力させるべく、本来出力させ たい値と比較させ、ずれた度合いに応じて、パーセプトロン内の値 を修正する必要がある
19.
誤差 修正箇所は重みとバイアス x・w z b
20.
誤差関数 bx・w z y パーセプトロンの計算結果 正しい値 ここの差分を 計算すれば良い
21.
誤差関数 bx・w z y パーセプトロンの計算結果 正しい値 E(w)
= ‖ y - f(w・x + b) ‖ 誤差関数 正解 活性化関数 入力値 2 (絶対値を取る)
22.
誤差関数 E(w) = ‖
y – f(w・x + b) ‖ 誤差関数 正解 活性化関数 入力値 この誤差関数が小さいほど、正解データと近い値が 出力されたことになる ⇒良い重みとバイアスが設定でいていることになる 2
23.
勾配降下 誤差を小さくしたい 誤差関数の最小化を図る
24.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい
25.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい 今こことする
26.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい 少しずつ誤差が小さくなるよう、 wを修正していく
27.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい 修正し過ぎると、意図しない 位置まで行ってしまう
28.
勾配降下 E(w) w 誤差が最小の値 このwの値を知りたい この修正度合いを決めるのが とても重要
29.
勾配降下法 E(w) w 誤差が最小の値 このwの値を知りたい この修正度合いを決めるのが とても重要 この「修正度合い」は一般的に 学習率と呼ばれる。 この学習率は様々なアルゴリズム によって計算される。 例) ・AdaGrad ・RMSProp ・AdaDelta ・Adam
30.
次回はバッチ学習から解説します・・・
Télécharger maintenant