Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à ニューラルネットワークの理論
Similaire à ニューラルネットワークの理論 (17)
ニューラルネットワークの理論
- 1. DDoS2023春 小宮和真 武蔵野大学 データサイエンス学部 2年 misya11p @ds33miya ニューラルネットワーク 武蔵野大学 脱初心者データサイエンスオンラインセミナー 2023春 2023/3/15
- 2. DDoS2023春 目次 2023/3/15 1 1. ニューラルネットワークとは 2. ニューラルネットワークの構成 3. ニューラルネットワークの学習 4. ニューラルネットワークの実装
- 5. DDoS2023春 機械学習モデル 2023/3/15 4 1. ニューラルネットワークとは 入力に対して適切な出力が行えるように学習できる数理モデル なんらかの数字 いい感じの数字 機械学習 モデル
- 6. DDoS2023春 機械学習モデル 2023/3/15 5 1. ニューラルネットワークとは 上手く学習させると色々なタスクがこなせる様になる タスク 入力例 出力例 画像分類 猫の画像 猫（テキスト） 将棋 盤面 次の手 会話 質問 回答
- 7. DDoS2023春 機械学習モデル 2023/3/15 6 1. ニューラルネットワークとは モデルへの入出力は数値である必要がある →あるタスクに機械学習モデルを適応させたい場合，数値として表せる入出力 を考えることが必須 数値化の例：画像 画像は画素（単色の正方形）の集まりで，色はカラーコードなどから数値化で きる 0 2 0 1 0 2 3 3 2 1 0 1 2 6 9 1 0 8 2 2 6 0 2 1 1
- 9. DDoS2023春 機械学習 2023/3/15 8 関数の内部の式は事前に決まっている（人間が決める） 例えば以下の式 𝑓 𝑥 = 𝑎𝑥 + 𝑏 しかし，この式の中の具体的な値（𝑎, b）は決まっていない この値（𝑎, b）をパラメータと呼び，適切なパラメータをデータから自動で求め ることを機械学習と呼ぶ 1. ニューラルネットワークとは
- 10. DDoS2023春 ニューラルネットワーク 2023/3/15 9 NN（ニューラルネットワーク）は機械学習モデルの一種で，以下の様な特徴を 持つ • 人間の脳の神経回路を模して作られる • 表現力が高い • 拡張性・汎用性が高い この様な特徴があってか，多様な使い方が考案されており，近年話題のAIには 全てNNが使われていると言っても過言ではない 1. ニューラルネットワークとは
- 14. DDoS2023春 人工ニューロン 2023/3/15 13 2. ニューラルネットワークの構造 各入力に重みをかけたものの和にバイアスを足した数を活性化関数と呼ばれる 関数にかけて出力する 重みとバイアスは人工ニューロンにおけるパラメータである 人工ニューロンは以下の式で表せる 𝑦 = ℎ(𝑥 ∙ 𝑤 + 𝑏) 𝑥 ∙ 𝑤は内積で 𝑥1𝑤1 + 𝑥2𝑤2 + ⋯ + 𝑥𝑛𝑤𝑛 と同じ 入力：𝑥 = 𝑥1, 𝑥2, ⋯ , 𝑥𝑛 重み：w = 𝑤1, 𝑤2, ⋯ , 𝑤𝑛 バイアス：𝑏 活性化関数：ℎ
- 15. DDoS2023春 人工ニューロン 2023/3/15 14 2. ニューラルネットワークの構造 グラフにすると以下 入力𝑥𝑖に対応する重みw𝑖をこんな感じで書くことが多い気がする 𝑥1 𝑦 = ℎ(𝑥 ⋅ 𝑤 + 𝑏) 𝑥2 x𝑛 : 𝑦 w1 w2 w𝑛
- 16. DDoS2023春 パーセプトロン 2023/3/15 15 2. ニューラルネットワークの構造 人工ニューロンの活性化関数にステップ関数を使用したもの ステップ関数 グラフが階段状になる関数の総称．ただここでは以下の関数に限定する． 𝑦 = 1 (𝑥 ≥ 0) 0 (𝑥 < 0) この関数はヘヴィサイドの階段関数とか単位ステップ関数とか呼ばれる
- 24. DDoS2023春 全結合層 2023/3/15 23 2. ニューラルネットワークの構造 全結合層全体で見ると，𝑛 × 𝑚個の重みと𝑚個のバイアスを持つ．これらが全結 合層のパラメータとなる． 全結合層は以下の式で表せる 𝑦 = 𝑥 ∙ 𝑊 + 𝑏 𝑥: 入力ベクトル（𝑚次元） 𝑦: 出力ベクトル（𝑛次元） 𝑊: 各人工ニューロンの重みを並べた𝑛 × 𝑚行列 𝑏: 各人工ニューロンの重みを並べた𝑚次元ベクトル
- 26. DDoS2023春 活性化関数 2023/3/15 25 2. ニューラルネットワークの構造 活性化関数には非線形な関数を用いる 非線形 𝑦 = 𝑎𝑥 + 𝑏の様な一次式で表せないもの．逆に表せるものは線形という． 線形な関数を用いた場合，どれだけ層を増やしてもNN表現力はただ一つの全結 合層と変わらない
- 27. DDoS2023春 活性化関数 2023/3/15 26 2. ニューラルネットワークの構造 ReLU (Rectified Linear Unit) 最もよく使われる活性化関数 𝑦 = 𝑥 (𝑥 ≥ 0) 0 (𝑥 < 0)
- 28. DDoS2023春 活性化関数 2023/3/15 27 2. ニューラルネットワークの構造 sigmoid ステップ関数を滑らかにしたもの 値の範囲を制限したい時とかに使う 𝑦 = 1 1 + 𝑒−𝑥
- 29. DDoS2023春 活性化関数 2023/3/15 28 2. ニューラルネットワークの構造 tanh (Hyperbolic Tangent) sigmoidを-1~1に拡張したもの こっちを使う方が上手くいく場面がある 𝑦 = 𝑒𝑥 − 𝑒−𝑥 𝑒𝑥 + 𝑒−𝑥
- 33. DDoS2023春 最適化問題 2023/3/15 32 3. ニューラルネットワークの学習 ある関数を最大または最小にする変数を求める問題．この関数は目的関数と呼 ぶ． NNの学習を最適化問題に落とし込むとイイ感じになる．以下の様に考える． • 目的関数：NNの精度 • 変数：NNのパラメータ こうすると，NNの学習を「NNの精度を最大にするパラメータを求める」とい う最適化問題として捉えられる
- 34. DDoS2023春 損失 2023/3/15 33 3. ニューラルネットワークの学習 NNの精度を表す指標の一つ．誤差ともいう．以下の流れに従って算出する． 1. NNに入力するデータ（値）の例を用意する 2. それを入力した時に出てきてほしい値を正解値として定める 3. NNに入力例を入力し，出力値を求める 4. 出力値と正解値との差を求める 入 力 出 力 NN 正 解 損 失 1 2 3 4
- 36. DDoS2023春 損失関数 2023/3/15 35 3. ニューラルネットワークの学習 平均二乗誤差 (MSE - Mean Square Error) 差の2乗の平均 𝐸 = 1 𝑛 𝑖=1 𝑛 𝑦𝑖 − 𝑡𝑖 2 𝑦: 出力 𝑡: 正解
- 37. DDoS2023春 損失関数 2023/3/15 36 3. ニューラルネットワークの学習 二乗和誤差 (SSE - Sum of Squared Error) 差の二乗の和．2で割って微分が綺麗になる様にしたものが多いかも． 𝐸 = 1 2 𝑖=1 𝑛 𝑦𝑖 − 𝑡𝑖 2 𝜕𝐸 𝜕𝑦𝑖 = 𝑦𝑖 − 𝑡𝑖
- 38. DDoS2023春 損失関数 2023/3/15 37 3. ニューラルネットワークの学習 交差エントロピー (Cross Entropy) 二つの確率分布の距離を表す 𝐸 = − 𝑖 𝑡𝑖 log 𝑦𝑖 分類のタスクを行うときに使う．その場合𝑡は 基本one-hotベクトルなので，正解のクラスをi とすると以下と同じ意味になる． 𝐸 = − log 𝑦𝑖
- 40. DDoS2023春 勾配法 2023/3/15 39 3. ニューラルネットワークの学習 以下の手順に従って最適化する 1. 変数を初期化する（乱数などで初期値を決める） 2. その地点の勾配を求める 3. 勾配に合わせて変数を少し変化させる 4. 2, 3を適当に繰り返す
- 42. DDoS2023春 1. 初期値を決める → 適当に，-5としよう 勾配法 2023/3/15 41 3. ニューラルネットワークの学習 𝑓(𝑥) = 𝑥2
- 43. DDoS2023春 1. 初期値を決める → 適当に，-5としよう 2. 勾配を求める → 𝑓′(𝑥) = 2𝑥より，f′ −5 = −10 勾配法 2023/3/15 42 3. ニューラルネットワークの学習 𝑓(𝑥) = 𝑥2
- 44. DDoS2023春 1. 初期値を決める → 適当に，-5としよう 2. 勾配を求める → 𝑓′(𝑥) = 2𝑥より，f′ −5 = −10 3. 勾配に合わせて値を更新する → 勾配が負なので，正の方向に動かせばよさそう（小さくなりそう） 勾配法 2023/3/15 43 3. ニューラルネットワークの学習 𝑓(𝑥) = 𝑥2
- 45. DDoS2023春 勾配法 2023/3/15 44 3. ニューラルネットワークの学習 値の更新を式で定義する 𝑥 ≔ 𝑥 − 𝜂 f′ x 𝜂は学習率といい，更新する度合いを調整するもの．基本0~1．
- 47. DDoS2023春 確率的勾配降下法 2023/3/15 46 3. ニューラルネットワークの学習 勾配降下法にランダムな要素を持たせ，局所的最適解にハマる可能性を減らし た手法．SGD (Stochastic Gradient Descent) とも． 局所的最適解 最適解っぽいが実はそうでない場所．極小値．真の最適解は大域的最適解とよ ぶ． 局所的最適解 大域的最適解
- 48. DDoS2023春 確率的勾配降下法 2023/3/15 47 3. ニューラルネットワークの学習 NNでは以下を繰り返すことでランダム性を取り入れる． 1. 入力と正解の組をランダムにいくつか選ぶ 2. 選んだデータでの勾配を求める 3. 求めた勾配でパラメータを更新する 試行ごとに関数が変わるイメージ
- 49. DDoS2023春 誤差逆伝播法 2023/3/15 48 3. ニューラルネットワークの学習 NNのパラメータの勾配を求める手法 さっきの例では𝑓 𝑥 = 𝑥2という簡単な関数を使ったが，NNはもうちょい複雑な 形をしているので，ちょっと工夫が必要 層や活性化関数はモデルによって異なるので，𝑓′ 𝑥 = 2𝑥の様に導関数を一つ定 めることができないのだ
- 50. DDoS2023春 誤差逆伝播法 2023/3/15 49 3. ニューラルネットワークの学習 ここで考えるのが，合成関数の微分 例として以下の関数を微分してみよう 𝑓 𝑥 = 𝑥 + 1 2 これは普通に展開しても解けるけど，合成関数の微分を使っても解ける
- 51. DDoS2023春 誤差逆伝播法 2023/3/15 50 3. ニューラルネットワークの学習 関数の関数を微分する時は，一つ一つの関数の微分を掛け合わせればいい g 𝑥 = 𝑥 + 1 とすると 𝑓 𝑥 = 𝑔 𝑥 2 𝜕𝑓 𝜕𝑥 = 𝜕𝑓 𝜕𝑔 𝜕𝑔 𝜕𝑥 となり 𝜕𝑓 𝜕𝑥 = 2𝑔 𝑥 ⋅ 𝑔′ 𝑥 = 2 𝑥 + 1 ⋅ 1 = 2(𝑥 + 1) となる 𝑓 𝑥 = 𝑥 + 1 2
- 54. DDoS2023春 誤差逆伝播法 2023/3/15 53 3. ニューラルネットワークの学習 この重みから損失を算出するまでの流れをグラフで見てみる この様に演算の流れをグラフで記述したものを計算グラフと呼ぶ 𝑤 𝑥 × 𝑢 + 𝑏 𝑦 𝑡 𝐸 損失関数 着目した重み 前の層の出力 バイアス 正解 損失 全結合層
- 55. DDoS2023春 誤差逆伝播法 2023/3/15 54 3. ニューラルネットワークの学習 すると，求めたい勾配が以下の様に表せる 𝜕𝐸 𝜕𝑤 = 𝜕𝐸 𝜕𝑦 𝜕𝑦 𝜕𝑢 𝜕𝑢 𝜕𝑤 𝑤 𝑥 × 𝑢 + 𝑏 𝑦 𝑡 𝐸 損失関数 着目した重み 前の層の出力 バイアス 正解 損失 全結合層
- 56. DDoS2023春 𝜕𝐸 𝜕𝑦 誤差逆伝播法 2023/3/15 55 3. ニューラルネットワークの学習 この様に微分を逆方向に伝えることを逆伝播と呼ぶ 𝑤 𝑥 × 𝑢 + 𝑏 𝑦 𝑡 𝐸 損失関数 𝜕𝑦 𝜕𝑢 𝜕𝑢 𝜕𝑤