Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

動作認識におけるディープラーニングの最新動向2Sequential DL for HAR

3 081 vues

Publié le

This model classifies human actions without using any prior knowledge. It adds RNN part to 3D-CNN.

Publié dans : Données & analyses
  • Soyez le premier à commenter

動作認識におけるディープラーニングの最新動向2Sequential DL for HAR

  1. 1. 動作認識におけるディープラーニングの 最新動向② Sequential DL for HAR 2016/3/15 株式会社ウェブファーマー 大政 孝充
  2. 2. 今回取り上げるのはこれ [1]M.Baccouche, F.Mamalet, C.Wolf, C.Garcia, A.Baskurt. “Sequential deep learning for human action recognition.” In Human Behavior Understanding, page 29-39. Apringer, 2011. 3D-CNNとRNNを組み合わせることで、認識率を向上させ た!
  3. 3. まず基本 3D-CNNとは? [1]のFigure 1, Figure2より 2DのCNN 3D-CNN vij wy = tanh bij + wijm pq v(i−1)m (x+p)(y+q) q=0 Qi−1 ∑ p=0 Pi−1 ∑ m ∑ ⎛ ⎝ ⎜⎜ ⎞ ⎠ ⎟⎟ vij wyz = tanh bij + wijm pq v(i−1)m (x+p)(y+q)(z+r) r=0 Ri−1 ∑ q=0 Qi−1 ∑ p=0 Pi−1 ∑ m ∑ ⎛ ⎝ ⎜⎜ ⎞ ⎠ ⎟⎟ 時間軸方向 に展開 詳細はこちら→http://www.slideshare.net/ssuser07aa33
  4. 4. もうひとつ基本 RNNとは? 入力層 出力層 中間層 ある時刻の出力が次の時刻の入力へと回帰する →つまり情報が次の時刻に記憶される!
  5. 5. これが全体の構造! [1]のFigure 3より
  6. 6. これが全体の構造! 3D-CNNで特徴をもとめ
  7. 7. これが全体の構造! それをさらにRNNにかける
  8. 8. 3D-CNNの部分はこうだ! [1]のFigure 1より
  9. 9. 3D-CNNな部分の詳細(1) input画像を3Dで畳み込む 連続する9シーンのうち 5シーンで畳み込む
  10. 10. 3D-CNNな部分の詳細(2) あとは通常の2D-CNNで畳み込み、 プーリング、全結合し、クラスごとに出力
  11. 11. 3D-CNNな部分の詳細(3) これをどんどん学習させると・・・
  12. 12. 3D-CNNな部分の詳細(4) C3層に3×8×5=120次元の 特徴ベクトルが形成される →これをRNNに入力する
  13. 13. RNNな部分の詳細(1) 一連のシーンのうち 最初の9シーンを切り出し 3D-CNNへ入力 特徴ベクトルをt=1のデー タとしてRNNへ入力 t=1におけるRNN からの出力
  14. 14. RNNな部分の詳細(2) 次の9シーンを切り出し 3D-CNNへ入力 t=2におけるRNN からの出力 特徴ベクトルをt=2のデー タとしてRNNへ入力
  15. 15. RNNな部分の詳細(3) 最後の9シーンを切り出し 3D-CNNへ入力 出力をt=nのデータと してRNNへ入力 t=nにおけるRNN からの出力
  16. 16. RNNな部分の詳細(4) これをどんどん学習させる
  17. 17. RNNな部分の詳細(5) テスト時には、t=nの出力結果を もって判断する!

×