文献紹介：Adversarial Cross-Domain Action Recognition with Co-Attention
•
0 j'aime•24 vues
Boxiao Pan, Zhangjie Cao, Ehsan Adeli, Juan Carlos Niebles, Adversarial Cross-Domain Action Recognition with Co-Attention, AAAI2020. https://doi.org/10.1609/aaai.v34i07.6854 https://ojs.aaai.org/index.php/AAAI/article/view/6854
Recommandé
Recommandé
Contenu connexe
Plus de Toru Tamaki
Plus de Toru Tamaki (20)
文献紹介：Adversarial Cross-Domain Action Recognition with Co-Attention
- 1. Adversarial Cross-Domain Action Recognition with Co-Attention Boxian Pan, Zhangjie Cao, Ehsan Adeli, Juan Carlos Niebles AAAI2020 大見一樹（名工大玉木研） 論文紹介2021/12/16
- 2. 論文の概要 ◼動作認識のドメイン適応 • 静止画像よりドメインが複雑で困難 ◼動画のドメイン適応が困難な原因 • ラベルと無関係なフレーム • フレームの場所と動作の不一致 ◼提案手法 • 重要フレームをアテンション • 同じ動作のフレームでドメイン適応 ソースドメイン(S)の情報を使用して ターゲットドメイン（T）におけるタスクを解く ラベルがない（少ない）Tの特徴量を ラベルがあるSの特徴量に近づけることで Tの適切な特徴量を獲得する ドメイン適応とは ドメインとは あるデータが持つ特有の傾向
- 3. フレームの場所と動作の不一致 ◼既存のドメイン適応 • 同じ場所のフレームでドメイン適応 • 動作の異なるフレームで適応してしまう ◼提案手法 • 動作の一致するフレームでドメイン適応 • 無関係なフレームを避ける 背景 引く 引く アンカー 打つ 背景 引く アンカー 打つ 打つ しまう しまう 引く アンカー 打つ 打つ 引く 引く アンカー 打つ ソース ターゲット ソース ターゲット
- 4. 提案手法で用いるモジュール ◼Co-attention Module • SとTで共通で重要なフレームにアテンション • 無関係なフレームを避ける • 重要なフレームでドメイン適応 • 動作の一致するフレームでドメイン適応 (1) SとTのセルフアテンション (2) クロスアテンション (3) Co-attention行列を計算 Co-attentionの計算
- 5. 提案手法 ソース(S) ターゲット(T) 𝑓𝑠 ∶ Sの特徴量 𝑓𝑡 ∶ Tに合わせたSの特徴量 𝑓𝑡 ∶ Tの特徴量 𝑓𝑡 を 𝑓𝑠に 近づける 𝑓𝑡 を 𝑓𝑡 に 近づける Co-attentionモジュールが 特徴量 𝑓𝑡 を出力 推論 SとTで共通して重要な 特徴量に注目して間接的に 𝑓𝑡 を𝑓𝑠 に近づける 推論時のためにCo-attention モジュールが出力する アテンションと一致するような ターゲット用のアテンションネッ トワークを学習
- 6. Co-attention行列の可視化 ◼データセット • UCF50 → Olympic Sports ◼結果 • 重要フレームに高い値 • 重要フレームでもSとTで共通 しなければ低い値 S T
- 7. Co-attention行列の可視化 ◼データセット • UCF50 → Olympic Sports ◼結果 • 重要フレームに高い値 • 重要フレームでもSとTで共通 しなければ低い値 ターゲット
- 8. Co-attention行列の可視化 ◼データセット • UCF50 → Olympic Sports ◼結果 • 重要フレームに高い値 • 重要フレームでもSとTで共通 しなければ低い値
- 9. Co-attention行列の可視化 ◼データセット • UCF50 → Olympic Sports ◼結果 • 重要フレームに高い値 • 重要フレームでもSとTで共通 しなければ低い値
- 10. 既存手法との比較 ◼結果 • 全てのデータセットで最も良い性能 • Jesterを使った実験で特に既存手法よりも性能向上 • Jesterはジェスチャーが行われるデータセット • データによって動作の速さ（ジェスチャーの速さ）が異なる • 時間的な情報のずれがあるデータセットでも提案手法は有効 (HMDB51 → UCF101) (UCF50 → Olympic Sports) (Olympic Sports → UCF50) (Jester(S) → Jester(T))
- 11. まとめ ◼動作認識のドメイン適応手法の提案 • Co-attentionモジュール • SとTで共通して重要なフレームに注目 • 動作の一致するフレームでドメイン適応 ◼手法の性能 • 既存手法より高性能 • 特に時間情報がずれたデータセットで高性能 • 動作の一致するフレームでドメイン適応を行う提案手法の有効性