Recommandé
Recommandé
Contenu connexe
Similaire à 角膜反射画像を用いた視線追跡と物体認識
Similaire à 角膜反射画像を用いた視線追跡と物体認識 (20)
Plus de Jun Takamatsu
角膜反射画像を用いた視線追跡と物体認識
- 1. 角膜反射画像を用いた 視線追跡と物体認識 高松 淳1, Lotfi El Hafi2, 竹村 憲太郎3, 小笠原 司1 1: 奈良先端科学技術大学院大学 2: 立命館大学 3: 東海大学
- 2. © Robotics Laboratory, Nara Institute of Science and Technology • Realize various types of service robots Robotics Lab. in NAIST 1 http://robotics.naist.jp/ http://robotics.naist.jp/~j-taka/ Yomiuri TV 2012 September 8, 2018
- 3. © Robotics Laboratory, Nara Institute of Science and Technology • 視線情報の有用性 - 認知心理学、人間工学、ヒューマンインタフェース への応用 背景 EMR-9（nac Image Technology） 注視点情報 September 8, 2018 2
- 4. © Robotics Laboratory, Nara Institute of Science and Technology • 計測装置の複雑化 問題点 3 眼球画像 視線方向を取得 環境画像 注視対象を取得 少なくとも2つのカメラが必要 September 8, 2018
- 5. © Robotics Laboratory, Nara Institute of Science and Technology • 角膜反射画像 の利用 装置の簡略化 4September 8, 2018
- 6. © Robotics Laboratory, Nara Institute of Science and Technology • 画像の劣化 問題点 5 虹彩の映り込み 球面歪み 低コントラスト September 8, 2018
- 7. © Robotics Laboratory, Nara Institute of Science and Technology • 特徴点ベースの物体認識が機能しない 画像の劣化がもたらす影響 6September 8, 2018
- 8. © Robotics Laboratory, Nara Institute of Science and Technology • 歪み補正＋特徴点ベースの物体認識 • 補正なし＋ディープラーニング 提案手法 7September 8, 2018
- 9. © Robotics Laboratory, Nara Institute of Science and Technology • 眼球で反射することにより歪む • 眼球の形状がわかれば光源が追跡できる 歪み補正に基づく方法 8 レイトレーシング法により解決可能 September 8, 2018
- 10. © Robotics Laboratory, Nara Institute of Science and Technology 眼球モデル 9 強膜 角膜 Limbus 球の半径，中心の位置は 解剖学的な知見[Wandell ‘95]により決定 September 8, 2018
- 11. © Robotics Laboratory, Nara Institute of Science and Technology • カメラと角膜の位置関係が必要 → [中澤ら ‘11]の手法を用いて推定 光線追跡に必要な情報 10 カメラ 画像面 視線ベクトル 角膜 虹彩 September 8, 2018
- 12. © Robotics Laboratory, Nara Institute of Science and Technology 光線追跡 • 角膜表面上での反射は完全鏡面反射と仮定 → 球面上での1回反射を計算できればよい カメラ 画像面 角膜球虹彩 入射光線 反射光線 法線 September 8, 2018 11
- 13. © Robotics Laboratory, Nara Institute of Science and Technology 歪み補正 • 仮想反射面で画像を展開 カメラ 画像面 角膜球虹彩 接平面 September 8, 2018 12
- 14. © Robotics Laboratory, Nara Institute of Science and Technology 展開例 13September 8, 2018
- 15. © Robotics Laboratory, Nara Institute of Science and Technology • 歪み補正＋特徴点ベースの物体認識 • 補正なし＋ディープラーニング 提案手法 14September 8, 2018
- 16. © Robotics Laboratory, Nara Institute of Science and Technology • 大量のトレーニングデータが必要 ディープラーニングに必要なもの 15 画像の質が全く異なる＝データ収集が必要 ImageNet 角膜反射画像 September 8, 2018
- 17. © Robotics Laboratory, Nara Institute of Science and Technology • 視線情報の利用 →どこを見たかがわかる データ収集にかかる手間の軽減 16September 8, 2018
- 18. © Robotics Laboratory, Nara Institute of Science and Technology • YOLO v2のTensor Flow実装を利用 • 10種類の物体クラス - 本，カップ，おもちゃ，スクリーン，ペン，お金， 携帯電話，缶，お菓子，手 • 5種類の異なった環境 - 実験室，車内，屋外，図書館，テーブル上 • 各条件につき1000枚以上の画像を収集 実装 17September 8, 2018
- 19. 実験
- 20. © Robotics Laboratory, Nara Institute of Science and Technology 計測装置最終版 19 • Logitech C310 camera: • 1280 x 960, 30 fps • 15 mmクローズアップフォーカス • 両眼に設置 • JINS MEME glasses: • 眼電位 • 加速度計 • ジャイロスコープ v2v1 v3 v0 September 8, 2018
- 21. © Robotics Laboratory, Nara Institute of Science and Technology 装着の様子 20 Logitech C310 JINS MEME September 8, 2018
- 22. © Robotics Laboratory, Nara Institute of Science and Technology 計測データ 21September 8, 2018
- 23. © Robotics Laboratory, Nara Institute of Science and Technology 歪み補正に基づく手法の評価実験 • SIFT特徴量により注視対象を認識 - 注視対象領域の抽出 • 特徴点の対応点数と対応誤差の評価 実験環境 奈良先端科学技術大学院大学 構内周辺 実験手順 各看板をユーザが注視 角膜表面反射画像を計測 注視対象認識 A B C D E F G H September 8, 2018 22
- 24. © Robotics Laboratory, Nara Institute of Science and Technology • 条件の良い画像 結果 23September 8, 2018
- 25. © Robotics Laboratory, Nara Institute of Science and Technology • 条件の悪い画像 結果 24 対応点の数は少ないが何が見えているかは判断できる September 8, 2018
- 26. © Robotics Laboratory, Nara Institute of Science and Technology 対応誤差 対応点数 良 悪 悪 良 評価 September 8, 2018 25
- 27. © Robotics Laboratory, Nara Institute of Science and Technology • ４つの条件で比較 条件１：同一環境，同一物体クラスにおいて，学習 データに含まれる物体と含まれない物体 条件２：ある物体クラスにおける，学習データに含 まれる環境と含まれない環境 条件３：特徴点に基づく認識手法と提案手法 条件４：人手により学習データセットを作成した場 合と提案手法 ディープラーニングに基づく手法の評価実験 26September 8, 2018
- 28. © Robotics Laboratory, Nara Institute of Science and Technology 条件１：学習済み vs 未学習物体 27 学習済み 未学習 September 8, 2018
- 29. © Robotics Laboratory, Nara Institute of Science and Technology 条件２：学習に用いた環境とそうでない環境 28 学習に用いた環境 学習に用いていない環境 September 8, 2018
- 30. © Robotics Laboratory, Nara Institute of Science and Technology 条件3: 従来の特徴点に戻づく手法との比較 29September 8, 2018
- 31. © Robotics Laboratory, Nara Institute of Science and Technology 条件４：人手で作成された学習セットとの比較 30 提案する自動アノテーション 人手によるアノテーション September 8, 2018
- 32. © Robotics Laboratory, Nara Institute of Science and Technology • 歪み補正に基づく手法 ○ 従来の特徴点に基づく物体検出手法が適用可能 × 計算処理の重いレイトレーシング法が必要 • ディープラーニングに基づく手法 ○ 角膜反射画像がそのまま使える × （ある程度軽減できるが）データ収集の手間がかかる 議論 31 自動アノテーションは改善の余地がある September 8, 2018
- 33. © Robotics Laboratory, Nara Institute of Science and Technology • 角膜反射画像を用いた視線追跡と物体認識 - 歪み補正＋特徴点ベースの物体認識 - 補正なし＋ディープラーニング • ２つの手法の長所・短所の考察 まとめ 32 Robotics Lab: http://robotics.naist.jp/ Human Sensing Lab: http://takemura-lab.org/wordpress/ HP of Lotfi El Hafi: https://lotfielhafi.com/ 本研究の成果の一部は，総務省戦略的情報通信研究開発推進事業（SCOPE）若手ICT 研究者等育成型研究開発（受付番号 122107003）の委託を受けたものである． September 8, 2018