Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
東工大 長谷川修研の環境学習・認識・探索技術      長谷川修    東京工業大学   oh@haselab.info    2011年7月31日版
目標:人の身近で活動するロボットを創りたい• ロボットは、GPSを使わずに、指示した場所まで効率  的に移動できると良い。• ロボットへの教示は、人が居る環境で、人を案内する  ように連れて歩くだけで済ませたい。• 天井にセンサをつけたり、床に...
電動車椅子にも使いたい• GPSが利用できない地下や屋内の人混みで、電動車  椅子を自律制御したい。これにより、搭乗者、歩行者、  双方の安全・安心を確保したい。• 移動のための地図は、高齢者を含む誰もが簡単に  作成可能としたい。      ...
人は環境をどう見ているのか?• 通常、人は日頃利用する駅の、改札前の様子  を思い出すことができる。• しかし、今日、改札の前にいた人を、思い出す  のは困難。• つまり、人間は、非常に優れた画像情報処理  をしており、そこにたまたま居た人のこ...
人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例)
人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例)                  覚える     覚える                覚える           覚えない                 ...
この機能は、実環境で人と共存するロボットには不可欠。   以下は、移動ロボット分野における性能評価のための世界標準データの一つ。   移動ロボットが以下の情景の中をループ状に2回周回する。2周目には、1周目の    どの情景と一致するかを当...
これを画像処理で実現したい!長谷川研の独自手法の導入    PIRF                 8
PIRF     Position Invariant Robust Features          動くカメラの映像中から止まっている             もののみを取り出す技術Aram Kawewong, Sirinart Tang...
PIRF:動いているカメラから、止まっている   ものと、動いているものを見分ける技術                                    たまたま通りSIFT : 普通に処理すると、あらゆるところから画像特徴が出る。   か...
PIRF: algorithm   Current image                  過去の画像を参照し、                  共通するSIFT特徴を                  抽出して、その位置の      ...
PIRF は下記の上下が同じ場所で     あることを認識出来る。  学内駐車場: 上は休日、下は平日。   上は昼、下は同じ場所の夜。      12
PIRF-Nav, PIRF-Nav2.0         PIRF based Navigation            PIRF を用いた、日常生活空間に               おける自己位置推定手法              (P...
OXFORD大から公開されているデータセット                  OXFORD大周辺の景観   New College                                 14
独自に整備したデータセット    東工大すずかけキャンパス周辺を全方位カメラで撮影   Suzukakedai                               15
比較実験タスク(再掲)   移動ロボットが以下の情景の中をループ状に2回周回する。    2周目には、1周目のどの情景と一致するかを当てる。    1周目に居た、人や車が居なくなっても当たるか?
赤い点が多い方が優れた手法FAB-MAP (Oxford Univ.)   提案手法認識率     43.32%               さらに、提案手法は完全オンライン学習手法
FAB-MAPは辞書を事前にバッチ学習。   東工大の情景データに対する実験結果 ゆえに新規なデータには対応困難。             (提案法の優位が歴然)                                       18
PIRF-Nav 2.0Fast and Online Incremental Appearance-BasedLoop-Closure Detection in an Indoor EnvironmentAram Kawewong, Tong...
さらなる実験     東工大学食での実験エキストラでない不特定多数の人が利用                     20
混雑した学食での実験• 認識率:86.65%(FAB-MAP:17.80%)• 平均処理時間:264ms / 枚(同:577ms/枚)      入力(テスト)画像   同位置と推定された学習画像            全方位カメラの画像のため...
食堂での実験結果 Oxford    提案手法FAB-MAP   圧倒的に優れる     提案手法は、完全オンラインで、その場で     学習・識別していることに注意                      22
PIRF,PIRF-NAV,PIRF-NAV2.0から            3D-PIRF へ• PIRF  ↓ 自己位置同定技術に拡張• PIRF-NAV, PIRF-NAV2.0  ↓ 3次元地図の構築技術に拡張• 3D-PIRF
3D-PIRFPIRF を用いた、3次元地図の学習・構築手法。これにより、移動ロボットは混雑環境中でも環境地図を   即座に学習し、任意の地点に移動できる。                        24
Vision-based Mobile Robots SLAM and Navigation in Crowded Environments       Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa  ...
認知地図(cognitive map)の獲得と利用     ー この技術を、自律移動ロボットに搭載して実験 -→ 場所の情景と、行動とを複合的にオンライン学習• 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札  の情景から...
人を案内するように、ロボットを連れて歩くと、ロボットは入力映像中の人の影響を極力排除し、情景だけを覚え、     任意の地点間を自律移動できる。
本研究で構築する「ハイブリッド地図」のイメージ                      観測データ  ハイブリッド地図   軌跡         …                                 全方位カメラ        ...
特徴点の3次元位置の計算とハイブリッド地図の構築    観測(特徴点の計測方向)                         3D-PIRF                     ロボットの姿勢             オドメトリ    ...
特徴点の3次元へのマッピング方法  ロボットの姿勢     入力               ハイブリッド地図  特徴点の位置       から見た     の観測値                      (相対座標)事後確率       ...
ナビゲーションフェーズナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従                          : 学習した局所地図                          : 現在の局所地図    スター...
ナビゲーションフェーズ 局所マップの比較による自己位置推定のための情報取得      過去の      局所マップ              相対姿勢   現在の                     局所マップ 1. Loop-Closi...
提案システム全体                                     ナビゲーションフェーズのみ        3D-PIRF抽出        相対位置計算                            学習フェー...
実験結果 : 学習フェーズ(人が操縦)    オドメトリのみ          提案手法                    : Loop-Closing検出位置オドメトリのみの場合,軌跡を正しく計算できない提案手法では,カメラから安定し...
実験結果 : ナビゲーションフェーズ(自律移動)                   3D-PIRF                   動いている人の周辺からゴールまで自律的に到達できている    は抽出されていない             ...
この技術は移動支援IRTへの活用を検討中•   屋外だけでなく、GPSが利用できない地下や屋内の人混みでも    自律移動•   搭乗者、歩行者、双方の安全・安心の実現•   移動のための地図は、患者や高齢者を含む誰もが簡単に作成    可能(...
ルンバとの違い?ルンバはランダムに移動するのみ。地図を学習せず、指定した場所まで移動、といったことはできない。
この技術は、携帯カメラでも稼働する                       テスト画像                       手持ちのiPhone4                        のカメラで撮影            ...
Prochain SlideShare
Chargement dans…5
×

東工大 長谷川修研の環境学習・認識・探索技術

47 193 vues

Publié le

Publié dans : Technologie

東工大 長谷川修研の環境学習・認識・探索技術

  1. 1. 東工大 長谷川修研の環境学習・認識・探索技術 長谷川修 東京工業大学 oh@haselab.info 2011年7月31日版
  2. 2. 目標:人の身近で活動するロボットを創りたい• ロボットは、GPSを使わずに、指示した場所まで効率 的に移動できると良い。• ロボットへの教示は、人が居る環境で、人を案内する ように連れて歩くだけで済ませたい。• 天井にセンサをつけたり、床にラインを引くなどの、手 間や経費をかけたくない。• 以上を実現し、清掃、警備、案内ロボット等に実用レ ベルで使いたい。
  3. 3. 電動車椅子にも使いたい• GPSが利用できない地下や屋内の人混みで、電動車 椅子を自律制御したい。これにより、搭乗者、歩行者、 双方の安全・安心を確保したい。• 移動のための地図は、高齢者を含む誰もが簡単に 作成可能としたい。 3
  4. 4. 人は環境をどう見ているのか?• 通常、人は日頃利用する駅の、改札前の様子 を思い出すことができる。• しかし、今日、改札の前にいた人を、思い出す のは困難。• つまり、人間は、非常に優れた画像情報処理 をしており、そこにたまたま居た人のことは覚 えず、改札付近の情景だけを的確に選び出し て覚えている。
  5. 5. 人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例)
  6. 6. 人は、覚えるべきものと、覚えなくて良いものを 瞬時に判別している。(大岡山駅前の例) 覚える 覚える 覚える 覚えない 覚えない 覚えない
  7. 7. この機能は、実環境で人と共存するロボットには不可欠。 以下は、移動ロボット分野における性能評価のための世界標準データの一つ。 移動ロボットが以下の情景の中をループ状に2回周回する。2周目には、1周目の どの情景と一致するかを当てる。 1周目に居た、人や車が居なくなっても当たるか?
  8. 8. これを画像処理で実現したい!長谷川研の独自手法の導入 PIRF 8
  9. 9. PIRF Position Invariant Robust Features 動くカメラの映像中から止まっている もののみを取り出す技術Aram Kawewong, Sirinart Tangruamsub and Osamu Hasegawa, "Position-invariant RobustFeatures for Long-term Recognition of Dynamic Outdoor Scenes," IEICE Transactions onInformation and Systems, Vol.E93-D, No.9, pp.2587-2601, (2010) 9
  10. 10. PIRF:動いているカメラから、止まっている ものと、動いているものを見分ける技術 たまたま通りSIFT : 普通に処理すると、あらゆるところから画像特徴が出る。 かかった人。 PIRFは出て いない。 10 PIRF: 提案手法の処理結果例
  11. 11. PIRF: algorithm Current image 過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。 11
  12. 12. PIRF は下記の上下が同じ場所で あることを認識出来る。 学内駐車場: 上は休日、下は平日。 上は昼、下は同じ場所の夜。 12
  13. 13. PIRF-Nav, PIRF-Nav2.0 PIRF based Navigation PIRF を用いた、日常生活空間に おける自己位置推定手法 (PIRF-Nav2 は改良高速版)A.Kawewong, N.Tongprasit, S.Tangruamsub, O.Hasegawa,: "Online andIncremental Appearance-based SLAM in Highly Dynamic Environments", 13International Journal of Robotics Research (IJRR), 2010
  14. 14. OXFORD大から公開されているデータセット OXFORD大周辺の景観 New College 14
  15. 15. 独自に整備したデータセット 東工大すずかけキャンパス周辺を全方位カメラで撮影 Suzukakedai 15
  16. 16. 比較実験タスク(再掲) 移動ロボットが以下の情景の中をループ状に2回周回する。 2周目には、1周目のどの情景と一致するかを当てる。 1周目に居た、人や車が居なくなっても当たるか?
  17. 17. 赤い点が多い方が優れた手法FAB-MAP (Oxford Univ.) 提案手法認識率 43.32% さらに、提案手法は完全オンライン学習手法
  18. 18. FAB-MAPは辞書を事前にバッチ学習。 東工大の情景データに対する実験結果 ゆえに新規なデータには対応困難。 (提案法の優位が歴然) 18
  19. 19. PIRF-Nav 2.0Fast and Online Incremental Appearance-BasedLoop-Closure Detection in an Indoor EnvironmentAram Kawewong, Tongprasit Noppharit and OsamuHasegawa, Elsevier Robotics and Autonomous Systems,2011. (To Appear)
  20. 20. さらなる実験 東工大学食での実験エキストラでない不特定多数の人が利用 20
  21. 21. 混雑した学食での実験• 認識率:86.65%(FAB-MAP:17.80%)• 平均処理時間:264ms / 枚(同:577ms/枚) 入力(テスト)画像 同位置と推定された学習画像 全方位カメラの画像のため,同位置の画像でも 撮影時のカメラの向きによって見え方が異なります 21
  22. 22. 食堂での実験結果 Oxford 提案手法FAB-MAP 圧倒的に優れる 提案手法は、完全オンラインで、その場で 学習・識別していることに注意 22
  23. 23. PIRF,PIRF-NAV,PIRF-NAV2.0から 3D-PIRF へ• PIRF ↓ 自己位置同定技術に拡張• PIRF-NAV, PIRF-NAV2.0 ↓ 3次元地図の構築技術に拡張• 3D-PIRF
  24. 24. 3D-PIRFPIRF を用いた、3次元地図の学習・構築手法。これにより、移動ロボットは混雑環境中でも環境地図を 即座に学習し、任意の地点に移動できる。 24
  25. 25. Vision-based Mobile Robots SLAM and Navigation in Crowded Environments Hiroshi Morioka, Yi Sangkyu, Osamu Hasegawa IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS 2011) 長谷川研ホームページにデモビデオ有り 25
  26. 26. 認知地図(cognitive map)の獲得と利用 ー この技術を、自律移動ロボットに搭載して実験 -→ 場所の情景と、行動とを複合的にオンライン学習• 私たち人間も、同じように地図獲得をしている。例えば、すずかけ台駅改札 の情景から、左に曲がり、少し進むと、石の階段がある、など。• ロボットは学習後、獲得した地図上で探索し、任意の地点間を移動できる。 左旋回 前進 前進 右旋回して前進 左旋回
  27. 27. 人を案内するように、ロボットを連れて歩くと、ロボットは入力映像中の人の影響を極力排除し、情景だけを覚え、 任意の地点間を自律移動できる。
  28. 28. 本研究で構築する「ハイブリッド地図」のイメージ 観測データ ハイブリッド地図 軌跡 … 全方位カメラ エンコーダ 局所地図 4 FeatureNum: 1460 特徴点 x 10 1 0 -1 z 5000 4000 3000 2000 1000 0 -1000 2.5 y 2 1.5 -2000 1 4 0.5 x 10 0 xグラフ構造を持つため,経路計画がしやすい距離情報も持つため,最短経路探索が可能 28
  29. 29. 特徴点の3次元位置の計算とハイブリッド地図の構築 観測(特徴点の計測方向) 3D-PIRF ロボットの姿勢 オドメトリ 29
  30. 30. 特徴点の3次元へのマッピング方法 ロボットの姿勢 入力 ハイブリッド地図 特徴点の位置 から見た の観測値 (相対座標)事後確率 最大化(ロボットの姿勢)・ (特徴点の位置)が求まる 局所地図 30
  31. 31. ナビゲーションフェーズナビゲーションフェーズ : 学習フェーズで学習した軌跡に自律追従 : 学習した局所地図 : 現在の局所地図 スタート ゴール  学習した地図と現在の地図とのノード間の距離・局所マップを 比較し,自己位置を推定する  学習した軌跡に追従するように経路計画を行う 31
  32. 32. ナビゲーションフェーズ 局所マップの比較による自己位置推定のための情報取得 過去の 局所マップ 相対姿勢 現在の 局所マップ 1. Loop-Closing検出を行う 2. 学習した地図と現在の地図との局所マップを比較(特徴点 のマッチングを取る) 3. 8点アルゴリズムなどで学習時と現在の姿勢との相対姿 勢を求める  局所マップ中の特徴点の数 : 平均20~30個程度  相対姿勢の誤差 : 平均20[cm]以内 32
  33. 33. 提案システム全体 ナビゲーションフェーズのみ 3D-PIRF抽出 相対位置計算 学習フェーズで学習し ハイブリッド地図 たハイブリッド地図連続画像 3D-PIRF 相対位置 軌跡 軌跡オドメトリ … … Loop-Closing の検出, 軌跡の修正 局所メトリカル地図 局所メトリカル地図 経路計画 33
  34. 34. 実験結果 : 学習フェーズ(人が操縦) オドメトリのみ 提案手法 : Loop-Closing検出位置オドメトリのみの場合,軌跡を正しく計算できない提案手法では,カメラから安定した特徴点を抽出して,その情 報を用いることで軌跡が正しく計算できている 34
  35. 35. 実験結果 : ナビゲーションフェーズ(自律移動) 3D-PIRF 動いている人の周辺からゴールまで自律的に到達できている は抽出されていない 35
  36. 36. この技術は移動支援IRTへの活用を検討中• 屋外だけでなく、GPSが利用できない地下や屋内の人混みでも 自律移動• 搭乗者、歩行者、双方の安全・安心の実現• 移動のための地図は、患者や高齢者を含む誰もが簡単に作成 可能(従来法は膨大な手間)• まず、電動車椅子への搭載を検討。人の生活環境で活動するロ ボット全般に利用可能。 36
  37. 37. ルンバとの違い?ルンバはランダムに移動するのみ。地図を学習せず、指定した場所まで移動、といったことはできない。
  38. 38. この技術は、携帯カメラでも稼働する テスト画像 手持ちのiPhone4 のカメラで撮影 学習画像 手持ちの家庭用 ビデオカメラ で撮影下が学習画像で、上がテスト画像。人が居ても、人の影響を受けずに上下は同位置と正しく判定している。テスト画像にはiPhone4の画像を使用。 38GPSの使えない屋内や地下でも利用可能

×