Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

論文読み:DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion(https://arxiv.org/abs/1901.04780)を読んだ際のメモです

  • Identifiez-vous pour voir les commentaires

  • Soyez le premier à aimer ceci

論文読み:DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

  1. 1. Abstract • RGB-D画像から6D物体姿勢推定を⾏う際に重要なのがRGB値と Depthの種類の違うデータソースを⼗分に活⽤することである • 本論⽂の⼿法では、まずRGBとDepthを別々に処理しそれぞれを ピクセル単位でマッチさせて特徴量を⽣成しポーズを推定する • また、推論結果をさらに改善するための反復精密化⼿順を提案する • YCB-VideoとLineMODにおいてSOTA
  2. 2. この論⽂は何がしたいか • RGB-D画像から6D物体姿勢推定の⼿法提案 • 姿勢改良アルゴリズムも提案
  3. 3. 提案⼿法(1/5) • まずRGB情報とDepth情報を組み合わせた特徴量を作成する
  4. 4. 提案⼿法(2/5) ⼿順としては以下の通り 1. RGB画像に対してセマンティックセグメンテーションしてクロップ 2. RGBでセグメンテーションされた領域と対応するDepth画像領域のpoint cloudを取得 3. クロップしたRGB画像(𝐻×𝑊×3)を⼊⼒として𝐻×𝑊×𝑑'()の外観情報を出 ⼒とするEncoder-Decoderネットワークを学習 4. point cloudからPointNetを使って𝑑(*+次元の外観情報の特徴を抽出 5. カメラのパラメータを⽤いてdepth情報をRGB上に投影しconcat
  5. 5. 提案⼿法(3/5) • 得られた特徴量を⽤いて6Dposeを推定する
  6. 6. 提案⼿法(4/5) • 姿勢推定のためのloss関数は 𝐿- . = 1 𝑀 2 3 min 7898: 𝑅𝑥3 + 𝑡 − ( @𝑅- 𝑥3 + ̂𝑡-) 推測の点とオブジェクトの対応する最も近い点との間の距離を 最⼩化する また、ピクセルあたりの予測間のバランスを取るために𝐿- . をピク セルの信頼度で重み付けを⾏う 𝐿 = 1 𝑁 2 - (𝐿- . 𝑐- − 𝑤 log(𝑐-))
  7. 7. 提案⼿法(5/5) ニューラルネットを⽤いたICP (Iterative Closest Point)で姿勢 改良 推定された結果と⼊⼒された点群を⽐較し近づける
  8. 8. 結果(1/3) YCB-Video Datasetでの推定⽐較
  9. 9. 結果(2/3) LineMOD DatasetでICPを⾏なった結果
  10. 10. 結果(3/3) ロボット(HSR?)に推定した姿勢を⽤いて物体把持をさせた • ランダムに配置された5つのオブジェクトそれぞれ12回試⾏ • 計60回のうち73%成功 • 最も失敗したのはバナナ • ⽤意したバナナとデータセットに含まれるバナナは違うため︖ • データセットと異なる背景・RGB-Dセンサでも成功率が⾼いこと から提案⼿法はロバストかつ堅牢である
  11. 11. まとめ • 既知の物体に関してRGBとDepth情報をうまく融合させてより ⾼精度かつロバストな姿勢推定ができるようになった • 隠れた物体に関しても精度よく検出できている • 現実世界にドメイン適応なしで使えるくらい堅牢なシステムを 作成することができた • 他のRGB-Dを⽤いたタスクでも使えそう

×