SlideShare une entreprise Scribd logo
1  sur  21
Télécharger pour lire hors ligne
Direct Sparse Odometry 紹介
SLAMチュートリアル大会@PFN
1
発表者:東京大学 川原研究室 高木 健
9
自己紹介
名前:高木 健(たかき けん)
Twitter:@kentegrate
所属:東京大学工学部電気電子工学科 川原研究室
得意分野:回路設計、人間の聴覚、ROS、ロボティクス、画像処理
SLAMとの関わり:バイト先でORB-SLAMの再実装、
ある企業でSLAMの研究インターン
最近していること:片耳難聴のためのデバイス
「asEars」を作っています
https://bouncy.news/11299
ORB-SLAM (Indirect Sparse Method)
背景
10
単眼SLAMの性能の飛躍的向上
https://youtu.be/ZdxgIbd7nhI
LSD-SLAM (Direct Dense Method)
11
背景
単眼で密なモデルの構築
https://youtu.be/GnuQzP3gty4
Direct Method
画像の情報(輝度など)を直接使って姿勢を求める
〇テクスチャがないところでも大丈夫
×視点や輝度が変化すると対応付けが難しい
Indirect Method
画像を特徴点などに変換して、それらを対応付け
して姿勢を求める
〇視点や輝度が変化しても対応付けが簡単
×エッジやコーナーが特徴点となるので、テクスチャが必要
Direct と Indirect
12
課題
Dense
画像の画素をすべて使用
〇密なモデルができる
×計算が重い、近似が必要で精度低下
Sparse
画像の一部の画素を使用
〇計算が軽い
△モデルがそこまで密でない
Dense と Sparse
13
課題
各手法の分類
14
課題
Direct Indirect
Sparse DSO(本手法) monoSLAM (2007)
PTAM (2007)
ORB-SLAM (2015)
Dense DTAM (2011)
LSD-SLAM (2014)
テクスチャがないところ
に弱い
精度が現在
低め
Direct Sparse Odometry
15
解決法
Direct Method
複数の画像の情報(輝度など)を直接使って姿勢を求める
〇テクスチャがないところでも大丈夫
×視点や輝度が変化すると対応付けが難しい
Sparse
画像の一部の画素を使用
〇計算が軽い
△モデルがそこまで密でない
→Direct かつ Sparse だと
いろいろなシチュエーショ
ンで高精度の位置が推定で
きるのではないか?
キャリブレーション
16
Direct Sparse Odometryの詳細
シャッタースピード
1/1000秒
シャッタースピード
1/15秒
明るさが全然違う
キャリブレーション
17
Direct Sparse Odometryの詳細
Direct Method
画像の輝度値を使う
ため、輝度値の再現
性が大事
Direct Methodでは画
像の一致をとるため
には撮影条件の変化
を考慮に入れる必要
がある
Indirect Method
輝度変化に頑強な
特徴点を使用
キャリブレーション
18
Direct Sparse Odometryの詳細
ガンマ補正: 𝐺
オススメ文献:CG-ARTS協会 ディジタル画像処理
https://www.eizo.com/library/basics/lcd_display_gamma/ http://nijikarasu.cocolog-nifty.com/blog/2014/02/post-9d0e.html
シャッタースピード: 𝑡𝑖 周辺光量の低下: 𝑉
位置推定のイメージ
19
Direct Sparse Odometryの詳細
左の画像をどのように変形すれば一番右の画像に一致する?
ただし、一致度合いを比較するときは画像全体の輝度値ではなく、
一定数のパッチの輝度で比較する
輝度の定式化
20
Direct Sparse Odometryの詳細
ガンマ補正: 𝐺
https://www.eizo.com/library/basics/lcd_display_gamma/ http://nijikarasu.cocolog-nifty.com/blog/2014/02/post-9d0e.html
周辺光量の低下: 𝑉
輝度の定式化
21
Direct Sparse Odometryの詳細
シャッタースピード アフィン変換にとも
なう輝度変換
(シャッタースピー
ド不明のときに使
う)
ガンマ補正、
周辺光量の低
下を補正済み
の輝度
輝度の定式化
22
Direct Sparse Odometryの詳細
https://www.slideshare.net/MasayaKaneko/direct-sparse-odometry
cはカメラの内部パラーメータで
焦点距離と主点の座標を含む
最適化
23
Direct Sparse Odometryの詳細
を状態量として各フレームの点についてのエネルギーの総和
が最小になるように、ガウス・ニュートン法で求める
24
デモ動画
https://youtu.be/C6-xwSOOdqQ
他の手法との比較
25
結果
TUM-monoVO データセットを
500回走らせた時の累積分布。
シャッタースピードの変化を無
視したLSD-SLAMはほとんどの
場合失敗したので掲載せず
𝑒 𝑎𝑙𝑖𝑔𝑛: 並進、回転、スケールを
含めた誤差
𝑒 𝑟: 回転の誤差
𝑒𝑠: スケールの誤差
他の手法との比較
26
結果
EuRoC MAV dataset を走らせたときの
誤差の累積分布(輝度のキャリブレー
ション情報なし!)
𝑒 𝑟𝑚𝑠𝑒: 正解の軌道に対する誤差
ICL_NUIM dataset を走らせたときの
誤差の累積分布
LSD-SLAMはほとんどの場合失敗したので掲載せず
パラメータを変えての比較
27
結果
DirectかつSparseな手法を使い、テクスチャが少ないところでも
高い精度でリアルタイムで動くVisual Odometryを提案
カメラの性質をしっかり考慮することによりDirect Methodの性
能を引き出した
28
結論
詳しく知りたい方はこちらの金子さんのスライドを読んで
みてください
https://www.slideshare.net/MasayaKaneko/direct-sparse-
odometry

Contenu connexe

Tendances

20190307 visualslam summary
20190307 visualslam summary20190307 visualslam summary
20190307 visualslam summaryTakuya Minagawa
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向Motokawa Tetsuya
 
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMSLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMIwami Kazuya
 
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...SSII
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類Yoshitaka HARA
 
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...Deep Learning JP
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)Toru Tamaki
 
SfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法についてSfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法についてRyutaro Yamauchi
 
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみたORB-SLAMを動かしてみた
ORB-SLAMを動かしてみたTakuya Minagawa
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量takaya imai
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Masaya Kaneko
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門Takuji Tahara
 
Introduction to YOLO detection model
Introduction to YOLO detection modelIntroduction to YOLO detection model
Introduction to YOLO detection modelWEBFARMER. ltd.
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会nonane
 
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisKento Doi
 

Tendances (20)

20190307 visualslam summary
20190307 visualslam summary20190307 visualslam summary
20190307 visualslam summary
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向
 
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMSLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
 
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類
 
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
【DL輪読会】EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Pointsfor...
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
 
SfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法についてSfM Learner系単眼深度推定手法について
SfM Learner系単眼深度推定手法について
 
ORB-SLAMを動かしてみた
ORB-SLAMを動かしてみたORB-SLAMを動かしてみた
ORB-SLAMを動かしてみた
 
20190825 vins mono
20190825 vins mono20190825 vins mono
20190825 vins mono
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
 
backbone としての timm 入門
backbone としての timm 入門backbone としての timm 入門
backbone としての timm 入門
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
 
Introduction to YOLO detection model
Introduction to YOLO detection modelIntroduction to YOLO detection model
Introduction to YOLO detection model
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
 
関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会関東コンピュータビジョン勉強会
関東コンピュータビジョン勉強会
 
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
 

SLAMチュートリアル大会 Direct Sparse Odometry 紹介