2. 紹介論文
• Lost!
Leveraging
the
Crowd
for
Probabilistic
Visual
Self-‐Localization CVPR2013
Best
Paper
Runner-‐Up
• Motion
Estimation
for
Self-‐Driving
Cars With
a
Generalized
Camera
• Exploiting
the
Power
of
Stereo
Confidences
• Geometric
Context
from
Videos
3. • 概要
– ビジュアルオドメトリとOpenStreetMap(OSM)を利用してOSM上の車両位置を確率的に推定
• 約20秒走行すると3m以内の精度で車両位置を推定可能
• ビジュアルオドメトリはLIBVISO2を利用
– C++,
Matlabのソースコードをダウンロード可能(GPLライセンス)
– A.
Geiger,
J.
Ziegler,
and
C.
Stiller.
Stereoscan:
Dense
3d reconstruction
in
real-‐time.
In
IV,
2011.
• 実験における道路の最長は2,150km
• 短い道のりや道路の(形状的)特徴不足により推定に曖昧性が残る場合あり
– 地図を混合ガウス分布を利用したグラフ構造で表現
– ソースコードをダウンロード可能
• For
personal
and
research
use
only!
• 分野
– Visual
Self-‐Localization
(for
a
driving
vehicle)
• 技術重要キーワード
– Visual
odometry
– OpenStreetMap(OSM)
– Gaussian
Mixture
Lost!
Leveraging
the
Crowd
for
Probabilistic
Visual
Self-‐Localization
Marcus
A.
Brubaker
Andreas
Geiger
Raquel
Urtasun
TTI
Chicago KIT
&
MPI
T¨ubingen TTI
Chicago
Visual
Self-‐Localizationの例
青が推定対象となる地図全体
赤が推定した車両位置
(左)地図のグラフ表現
(右)道路区間と車の状態の表現
4. • 概要
– 市販の自動走行車用マルチカメラシステムでビジュアルエゴモーションを推定
– マルチカメラシステムを一般的なカメラとしてモデル化
• Generalized
Epipolar Constraint
(GEC)
– R.
Pless.
Using
many
cameras
as
one.
In
Computer
Vision
and
Pattern
Recognition,
volume
2,
pages
587–93,
June 2003.
– 車にノンホロノミックの拘束を適用
• Ackermann
motion
model
– 2つのEssential
Matrixの解析解を導出
• 異なるカメラ間の対応点を(最低1点)用いた一般的なE行列
– 直進時(縮退時)は同一カメラ間の対応点だけではスケールが未知
• 同一カメラ間の対応点のみを用いた特殊ケースのE行列
– 同一カメラ間の方が信頼性が高い対応点が得やすい
– 対応点が同一カメラ内の場合、移動量を求める3次方程式が2次方程式となり計算量が減少
– 直進時に異なるカメラ間で対応点が得られない(稀な)ケースではKalman filterを用いて推定した前フレームの
スケールを使用
• 分野
– Visual
ego-‐motion
• 技術重要キーワード
– Non-‐holonomic motion
constraint
(Ackermann
motion
model)
– Generalized
Epipolar Constraint
(GEC)
– Kalman Filter
– Sampson
error
Motion
Estimation
for
Self-‐Driving
Cars With
a
Generalized
Camera
Gim Hee Lee
Friedrich
Fraundorfer Marc
Pollefeys
ETH
Z¨urich Technische Universit¨at M¨unchen ETH
Z¨urich
実験車両 提案手法を用いて推定した走行軌跡と3次元点群
5. • 概要
– ステレオマッチングにより画像をフリースペースと垂直構造物にセグメンテーション
– 垂直構造物のデプスを推定
– (Multilayer)
Stixel World
• 構造物は垂直方向にデプスが一定の平面であると仮定
– H.
Badino,
U.
Franke,
and
D.
Pfeiffer.
The
Stixel World
-‐A
compact
medium
level
representation
of
the
3D-‐world.
In DAGM,
pages
51–60,
Jena,
Germany,
September
2009.
– D.
Pfeiffer
and
U.
Franke.
Towards
a
global
optimal
multilayer Stixel representation
of
dense
3D
data.
In
BMVC,
Dundee,
Scotland,
August
2011.
– State-‐of-‐the-‐artの3D
Stixel を改良
• 3つのConfidence情報を利用
– PeaK-‐Ratio
Naive
(PKRN)
– Maximum
Likelihood
Metric
(MLM)
– Local
Curve
(LC)
information
– ベイズ推定で3つのConfidence情報を統合
• アウトライヤーとStixelセグメンテーションラベルの確率を推定
• 分野
– Stereo
Matching
• 技術重要キーワード
– Confidence
– Bayesian
• Disparity
outlier
probability
rate
– Semi-‐Global
Matching
(SGM)
– Left-‐Right
Consistency
(LRC)
Exploiting
the
Power
of
Stereo
Confidences
David
Pfeiffer Stefan
Gehrig
Nicolai
Schneider
Daimler
AG
IT-‐Designers
GmbH
Stixel Worldの出力結果(色はデプスを表現)
SGMベースのデプスマップと各Confidenceマップ
6. Geometric
Context
from
Videos
S.
Hussain Raza Matthias
Grundmann Irfan Essa
Georgia
Institute
of
Technology,
Atlanta,
GA,
USA
• 概要
– 連続画像を以下のクラスにセグメンテーション
• Main
classes
(Sky,
Ground,
Vertical,
mix)
• Sub
classes
(Solid,
Porous,
Object)
– 以下の手法をベースに画像の連続性を利用して精度向上
• D.
Hoiem,
A.A.
Efros,
and
M.
Hebert,
"Geometric
Context
from
a
Single
Image",ICCV 2005.
– モーションの特徴量としてオプティカルフローを利用
– 画像のx,y軸に時間軸を加えて3次元グラフに拡張
• P.F.
Felzenszwalb and
D.P.
Huttenlocher.
Efficient
graph-‐based
image segmentation.
IJCV,
2004
– 半教師あり学習の枠組み構築
– 100個(~20,000フレーム)のアノテーション付動画を公開
• 分野
– Geometric
Scene
understanding
• 技術重要キーワード
– Hierarchical
Segmentation
– Optical
flow
– Adaboost
– Semi-‐supervised
Learning
(左)入力動画(の一部)と(右)シーンの認識結果