1. A Fast Online Incremental Loop-Closure Detection
for Appearance-based SLAM
in Dynamic Crowded Environment
Noppharit Tongprasit, Aram Kawewong, Osamu Hasegawa
東京工業大学

2. 研究背景
近年，「日常生活環境」ロボットの需要が高まっている
警備 搬送 介護
セコム : (2005) 富士重・ツムラ (2008) 理研 : RIBA (2009)
これらのロボットは，常に変化する(動的な)実環境下で自律
的に行動する必要がある
マップ
ロボットの環境に対する認識
事前に与えられることは稀
ロボット自身が作る必要がある
2

3. 本日の内容
PIRF IEICE
PIRF-NAV1 IJRR
PIRF-NAV2
3

4. 4

5. 従来法の問題点
• 従来手法（FAB-MAP : Oxford大）の問題点
– 環境が大きく変化しないことを仮定
– 辞書はバッチ学習で作成し更新できない
– 辞書の作成には別途膨大な学習用画像が必要
同じ場所だが、トラックが
停まっていることで、画像
の見え方が変わり、異なる
場所と認識してしまう。
異なる場所だが、見え方が
極めて似ており、同じ場所と
認識してしまう。
5

6. 提案手法のポイント
• 環境の大きな変化への対応
– 独自の画像特徴“Position-Invariant Robust Features
（PIRF）”を利用
– PRIF:移動カメラの動画像から安定した点を探索し特徴化
• 辞書は完全にオンラインで作成し更新可能
– 事前に膨大な学習用画像を集めて長時間学習させ、辞書を
作る必要が無い
– 辞書はその場で与えられたデータのみから作り、更新可能
– 重複する特徴を除外し、必要最低限の特徴のみ辞書に記録
– 上記の結果、メモリ効率が向上し処理の高速化も実現
6

7. • 地図上での各地点の表現に工夫
– PIRF特徴が少ない（画像の識別の手掛かりが少
ない）場合
– 類似する画像が存在する（識別が困難な）場合
– 上記のような場合は、その画像に連続する前後の
画像も援用し、自動的にPIRF特徴を増やして画像
を表現する。
例えば、左図のような異なる場所で見え
方が極めて類似する場合、この画像に連
続する前後の画像も用い、手掛かりを増
やして識別する。
7

8. PIRF とは？
Original Descriptors (SIFT)
Selective Descriptors (PIRF)
8

9. PIRF: algorithm Current image
過去の画像を参照し、
共通するSIFT特徴を
抽出して、その位置の
特徴表現とする。
9

10. 類似手法との性能比較(PIRF)
Recognition Rate of Suzukakedai and O-okayama
93.46%
77.48%
100.00%
90.00%
80.00%
45.75%
70.00%
36.71%
30.22%
Suzukakedai
31.08%
O-Okayama
27.59%
60.00%
24.54%
22.29%
18.23%
50.00%
40.00%
30.00%
20.00%
10.00%
0.00%
10

11. Even With These Strong Changes, PIRF
Still Works Well !!!
Highly Dynamic Changes in Scenes
Illumination Changes in Scenes 11

12. PIRF-NAV1
我々の過去の提案手法
PIRFを用いた VISUAL SLAM の初期のもの
A.KAWEWONG, ET AL,:
"ONLINE INCREMENTAL APPEARANCE-BASED SLAM
IN HIGHLY DYNAMIC ENVIRONMENTS",
INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH
(IJRR)
12

13. PIRF-NAV1(Kawewong, A. et al.,IJRR)
• Visual SLAM based on PIRF’s concept
• Characteristics
– Online
– Robust to dynamic scene
– SIFT (128 dimensions) based system
13

14. PIRF-NAV1: Algorithm
Algorithm Data structure
Image features
14

15. Results & Experiments: DATASETS
• City Centre
15

16. Results & Experiments: DATASETS
• New College
16

17. Result 1: City Centre
Vehicle Trajectory
Loop Closure Detection
PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision)
17

18. Result 2: New College
Vehicle Trajectory
Loop Closure Detection
PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision) 18

19. PIRF-NAV1: City Center Result
Precision-Recall
19

20. PIRF-NAV1:
City Center Result(Cont.)
Computation time Full scale result
Method PIRF-NAV 1
Recall 84%
Precision 100%
Total time (sec) 12057.4
Aver. time (ms) 9746
Total words 64618
Memory (MB) 33.4 MB
Unable to process in real time
20

21. PIRF-NAV2
今回の提案手法
PIRF-NAV1 の処理速度と
情報処理効率を大幅に改善
21

22. PIRF-NAV2 (Tongprasit, N. et al., MIRU’10)
• Improved version of PIRF-NAV 1
• Characteristics
–Online
–Robust to dynamic environment
–Real time process
–SURF (64 dimensions) based system
22

23. PIRF-NAV2: Algorithm (Cont.)
Image features
23

24. PIRF-NAV2: Modified PIRF
Shrink back if number of
features is too few
24

25. PIRF-NAV2:
City Center Result
Precision-Recall
Aerial image
25

26. PIRF-NAV2: City Center Result(Cont.)
PIRF-NAV1との比較
Method PIRF-NAV 2
Recall 80% (-4%)
Precision 100%
Total time (sec) 1086.4 (12倍高速化)
Aver. time (ms) 878.2 (12倍高速化)
Total words 24410 (約66％削減)
Memory (MB) 10.9 (約66%削減)
26

27. 混雑した環境での実験
• 本研究でPIRF-NAV1が高速化し、実用レベルで利用
可能になったので試みた。
• 場所：食堂（東工大学食）
• 時刻：昼間（12時頃）
– あえて、食堂が混み合う時間帯に撮影
• 約６分間の動画（692枚の画像）
• 画像サイズ：480 x 270（全方位カメラ画像）
27

28. 28

29. 混雑した環境での実験
• 認識率：86.65%（FAB-MAP：17.80%）
• 平均処理時間：264ms / 枚, Matlab（同：577ms/枚）
入力（テスト）画像 同位置と推定された学習画像
全方位カメラの画像のため，同位置の画像でも
撮影時のカメラの向きによって見え方が異なります
29

30. 食堂での実験結果
提案手法
30

31. 食堂での実験結果
[4] A. Angeli, D. Filliat, S. Doncieux, and J. A. Meyer, “Fast and Incremental Method
for Loop-Closure Detection Using Bags of Visual Words,” IEEE Trans. Robotics, 2008,
24(5), pp. 1027–1037 （オンラインVisual SLAMだが性能面でかなり劣る。）
31

32. まとめに代えて（予告）
• PIRF-NAV2 の移動ロボットへの実装もほぼ完了。
• 混雑した学食で、全方位カメラ1本のみで、ロボットがオン
ライン・リアルタイムに地図の作成と自己位置同定(SLAM)
を行う。
• ロボットは、「レジから下膳口へ」といった言語による指示
により経路探索し、移動可能（ナビゲーションも実現）。
• 日本ロボット学会学術講演会（9月、名工大）にて発表予
定。
32