調べた

1. 車載カメラから歩行者に関わる危険
を予測する技術
2017/12/11 ビジョン＆ITラボ 皆川卓也
1

2. 本資料の目的
 車載カメラ映像を用いて、歩行者が原因となる危険な状況を
解析する技術およびその関連技術について調査した結果を
まとめます。
 危険検出/予測以外に、歩行者の行動認識等、関連するいく
つかの研究について、そのアルゴリズムの概要を紹介します。
 歩行者のふるまいに関わる研究は、とても全ての研究は紹
介しきれないため、以下のサーベイ論文のII.B節を参照して
下さい。
 [Ohn-Bar2016] Ohn-Bar, E., & Trivedi, M. M. (2016). Looking at
Humans in the Age of Self-Driving and Highly AutomatedVehicles.
IEEETransactions on IntelligentVehicles, 1(1), 90–104.
 本資料作成にあたり、産総研の片岡裕雄先生にご協力いた
だきました。
2

3. 自己紹介
3
テクニカル・ソリューション・アーキテクト
皆川 卓也（みながわ たくや）
フリーエンジニア（ビジョン＆ITラボ）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（2014年）
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事
http://visitlab.jp

4. 研究の分類
歩行者検出
歩行者追跡 姿勢/属性認識
行動（詳細）認識
周辺環境を考慮し
た行動認識/予測
群衆を考慮した行
動認識/予測
危険な状況の予
測/認識
経路/意図予測
高次
4
調査範囲

5. 危険な状況の認識
以下の論文について解説します。
 [Mogelmose2015] Mogelmose,A.,Trivedi, M. M., & Moeslund,T. B. (2015).
Trajectory analysis and prediction for improved pedestrian safety:
Integrated framework and evaluations.IEEE IntelligentVehicles Symposium,
Proceedings
 [Chan2016] Chan, F. H., Chen,Y.T., Xiang,Y., & Sun, M. (2016).Anticipating
accidents in dashcam videos. Asian Conference on ComputerVision.
 [Suzuki2017] Suzuki,T.,Aoki,Y., & Kataoka, H. (2017). Pedestrian Near-Miss
Analysis onVehicle-Mounted Driving Recorders. MachineVision and
Applications.
 [Ke2017] Ke, R., Lutin, J., Spears, J., &Wang,Y. (2017).A Cost-Effective
Framework for AutomatedVehicle-Pedestrian Near-Miss Detection
Through Onboard MonocularVision.2017 IEEE Conference on Computer
Vision and Pattern RecognitionWorkshops (CVPRW)
 [Zeng2017] Zeng, K.-H., Chou, S.-H., Chan, F.-H., Niebles, J. C., & Sun, M.
(2017).Agent-Centric Risk Assessment:Accident Anticipation and Risky
Region Localization. In Conference on ComputerVision and Pattern Recognition.
5

6. [Mogelmose2015] 1/2
 各フレームで歩行者を検出し、Bounding Boxの位置と大きさ
で最も近いものを結びつけることでTracking
 歩行者の位置を道路平面上へ投影し、Particle Filterによって
動き予測
 地図の情報と歩行者の予測結果を重ね合わせ、道路上に歩
行者が進入しそうな場合、アラートを上げる

7. [Mogelmose2015] 2/2
 どのようなデータセットに対して
試験を行ったのかの記述なし。
 定量評価無し
 Detectionは実装せず、手動で検
出結果を与えている
 左の図は赤が危険と予測された
人
 (a) 最初の方のフレームなので、
ヒートマップが大きい
 (b) フレームが進み予測範囲が絞ら
れている
 (c) 追跡フレームが短い、距離が遠
いなどで一部誤ったWarning

8. [Chan2016] 1/3
 Dynamic Spatial Attention (DSA)
 各フレームにおいて危険が身近に迫るほど高い値を出力
 入力画像から物体領域と特徴量を抽出し、フレーム全体の動き特徴と合わせて危険を予
測
 各物体領域の重要度(Attention)を学習
 台湾内の６つの都市で、ドライブレコーダから撮影された実際の事故映像のデー
タセットを作成

9. [Chan2016] 2/3
 フレーム𝑡において、Faster R-CNNで物体領域ごとの特
徴量ෝ𝒙 𝑡
𝑗
を抽出し、Attention 𝛼 𝑡
𝑗
で重み付きの和を算出
 重みつき和、フレーム全体の動き特徴 (Improved Dense
Trajectory)、前フレームの情報𝒉 𝑡−1を加えた特徴量を
RNN (LSTM)に加え、危険度𝒂 𝑡を予測

10. [Chan2016] 3/3
 DSAに対し、以下のバリエーションに対してAverage Precisionを評価
 VGG: 物体特徴量
 IDT: フレーム全体特徴 (Improved DenseTrajectory)
 SFC:単一フレームで予測 (Single Frame Classifier)
 F: フレーム全体特徴を使用
 avg.-D: Attentionを用いず物体特徴ベクトルの平均を使用
 F+avg.-D-con: avg.-Dベクトルに対し全体特徴ベクトルFを連結
 D: 物体特徴飲みでフレーム全体特徴を使用せず
 F+D-sum: 全体特徴(IDT)にもAttention 𝛼を加え、物体特徴へ加算
 F+D-con:Attentionで重み付き和を計算した物体特徴ベクトルにIDTベクトルを
追加

11. [Suzuki2017]
 100台以上のタクシーに搭載したカメラからpedestrian
near miss (PNM)データセットを作成
 危険度{high, low, zero}とNear-missしそうな歩行者の
Bounding Boxを含む
 ResNetを元にBounding Boxと危険度をEnd-to-Endで学
習
 ResNet-152で68.8%の精度

12. [Ke2017] 1/2
Stage 1
 HOGによる歩行者検出
Stage 2
 KLTによる歩行者追跡
Stage 3
 歩行者の画像上の位置を道路
平面へ投影
Stage 4
 自車と歩行者間の相対速度と
位置から危険度の指標（TTC）
を算出

13. [Ke2017] 2/2
 シアトルで運行しているバスに搭載したカメラで撮影した
30時間のデータを用いて実験
 Roasco/MobileEye Shield+システムと性能比較
 カメラを４台を使用したシステム
速度
車両と歩行者との距離

14. [Zeng2017] 1/3
 入力動画からアクシデントの有無、アクシデントを起こす
エージェント、Risk Map (各場所の危険度)を推定/予測

15. [Zeng2017] 2/3
 各画像からエージェントと危険領域の候補領域と特徴量をFaster R-CNNで算出
 各危険領域候補のRiskをAgent-Region Interaction Moduleで算出
 Agent-RNN(LSTM)により、過去の情報を用いてエージェント特徴量を更新
 Holistic Accident-Anticipation-RNNで事故発生の有無を推定
 Image ModuleでKフレーム先のエージェントの位置を予測し、それを元にKフレーム先のRisk Mapを推定
Faster
R-CNN
(特徴量)
(位置)
(特徴量)
(位置)
(Risk)
(将来予測)

16. [Zeng2017] 3/3
 YouTubeから作成したEpic Fail (EF)データセットおよびStreet
Accident (SA)データセット[Chan2016]に対し実験
 既存手法(DSA, SP, R*CNN, L-R*CNN)および、シングルフレームの
み(RA)、RAにImage Moduleを加えたもの(RAI)、RAにRNNによる
過去の情報を加えたもの（L-RA）、RAIに過去の情報を加えたもの
(L-RAI)に対して性能比較
 mAP = mean Average Precision
 ATTA = AverageTime-to-Accident

17. 周辺環境を考慮した行動認識/予測
 [Wojek2013]Wojek, C.,Walk, S., Roth, S., Schindler, K., &
Schiele, B. (2013). Monocular visual scene understanding:
Understanding multi-object traffic scenes. IEEETransactions
on Pattern Analysis and Machine Intelligence, 35(4)

18. [Wojek2013] 1/3
 車載単眼カメラから撮影した動画に対する物体検出、セマンティッ
クセグメンテーションの結果を用いて、歩行者や人などの三次元的
な位置の確率分布を算出

19. [Wojek2013] 2/3
 観測ℰが与えられたとき三次元的な状態𝑿の確率分布𝑃 𝑿|ℰ をMCMCで
推定
 観測ℰは物体検出結果𝐝 𝜶(𝑖)およびセマンティックセグメンテーション結果𝒍
 状態𝑿は物体𝑖の相対三次元位置𝑶𝑖、高さ𝐻 𝑖 、カメラの道路平面に対す
るピッチ角Θ
三次元パラメータ𝑿を元に２次元画像へ投影したモデルを使用

20. [Wojek2013] 3/3
 三次元パラメータを二次元に投影し、複数のデータセットで比較実験

21. 群衆を考慮した行動予測
 [Choi2008] Choi,W., Savarese, S., & Khuram, S. (2008).
What are they doing ? : Collective Activity Classification
Using Spatio-Temporal Relationship Among People. ICCV,
24, 2008.

22. [Choi2008] 1/3
 人の行動を周囲の人物との関係性を考慮して識別
Deformable
Part Model
HOG+SVM
カメラパラメータを画
像上の人の位置から
簡易モデル化して人
物トラッキング
注目人物ごと
に周辺人物の
分布特徴
(STL)
行動識別

23. [Choi2008] 2/3
 Spatio-Temporal Local (STL) Descriptor
 人物ごとに作成する、行動認識のためのDescriptor
 注目人物の周辺を18領域へ分割
 注目人物の向きを基準に各領域にいる人物の向きを時空間内でヒストグラム
を作成

24. [Choi2008] 3/3
 評価用のデータ
セットを作成
 40以上の短いビ
デオ
 crossing, waiting,
queueing,
walking, talking
の5クラス
 Bags-of-Words
ベースの手法と
比較

25. 経路/意図の予測
 [Kooij2014]Kooij, J. F. P., Schneider, N., Flohr, F., & Gavrila,
D. M. (2014). Context-Based Pedestrian Path Prediction.
European Conference on ComputerVision, (June),

26. [Kooij2014] 1/3
 歩行者の進行方向をDynamic Bayesian Network (DBN)で予測
 観測結果
 𝑌:歩行者の位置、 𝐻𝑂:顔の向き、 𝐷 𝑚𝑖𝑛
:車両までの最短距離、 𝐷𝑇𝐶:縁石まで
の距離
 潜在変数
 𝑋:歩行者の位置と速度、 𝑀:歩行/静止状態、 𝐻𝑆𝑉:車両に気づいているか、
𝑆𝑉:車両を見ているか、 𝑆𝐶:縁石付近にいるか、 𝐴𝐶:車両と歩行者が現在の速
度で動き続けた場合危険か

27. [Kooij2014] 2/3
 Assumed Density Filteringという確率伝播法のような手法で推定
 観測方法
 歩行者の位置𝑌をHOGと線形SVMで取得
 頭部の向き𝐻𝑂を8方向に分割し、その識別器をNeural Networkで学習
 歩行者および車両の位置と速度から車両までの最短距離𝐷 𝑚𝑖𝑛を算出
 縁石をハフ変換、地図情報、自己車両位置（GPS+INS）で推定し、歩行
者の位置から𝐷𝑇𝐶を算出
 実験は58シーケンス（数秒から十数秒）の車載ステレオカメラの動
画を使用
 人の位置をBounding Boxでラベル付け＋視差の算出
 頭部の向きを16方向にラベル付け
 人か車が衝突を避けるために停止するような状況を「危険」としてラベ
ル付け
 歩行者が停止する時間、横断する時間にラベル付け

28. [Kooij2014] 3/3
 16フレーム先（約１秒）の歩行者位置の対数尤度を比較（大き
いほど良い）
 単純なKalman Filterよりも潜在変数を用いた方が良い
 ３番目までのシナリオではどのケースも似た性能だが、４番目（危険、
車両確認、停止）のケースでは、全ての潜在変数を使う手法が他を
大幅に上回る
 ５番目の異常な状態のシナリオ（危険、車両確認、停止せず）の
ケースでは、全ての潜在変数を使う手法だけ大幅に性能が下がる。
この性質を用いて異常状態検知に使用可能。 Kalman
Filter𝑀のみ

29. 行動認識
 [Kataoka2016]Kataoka, H., Miyashita,Y., Hayashi, M., Iwata,
K., & Satoh,Y. (2016). Recognition of Transitional Action
for Short-Term Action Prediction using Discriminative
Temporal CNN Feature. British MachineVision Conference.

30. [Kataoka2016] 1/3
 ActionとActionの間のTransitional Actionを定義すること
で、次のActionの予測を可能に

31. [Kataoka2016] 2/3
 CNNで取得したフレーム𝑡の画像と差分画像から特徴量𝑉 𝑡
= 𝑣1
𝑡
, ⋯ , 𝑣 𝑛
𝑡
、∆𝑉 𝑡
=
𝑉 𝑡
− 𝑉 𝑡−1
を取得
 時間方向に特徴量の𝑖番目の要素𝑣𝑖
𝑡
のヒストグラム（4bin）を作成
 ゼロ近辺の2bin = Subtle Motion Descriptor (SMD)
 ヒストグラムを連結したものを行動認識のための特徴量とする

32. [Kataoka2016] 3/3
 NTSEL
 ドライブレコーダで取得した車両と人とのニアミスデータセット。
 Walking, turning, crossing, bicycle ridingの4クラスとWalking-Turning
transitionクラス
 UTKinect-Action (UT)
 Walk, Sit down, Stand up, Pick up, Carry,Throw, Push, Pull,Wave
hands, Clap handsの10クラスに8つのtransitionクラスを新たに追加
 Watch-n-Patch (WnP)
 Reading,Walking, Leave-office, fetch-book, Put-back-book, Put-down-
item, take-item, Play-computer,Turn-on-monitor,Turn-off-monitorの
10クラスに10個のtransitionクラスを新たに追加

33. データセット
 Anticipating Accidents in DashcamVideos [Chan2016]
 台湾内の６つの都市で、ドライブレコーダから撮影された実際
の事故映像のデータセット
 http://aliensunmin.github.io/project/dashcam/
 ドライブレコーダデータセット
 東京農工大の集めたヒヤリハットデータセット（有料）
 [Suzuki2017]のニアミスデータセットはこのデータセットから作
成
 http://web.tuat.ac.jp/~smrc/drcenter.html
33

34. まとめ
 従来は、オブジェクトや道路の三次元情報や、オブジェク
ト自体の属性/状態等をそれぞれ認識し、それらをベイジ
アンネットワークで表現することで認識/予測する手法が
主流でしたが、近年はCNNやRNNを用いて二次元画像
を直接的に扱う手法が増えてきています。
34

35. まとめ
 既存研究によって抽出の可能性がある歩行者のふるま
いとして、以下のものがあげられます。
 道路への歩行者の侵入
 自車に対する歩行者の追突予測
 前方車両と歩行者の追突予測
 自車および周辺の歩行者の三次元位置
 歩行者の行動パターン（歩く/止まる/並ぶ/話す/横断するetc）
 歩行者の進行方向の予測
 歩行者の次の行動の予測
35