監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
•Télécharger en tant que PPTX, PDF•
0 j'aime•461 vues
2016年11月，MoNA研究会での発表資料です．
Recommandé
Contenu connexe
Similaire à 監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
Similaire à 監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価 (20)
監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価
- 1. 監視映像システムのための複数センサを活用した イベントドリブン型適応レート制御の性能評価 Performance Evaluations of Event-driven Rate Adaptation Using Multimodal Sensors for Video Surveillance System 小川啓吾 金井謙治 竹内健 甲藤二郎 津田利隆 Keigo Ogawa, Kenji Kanai, Masaru Takeuchi, Jiro Katto, Toshitaka Tsuda Waseda University
- 2. アウトライン 1. 研究背景 2. 関連研究 3. 提案システム 4. 評価実験 5. まとめ 6. 今後の課題 1
- 3. NICT 「ソーシャル・ビッグデータ利活用・基盤技術の研究開発」 鉄道とその周辺による情報センシング・通信ネット ワーク基盤 2 クラウド 土砂災害予測 車両搭載センサからのデータ収集 ・センサー データ ・監視映像 データ エッジサーバ 高品質な映像 モニタリ ング 公衆網/自衛網 高機能ネット ワーク ・エッジキャッシング ・エッジコンピューティ ング 地上設置センサからのデータ収集 ： Senor nodes ： Data aggregation nodes
- 4. 3 研究背景 映像監視(video surveillance)システムの普及 • 行動の検知（歩いている，走っている) • セキュリティー（空港や駅などの不審者検知） • インタラクティブ（スマートルーム） このようなアプリケーションに対する要求 • 高精度であること • 低遅延であること • システムがネットワーク帯域を圧迫しないこと
- 6. 5 関連研究 - センサネットワーク 複数センサを活用した人物検知，追跡，位置推定の研究が進む • レーザースキャナを利用した人物位置推定[1] • スマートフォンのセンサを利用した人物位置推定[2] [1] Y. Wada, T. Higuchi, H. Yamaguchi, and T. Higashino, “Accurate positioning of mobile phones in a crowd using laser range scanners,” IEEE WiMob., pp. 430– 435, 2013. [2] Jiang Xiao, Zimu Zhou, Youwen Yi, Lionel M. Ni, “A Survey on Wireless Indoor Localization from the Device Perspective”,ACM Computing Surveys, 49.2, p25, 2016
- 7. 6 関連研究 - センサネットワーク カメラによって構成されるセンサネットワーク， ビジュアルセンサネットワーク(VSN)[3] データとして，動画像を収集できる 画像処理技術を活用することで，様々なタスクに応用可能 計算資源，ストレージなどの リソースをどのように割り当てるか という研究課題 [3] Youssef Charfi, Bell Canada, Naoki Wakamiya, Masayuki Murata, “Challenging Issues in Visual Sensor Networks”, IEEE Wireless Communications, 16.2, pp44-49, 2009
- 8. 7 関連研究 - エッジコンピューティング ユーザに近い場所にサーバーを配置 • クラウドコンピューティングでネックとなってい た通信遅延を改善 • エッジサーバーでデータの前処理を行うことで， トラフィック量を削減 エッジサーバー エンドユーザー エッジサーバー クラウドサーバー
- 9. 8 提案システム 高品質な監視映像システム a)高精度なイベント検知(e.g.,人物追跡) b)低遅延な警告メッセージ配信 c)低負荷なネットワーク の 3 つの要求条件 • エッジコンピューティング技術 • 複数センサを活用したイベント検知 • イベントドリブンレート制御 により要求を達成するシステムを提案
- 10. 9 提案システム - 概要図 監視エリアに 接近 ビデオセグメント センサーデータ 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g., 踏切) 電車 クラウドサーバー 駅 監視映像 検知イベント (アラート) 低遅延通信 イベント検知/予測 動画品質制御 コンテンツキャッシュ エッジ処理 トラフィック削減
- 11. 10 提案システム - 概要図 監視エリアに 接近 Video segments Sensor data 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g.,踏切) 電車 クラウドサーバー 駅 Monitoring video Detected event (Alert) Low latency delivery Event detection/prediction Control video quality Content caching Edge processing トラフィック削減 監視エリアに カメラ，センサを設置 センサ，カメラ端末から物理的 に近い位置に計算資源を配置 （エッジサーバー） データはクラウドサーバーに蓄積 システムの情報を利用する エンドユーザ(駅，監視エリ ア近くの電車など）
- 12. 11 提案システム - 概要図 Approach to monitoring field ビデオセグメント センサデータ 制御メッセージ エッジサーバー Multi-modal sensors カメラ 監視エリア (e.g., 踏切) Train cars クラウドサーバー 駅 監視映像 検知イベント (アラート) 低遅延通信 イベント検知/予測 動画品質制御 コンテンツキャッシュ エッジ処理 Traffic reduction センサ，カメラから取得し たデータをエッジサーバー に送信，収集 エッジサーバーからセンサに 制御メッセージを送信 エッジサーバーではこれらの処理を行う
- 13. 12 提案システム - 概要図 監視エリアに 接近 Video segments Sensor data Control message エッジサーバー Multi-modal sensors Camera 監視エリア (e.g.,踏切) 電車 クラウドサーバー 駅 監視映像 検知イベント (アラート) 低遅延通信 イベント検知/予測 動画品質制御 コンテンツキャッシュ エッジ処理 トラフィック 削減 検知したイベント，動画をエン ドユーザ（駅，監視エリア近く の電車など）に低遅延で配信
- 14. 13 提案システム - 概要図 監視エリアに 接近 ビデオセグメント センサーデータ 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g., 踏切) 電車 クラウドサーバー 駅 Low latency delivery Event detection/prediction Control video quality Content caching Edge processing トラフィック削減 エッジサーバーからクラウドサー バーにアップロード イベント情報を利用して，データ量を削減
- 15. 14 提案システム - 概要図 監視エリアに 接近 ビデオセグメント センサーデータ 制御メッセージ エッジサーバー 複数センサ カメラ 監視エリア (e.g., 踏切) 電車 クラウドサーバー 駅 監視映像 検知イベント(アラート) 低遅延通信 イベント検知/予測 動画品質制御 コンテンツキャッシュ エッジ処理 トラフィック削減
- 16. 15 提案システム - プロトタイプ 提案システムのプロトタイプを実装，評価 監視対象エリアを踏切と想定 踏切内における • 人の有無 • 動作（動いているか，止まっているか） を複数のセンサを活用して検知
- 17. 16 提案システム - プロトタイプ 利用するセンサ • レーザースキャナ[5] • Windows PCでデータ収集 • 赤外線測距センサ[6] • Arduino + Raspberry Pi3 でデータ収集 • Webカメラ[7] • Linux PCでデータ収集 [5] HOKUYO UST-20LX [online]: http://www.hokuyo-aut.jp/02sensor/07scanner/ust_10 lx_20lx.html [6] SHARP GP2Y0A21YK [online]: http://www.sharpsma.com/webfm_send/1208 [7] Logitech HD Pro Webcam C920 [online]: http://www.logitech.com/en-us/product/hd-pro-webc am-c920?crid=34
- 18. 17 提案システム - プロトタイプで用いるセンサ レーザースキャナ 扇形の領域に対して周期的にレーザー光を照射 物体からの反射光の伝搬遅延時間を計測，物体位置推定を行う 背景差分手法[8, 9]を利用し人物検知，追跡を行う [8] Y. Wada, T. Higuchi, H. Yamaguchi, and T. Higashino, “Accurate positioning of mobile phones in a crowd using laser range scanners”, IEEE WiMob., pp. 430– 435, 2013. [9]A. Fod, A. Howard, and M. Mataric, “A laser-based people tracker”,Proceedings of the 2002 IEEE International Conference on Robotics & Automation, pp. 3024–3029, 2002.
- 20. 19 提案システム - プロトタイプで用いるセンサ Webカメラ 動画像による人物検知を行う HOG特徴量およびオプティカルフローを活用し た人物検知手法[10] [10]S. Saika, S. Takahashi, M. Takeuchi, and J. Katto, “Accuracy Improvement in Human Detection Using HOG Features on Train-Mounted Camera,” IEEE GCCE 2016.
- 22. 21 提案システム - イベント定義 表のようにイベントを定義，イベントに応じて動画品質を変更 イベント定義 監視対象 対象の状態 動画品質 危険度：高 歩行者 停止 高 危険度：中 歩行者 移動 中 危険度：低 歩行者 存在しない 低 危険度:高 危険度:中 危険度:低 ❗️停止 ⚠️移動 ✅無人 表１ イベント定義
- 23. 22 提案システム - レート制御 動画像圧縮レートについて ネットワークの帯域 ＞ 圧縮レート とならなければいけない 式(1)のようにレートRを選択する ),,min( // backboneaccesshighmiddlelow BBRR （１） BbackboneBaccess エッジサーバー クラウドサーバーカメラ Rlow/middle/high
- 25. 24 評価実験 - 実験環境 環境 図 赤外線測距センサ レーザースキャナ Web カメラ 赤外線測距センサ 3650mm 2100mm
- 26. 25 評価実験 - 実験シナリオ シナリオ 表 No. 歩行者の 数 停止の有 無 1 1 無 2 2 無 3 1 有 4 2 有:1, 無:1 5 2 有:2 No. 危険度:高 危険度:中 危険度:低 1 Default Default Default 2 Default Default 100kbps 3 Default 500kbps 100kbps 4 Default 1000kbps 500kbps ※Default: 3Mbps 表２ 実験シナリオ 表３ 動画像圧縮レートの組み合わせ
- 32. Q & A 1. 研究背景 2. 関連研究 3. 提案システム 4. 評価実験 5. まとめ 6. 今後の課題 1
Notes de l'éditeur
- はじめまして，小川啓吾と申します． 本日は，監視映像システムのための複数センサを活用したイベントドリブン型適応レート制御の性能評価と題しまして，発表を行いたいと思います．
- こちらが本日の発表のアウトラインです．
- まずはじめに，研究背景について説明します． 近年，日本における社会インフラの監視，危険予知などが重要な研究課題の一つとなっています．この課題に対して，センサ-端末を鉄道車両や災害が起きやすい崖といった監視対象に設置し，日々の状態変化を監視する動きが盛んとなっています．我々はさらに，これら収集されたセンサーデータを効率良く処理するために，エッジコンピューティングの活用も想定しており，エッジコンピューティングを活用することによるアプリケーション遅延の向上も検証しています．
- こういった事例の応用例として，映像監視，ビデオサーベイランスシステムが存在します． この分野では，監視エリア内にいる人物が歩いているのか走っているといった行動の検知，空港や駅などの不審者検知などを行うせきゅりティー関連，スマートホームなどのユーザーと対話するインタラクティブシステムなどのアプリケーションが存在します． このようなアプリケーションに対する要求として， ・・・ があげられます．
- しかし，現在の監視システムなどにおいては，エリア内に設置したカメラにて動画を撮影し，それをそのまま中央管理センターに送信，そこで人力で検知しています． 今後，システムの大規模化，カメラの高精細化が進むと，このような手法ではシステムの生成するデータ量が増加し，ネットワークの輻輳を引き起こしたり，QoSの低下を招きます． そこで，何らかの前処理を行い，ネットワーク負荷を緩和するスマートな監視システムが求められています．
- 次に，この分野の関連研究について説明します． まず，一つ目は，センサネットワークです． 近年，複数のセンサを活用した人物検知，追跡，位置推定の研究が進んでいます． この分野では， レーザースキャナを利用した人物位置推定，スマートフォンのセンサを利用した人物位置推定などが先行研究として存在します． 監視エリアにあらかじめ設置したセンサを利用して検知を行うパッシブ型，ユーザーの保持するセンサを利用して検知を行うアクティブ型に分けられることが多いです．
- また，センサネットワークの一分野として，カメラによって構成される，ビジュアルセンサネットワークという分野が存在します． カメラを利用することで，データとして，動画像を収集できるため，画像処理技術を活用することで，様々なタスクに応用が可能となります． この分野では， 計算資源，・・・という研究課題が存在します
- 関連研究の最後は，エッジコンピューティングです． エッジコンピューティングとは，クラウドコンピューティングと比較してエンドユーザーにより近い場所にサーバーを設置します． これにより，くらうど．．．改善できたり，エッジ・・・を削減できるなどのメリットが生まれます．
- このような研究背景，関連研究をもとに，我々が今回提案するシステムについてお話しします． 高品質な監視映像システムでは，・・・の３つの要求条件が存在します． そこで，・・・を組み合わせて活用することで，これらの要求を達成するシステムを提案します．
- こちらが我々が提案するシステムの概要図です． 今回は，システムの想定環境を踏切と設定し，この概要図について解説します．
- 我々が提案するシステムにおいては，まず，踏切などの監視エリアがあります． 監視エリアには，カメラを含むセンサを複数設置します． そして，センサ，かめら端末から物理的に近い位置，たとえば近くの通信基地局などに計算資源を配置し，これをエッジサーバーと呼びます． また，システムの情報を利用するエンドユーザ，たとえば駅，監視エリア近くに接近している電車などが存在します． 最後に，取得した情報を蓄積するためのクラウドサーバーも設置します．
- センサやカメラから取得したデータは，エッジサーバーに送信され，収集します． データを受け取ったエッジサーバーでは，・・・の３つの処理を行い，センサには制御メッセージを送信します．
- エッジサーバーにて処理を行い，イベントの検知を行った後に，検知したイベント，動画をエンドユーザーに配信します． ここで，エッジサーバーとエンドユーザーの距離が近いため，低遅延で通信を行うことができます．
- また，エッジサーバーで収集したデータは，クラウドサーバーにアップロードします． この際に，イベント情報を利用して，データ量を削減することで，システムが生成するトラフィック量を削減します．
- 以上が我々の提案するシステムの概要です．
- これをもとに，今回我々は提案システムのプロトタイプを作成しました．プロトタイプでは，監視対象エリアを・・・
- 今回，プロトタイプでは，３つのセンサを利用しました．．．．です．これらのセンサの概要と用途について説明したいと思います．
- まず，レーザースキャナです．レーザースキャナとは，・・・・を行うセンサです． 今回我々は，背景差分手法という手法を用いて，人物検知，追跡を行います．
- 次に，赤外線測距センサです． このセンサは，・・・を計測します．レーザー・・・・使用します・ 今回は，・・・を行います．
- 最後に，Webカメラです．Webカメラでは，接続しているＰＣにて，動画像による人物検知を行います． 人物検知の手法として，・・・を利用します・
- これらのセンサを，次のようにネットワークに配置し，通信と処理を行います．
- そして，今回のプロトタイプでは，先ほど申しましたように踏切を想定し，表１のように３つの危険度からなるイベントを定義しました． 今回のイベント定義では，対象を踏切内を通過する歩行者と設定し，歩行者の状態，踏切内にいないか，歩いているか，停止しているかで危険度を分けました．
- イベントを定義した上で，システムが使用する動画の品質を決定する必要があります． システムの動画品質を決定する動画像圧縮レートですが，・・・とならなければなりません． よって，式（１）のようにレートを選択します． R low, middle, highはそれぞれ対応する危険度の動画品質です． これらと，エッジサーバーセンサー間の帯域，エッジサーバークラウド間の帯域のうち，もっとも小さいものを選択します．
- 以上のプロトタイプを評価するために，研究室内に・・・ この評価実験では，・・・を判定し，・・・・しました． そして，システムが生成するデータサイズについて評価しました．
- こちらが今回の実験環境です． 研究室内に前述したセンサを設置し，情報を取得しました．
- また，表２のように５つの実験シナリオについて実験を行いました． 各シナリオにおいて，監視エリア内を通過する歩行者の数，歩行者が監視エリア内で停止するかどうかを変更させて実験を行いました． 取得した動画像をイベント検知した後，表３に示す動画像圧縮レートの組み合わせで動画像を圧縮しました． 表３についてですが，まず一つ目に，レート制御を行わない場合，次に，危険度が低い場合のみ低画質にする場合，最後に，３つの危険度に応じてレートを制御する場合に分けました．
- 以上をもとに，実験を行いました． この発表では，シナリオ４，歩行者の数が二人で，一人が停止，一人が通過するシナリオについて結果を示します． こちらが今回の実験の様子です． 右側がレート制御を行わなかった場合，左側が行った場合です． それぞれ，上側が秒毎のデータサイズ，下が実際の動画となっています． エリア内で歩行者が停止している間は高画質，通過している間は中画質，存在しない場合は低画質になっていることがわかります．
- 次に，１秒毎のデータサイズおよび検知された危険度の推移のグラフを示します．
- 最後に，動画像圧縮レートの組み合わせ間の，シナリオ全体におけるデータサイズの比較について示します． グラフより，レート制御を行うことでデータサイズの圧縮に成功していることが分かります． 今回の実験では，グラウンドtruthと比較してセンサを活用したときの方が圧縮率が下がってしまっていますが，これは先ほど申しましたように センサによる検知ミスが発生しているため，本来高画質で圧縮するべき所を違う品質で圧縮してしまっているためです．
- 最後に，まとめと今後の課題を話します． この発表では，・・・を提案し，そして・・・を用いてプロトタイプを実装しました． このシステムでは，・・・させることで，・・・に成功しました．
- 今後の課題ですが， まず，
- 以上で発表を終わります．なにか質問はありますか