Contenu connexe Similaire à 位置合わせや(屋内)測位に関する国際コンペと標準化 (20) Plus de Kurata Takeshi (20) 2. (14.12.23)
ウェアラブルAR (2000〜)
[産総研初期/UW留学/⽇仏連携]
サービス⼯学(2008~)/スマートワーク (2015〜)
スマートフォンPDRデモ
(2010) (世界初)
PDR進⾏⽅向推定 [PLANS14]
(仏IFSTTARの⽐較評価で最⾼性能)
SfM, VSLAM (~2000)[筑波⼤・電総研]
本講演に関係する
これまでの活動経緯
2
逐次型因⼦分解法
[CVPR00]
vSRT+PDR (世界初)
[ISMAR03] (引⽤数上位)
WACL (Wearable Active
Camera with Laser Pointer)
[ISWC04] (査読最⾼スコア)
屋内測位 (2001〜)
[産総研/企業共同研究/スタートアップ]
製造業クロスアポ出向[住友電⼯] (2018〜19)
ハンドヘルドARでのポインティング
[Interact13] (Honorary Mention)
屋内測位の現場適⽤
[⽇本VR学会論⽂誌11] 論⽂賞
屋内測位に基づく改善⽀援
[ICServ13] ベストペーパー
国際コンペ・標準化 (2010〜)
*xDRベンチマーキング
PDRベンチマーク標準化委員会
(2014-)
xDR Challenge (2015-)
*vSRTベンチマーキング
TrakMark (2010-)
ISO/IEC SC 24委員 (2012-)
[ISO/IEC 18520:2019]
(国際規格開発賞)
理事⻑賞
(2016)
3. XR・⼈間拡張とスマートワーク: Operator 4.0
3
Romero D., Stahre J., Wuest T., Noran O., Bernus P., Fast-Berglund Å., Gorecky D., Towards an Operator 4.0 Typology: A Human-
Centric Perspective on the Fourth Industrial Revolution Technologies. CIE46, pp. 1-11, (2016)
Romero, D., Bernus, P., Noran, O., Stahre, J., Fast-Berglund, Å., The Operator 4.0: Human cyber-physical systems & adaptive
automation towards human-automation symbiosis work systems. In: APMS, (2016)
7. 平面を対象とした
ベンチマークデータセット (metaio)
Leberknecht, S. and Benhimane, S. and Meier, P. and Navab, N., “A
Dataset and Evaluation Methodology for Template-based Tracking
Algorithms”, ISMAR 2009
http://www.metaio.com/research/a-dataset-and-evaluation-methodology-for-
template-based-tracking-algorithms/
7
10. 物差しは⼤切 [制度設計/規制ビジネス]︓
誤差評価
• ⾃然特徴点の再投影誤差（Re-projection error）
– CVでよく⽤いられる評価指標
– 特徴点の近くにない（外挿的な位置の）仮想物体の投影誤差がわか
らない
• 仮想点（物体）の投影誤差（PEVO: Projection Error of a
Virtual Object）
– 機械学習で⾔えば、再投影誤差は訓練データでの検証、PEVO (も
しくは3D PEVO)はテストデータでの検証のようなもの︖︕
推定したカメラパラメータ
における投影⾯
真値のカメラパラメータ
における投影⾯
仮想点
10
PEVO
12. ISO/IEC 18520
12
評価指標
＋
ベンチマーキング
工程
試行セット
(データセット)
＋
規格適合
＋
Ichikari, Ryosuke and Kurata, Takeshi and Makita, Koji and Taketomi, Takafumi and Uchiyama, Hideaki and Kondo, Tomotsugu
and Mori, Shohei and Shibata, Fumihisa, Reference Framework on vSRT-method Benchmarking for MAR, ICAT-EGVE (2017).
14. 評価指標
14
PEVO: Projection error of virtual objects, which is the most direct and intuitive
indicator for vSRT methods for MAR
vSRT: Vision-based spatial registration and tracking
ISMAR 2015 Tracking competition
25. PDRベンチマーク
標準化委員会
25
• 加⼊組織 (43組織)(2019.9.13現在)
– 旭化成(株)、アジア航測(株)[南]、(株)インテック、NECネッツエス
アイ(株)、(株)MTI、(株)KDDI総合研究所、国際航業(株)、澁⾕⼯業
(株)、クウジット(株)、(株)GOV、サイトセンシング(株)、シャープ
(株)、杉原SEI(株)、住友電気⼯業(株)、(株)ゼンリンデータコム、
(株)電通国際情報サービス、トーヨーカネツ(株)、 ⽇本IBM(株)、
(株)⽇⽴製作所、ビッグローブ(株)、富⼠通(株)、(株)フレームワー
クス[渡辺]、マルティスープ(株)、(同)ミルディア、(株)村⽥製作所、
(株)メガチップス、(株)リクルート[⽜⽥]、(株)リコー、レイ・フロ
ンティア(株)
– 愛知⼯業⼤学[梶]、学習院⼤[中澤]、神奈川⼯⼤[⽥中]、慶⼤[春⼭、
神武、中島]、九⼤[島⽥、内⼭]、筑波⼤[善甫、蔵⽥]、名⼤[河⼝]、
奈良先端科学技術⼤[新井]、 北陸先端科学技術⼤[岡⽥]、新潟⼤[牧
野]、⽴命館⼤[⻄尾、村尾]、 産総研、HASC、Lisra
(敬称略、順不同)
• 歴代委員⻑︓
– 2014/5-2018/4 蔵⽥武志（産業技術総合研究所）
– 2018/5- 河⼝信夫（名古屋⼤学）
最初から産業界と連携
26. 評価指標に関する検討項⽬例
26
センサー内部要因 • センサのオフセット・感度
センサー外部要因
• ⼈的要因︓保持・装着状態，歩⾏者特性，歩⾏以
外の動作の種類や量，位置情報を⾒ながら歩くか
（フィードバックループができているか）
• 環境要因︓ルート形状、⻑さ、歩⾏可能エリアの
形状、磁場、気圧、温度等の環境
初期条件，計測条件
• 初期⽅位設定
• センサー校正
• 個⼈ごとのパラメーター設置
• 連続計測時間
評価の視座
• PDR単体でどこまでできるのかの評価
• ハイブリッド測位に組み込む際のPDRの扱いやす
さの評価
30. 最終結果
Error Avg.
[m]
Error SD.
Team Freshers
12.96 9.21
TUT USL
13.06 7.78
No PDR, No future.
3.49 1.69
Kohei Kanagu
10.67 6.53
Team UCLAB
(unofficial)
46.93 9.37
(evaluation by 231 traces)
31. データ収集結果
• 経路種類 ︓ 5
• 端末種類 ︓ 4
• 被験者数 ︓ 105 90
• 歩⾏データ ︓ 343 229
• データサイズ︓ 660MByte
• LIDAR データ︓ 2.5Gbyte
• PDR Challenge CorpusとしてUbicomp2016で
公開
特徴︓オンサイトコンペでデータ収集︕
32. 32
これまでの屋内測位コンペ
PerfLoc by NIST EvAAL/IPIN Competitions
Microsoft
Competition@IPSN
コンペのシナリオ
約30 シナリオ
(主に緊急時対応シナリオ)
スマートハウス/
アシストリビングシナリオ
最⼤精度を競う
（現実的シナリオなし)
含まれる歩⾏動作
歩⾏/⾛⾏/後退/横歩き/ ほ
ふく前進/カート/エレベータ
(決まれらえたルート・CP
上を主催側の⼈間が計測)
歩⾏/階段/電話動作/横歩き
等(決まれらえたルート・CP
上を主催側の⼈間が計測)
操作者次第 (競技者⾃⾝が
操作できる）
コンペの種類(オンサ
イトorオフサイト)
オフサイトコンペと上位者
のオンサイト評価
個別のオンサイトとオフサ
イトコンペ部⾨
オンサイト
コンペ対象の⼿法
腕にスマホを装着して計測
(IMU, WiFi, GPS, Cellular)
オフサイト: スマホベース
オンサイト : スマホベース
/ その他のデバイス許可(別部
⾨)
2D:インフラに頼らない⼿
法 3D:インフラ設置も許可
テストデータの量
1 ⼈× 4 デバイス
× 30 シナリオ
開催年度と部⾨による
(例 9データ, 2016T3)
N/A
テストデータ
時間⻑
合計16 時間
開催年度と部⾨による
(例 15分 (2016T1,T2), 2
時間(2016T3))
N/A
評価⼿法
SE95 (3次元95パーセン
タイル誤差)
CE75 (2次元75パーセンタ
イル誤差）
平均誤差
歴史/備考(PDR
Challenge関係)
1回 (2017-2018)
8 回(2011,2012,2013,
(EvAAL),2014,2015(+ETRI
), 2016, 2017, 2018
(EvAAL/IPIN))
5回
(2014,2015,2016,2017,
2018)
これまでのコンペでは産業界シナリオでの実⽤性能を測るのは困難
CE: Circular Error, SE: Spherical Error
33. 33
これまでの xDR Challengesシリーズのコンペ
Ubicomp/ISWC 2015 PDR
Challenge
PDR Challenge in Warehouse
Picking in IPIN 2017
xDR Challenge for
Warehouse Operations
2018
Scenario 歩⾏者ナビゲーション
物流倉庫内のピッキング作業
(特定の産業シナリオ)
ピッキングやフォークリフト
運転などの物流倉庫作業
Walking
/motion
スマートフォンを持ち，画⾯
を⾒ながらの連続歩⾏
歩⾏だけでなくピッキング業務
に纏わる様々な動作を含む
歩⾏だけでなく物流倉庫にお
けるピッキング，フォークリ
フト運転業務中の様々な動作
を含む
On-site or
off-site
データ計測: オンサイト
評価: オフサイト
オフサイト オフサイト
コンペ対
象の⼿法
PDR＋MAP PDR+BLE+MAP+WMS PDR/VDR+BLE+MAP+WMS
Number
of people
and trial
90⼈, 229 試⾏ 8 ⼈, 8 試⾏
34 ⼈+ フォークリフト6台,
170 試⾏(PDR) +
30 試⾏ (VDR)
Time
per trial
数分 約3時間 約8 時間
Evaluation
metric
平均誤差, 誤差標準偏差
統合誤差評価
(測位精度, 軌跡の⾃然さ, 物流
倉庫特有の評価の項⽬)
統合誤差評価
(測位精度, 軌跡の⾃然さ, 物
流倉庫特有の評価の項⽬)
Remark
学会参加者がデータ計測の
被験者として貢献. 得られた
データは HASCコーパスとし
て公開 (http://hub.hasc.jp/)
PDRだけでなく，BLEやWMS，
MAPを⽤いた統合測位を⽤いて，
物流倉庫での実⽤性能を競う
PDR部⾨とVDR部⾨の2部⾨
構成，物流倉庫の典型的動作
を紹介する動作をMoCapで計
測してCG動画で紹介
35. BUP (BLE Unreachable Period)による誤差蓄積の評価
• PDRによる誤差累積を評価するために，BLE信号を部分的に
意図的に削除
• 正解値情報をBUPの前後に提供
• BUP内外でCE(絶対誤差)を評価（CE i/o BUP）
BUP (CE in/outside BUP)の導⼊により
BLE（絶対測位⼿段）への依存傾向等がわかる
表︓BUP内外の誤差と誤差累積スピードの⽐較
CE: Circular Error
EAG: Error Accumulation Gradient
35
36. xDR Challenge in Industrial Scenarios 2019
• PDR Challengeシリーズの後継コンペをIPIN2019
＠ピサ(イタリア)の正式コンペ部⾨として開催（Track5）
• 公開されたセンサデータをもとに推定した軌跡を提出
⇒オフサイト形式のコンペ
• 物流倉庫を卒業して，外⾷，製造現場を対象に
• 屋内測位と親和性の⾼い⾏動認識の部⾨も開催
• 結果発表︓9/30-10/3
39. 賞品・賞⾦
• スポンサーのご協⼒により，賞⾦・賞品を授与
• 製造業トラック
– １位︓15万+BL-02P or 10万+BL-02P+TECCO+PulsarGum
– ２位︓10万+BL-02P
• 外⾷トラック
– １位︓15万+BL-02P or 10万+BL-02P+PDRmini+PulsarGum
– ２位︓10万+BL-02P
• 賞品
TECCO (GOV)
BL02P(BIGLOBE) PDR mini (杉原SEI)
PulsarGum(富⼠通)
![(14.12.23)
ウェアラブルAR (2000〜)
[産総研初期/UW留学/⽇仏連携]
サービス⼯学(2008~)/スマートワーク (2015〜)
スマートフォンPDRデモ
(2010) (世界初)
PDR進⾏⽅向推定 [PLANS14]
(仏IFSTTARの⽐較評価で最⾼性能)
SfM, VSLAM (~2000)[筑波⼤・電総研]
本講演に関係する
これまでの活動経緯
2
逐次型因⼦分解法
[CVPR00]
vSRT+PDR (世界初)
[ISMAR03] (引⽤数上位)
WACL (Wearable Active
Camera with Laser Pointer)
[ISWC04] (査読最⾼スコア)
屋内測位 (2001〜)
[産総研/企業共同研究/スタートアップ]
製造業クロスアポ出向[住友電⼯] (2018〜19)
ハンドヘルドARでのポインティング
[Interact13] (Honorary Mention)
屋内測位の現場適⽤
[⽇本VR学会論⽂誌11] 論⽂賞
屋内測位に基づく改善⽀援
[ICServ13] ベストペーパー
国際コンペ・標準化 (2010〜)
*xDRベンチマーキング
PDRベンチマーク標準化委員会
(2014-)
xDR Challenge (2015-)
*vSRTベンチマーキング
TrakMark (2010-)
ISO/IEC SC 24委員 (2012-)
[ISO/IEC 18520:2019]
(国際規格開発賞)
理事⻑賞
(2016)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)