1. http://hasc.jp
HASC Challengeの現状と将来展望
河口 信夫
HASC Challenge2012
実行委員長
名古屋大学

2. はじめに
ありがとうございます。
• おかげさまで、HASC Challenge も
2010, 2011, 2012 と3回行うことができまし
た！
• この間、データ処理方法のノウハウ、
ツールの改良、
データの蓄積、

3. 背景
• 人間行動の理解に基づくサービスの実現
– 情報システムの究極の目標
• 人と情報システムの高度な協調作業の
実現には、まず、人の行動理解が重要
• 行動理解・認識には幅広い応用可能性
– 医療、健康、見守り、高度インタフェース

4. 行動センシング・行動理解技術と
は
加速度・角速度・地磁気・ＧＰＳなど 装着・携帯型のセンサデバイス
センサ信号
センサデバイスを
を取得 携帯しながら活動
行動コーパス
機械学習等 応用分野
特徴量 勤怠管理
に基づく
抽出 行動モデル
ナビゲーション
認識
アルゴリズム
機器・環境の制御
行動認識・行動理解 異常検知 ライフログ
健康増進

5. 人間行動センシングに関する現
状
• 様々な研究機関で 加速度センサ等を
用いた多数の応用研究が実施されている
• 現時点では、特定目的、小規模な
研究が個別になされている
• 体系的な研究なくしては、人間行動理解
の
認識は難しいのでは？
(2009年時点の課題）

6. 行動センシングの研究動向
・Context Awareness by Analysing Accelerometer Data,
[Cliff Randell, 2000]
歩く、しゃがむなどを、
加速度値の各軸のRMS
からクラスタリング
・Activity Recognition from User-Annotated Acceleration Data,
[Ling Bao, Pervasive 2004]
走る, 歯を磨く, ストレッチをするなど
重力方向の検知,
上下運動の振幅値の変化量,
平均, 零点交差数などを利用

7. ・Proactive Instructions for Furniture Assembly,
[S. Antifakors, Ubicomp 2002]
家具の組み立て作業をモニタリングし、次の作業をナビゲート
・Activity Recognition using Body Worn Mic and Accelerometers,
[Holger Junker, Pervasive 2004]
工房における道具の使用をモニタリング

8. ・Tracking Free-Weight Exercise [Keng-hao Chang, Ubicomp 2007]
数種類のダンベル体操の回数をモニタリングし、バランスが良い運動を
支援
時系列パターンを窓ごとの特徴量(周波数成分, 平均, 分散, 各軸の差分値な
ど)から, HMMを使ってパターンマッチング

9. 識別対象数 被験者・サンプル数
Activity Recognition using
Body Worn Mic and
Accelerometers
10 各 10 サンプル
Activity Recognition from
User-Annotated Acceleration Data
20 被験者２０人
82～160min
Tracking Free-Weight Exercise
被験者１０人
9 162.5 min
4925 times

10. 実用化された技術はシンプルなも
の
単純なセンシング・情報処理技術では
• 歩数
• 睡眠の状況
• 活動量（カロリーの推定）
程度が実現できているのみ。
スマートホンの登場により、多様なセンサを
使い
より高度な認識技術の実現が期待できる

11. 実学に向けての試練
• 研究室環境での実現可能性は示した
(Lab. Feasibility)
大きな壁・ギャップ
• 実環境・大規模実ユーザではどうか？
この壁を超えなければ、実用化は困難
→ 音声認識、画像処理は超えてきた

12. 人間が行う情報処理
• 音声信号処理
• 画像処理
• 言語処理
• 行動情報処理
コーパス、アルゴリズム、ツールキットが重要

13. 人間情報処理の共通点
音声 画像 言語 行動
PASL-DSR,UT-
Face, Walker, TV, Japanese Spoken
ML,ATR,TMW,R
コーパス WCP,PASD,CIAI
ＴＲＥC.ＰＡＳＣ Language Corpus/ ???
ＡＬ，Text KOTONOHA
R-DB
Morphological
Face Recognition
Analysis/ 信号処理と
アルゴリズム HMM/DP Optical Flow
Comp/Decomp
Dependency 同じ
Analysis / N-Gram
HTK (HMM
ツールキット ToolKit) / Julius
OpenCV / mist Chasen/Cabocha ???
UbiComp / AH/
ICASSP・
NAACL/ ACL / Pervasive /
国際会議 InterSpeech ICCV / ICPR
COLING Percom / INSS /
ISWC

14. 人間情報処理の共通点
音声 画像 言語 行動
PASL-DSR,UT-
Face, Walker, TV, Japanese Spoken
ML,ATR,TMW,R
コーパス WCP,PASD,CIAI
ＴＲＥC.ＰＡＳＣ Language Corpus/ HASC
ＡＬ，Text KOTONOHA
R-DB
Morphological
Face Recognition 信号処理と
Analysis/
アルゴリズム HMM/DP Optical Flow
Dependency
同じ+
Comp/Decomp
Analysis / N-Gram HASC成果
HTK (HMM
ツールキット ToolKit) / Julius
OpenCV / mist Chasen/Cabocha HASC Tool
UbiComp / AH/
ICASSP・
NAACL/ ACL / Pervasive /
国際会議 InterSpeech ICCV / ICPR
COLING Percom / INSS /
ISWC
行動処理を“音声処理”・“画像処理”に継ぐ研究分野に！

15. そもそも人間の行動とは？
• 手・足・頭・体を個々に動かす行動
– 行動素（もっともシンプルな行動）
• 立つ、座る、寝転ぶ、振り向く、手作業の
移動を伴わない行動等
• 歩く、走る、階段の上下、などの移動を伴う行
動
• エレベータ、エスカレータ、車、電車、自転車
などの乗車行動
• 体操、ダンス、などの一連の行動系列
• 通勤、散歩、特定の場所への移動、など、
一連の移動系列
• 長期間の行動の変化
– リハビリ、怪我、老化など

16. 言語と行動は似ている？
• 音素／文字 行動素
• 単語 行動（単純な）
• 文 行動系列（歩行や階段
程度）
• 文章 移動系列
音声認識や言語処理の枠組みの活用可能性

17. データベースの重要性
• 認識アルゴリズムの基礎は学習データ
• 大規模な学習データが認識技術を進展
– 音声や言語処理では常識
• 人間・実環境の多様性を知ることが重要

18. ２００９年７月９日
DICOMO2009
• ２日目：セッション 6G
– 複数の行動センシングの研究発表
– 問題意識の共有 → ナイトセッションで発表

19. 人間行動センシング
コンソーシアム
http://hasc.jp
目的 ・装着型センサを用いた
人間行動センシング技術の開
発・普及
・加速度センサによる人間行動の
大規模データベースの構築
（大学関係者40名、企業関係者30名の
活動 2009年10月7日 第１回HASCシンポジウム
賛同） 2010年3月 情報処理学会大会 パネル
2010年12月 HASC Challenge シンポ
2011年 HASC Tutorial 開催(名古屋,東京,大阪）
2012年1月 HASC Chellengeシンポ
2012年 HASC Tutorial 開催(名古屋,神戸, 九州,東

20. データベースを集める前に
• どのようなセンサ？
– センサの種別の決定が重要
– 異なるセンサでも同じデータが取れるのか？
• どこに何個、どんなふうに計測？
– 汎用的なデータ？ 特定目的のデータ？
– 実環境？サンプリングレートは？
• どんな解析が可能？
– センサデータ処理の基盤技術が必要
ターゲットを定めるのが困難

21. データ収集技術チャレンジの提
案
• データ収集とアルゴリズム検討のための
技術チャレンジ
• 互いにデータ、アルゴリズムを持ち寄っ
て
互いに評価、情報共有
目的
• データ収集・管理・利用の経験収集
• センサ種別やセンサ利用の方法論検討
• ツールの開発、共有
• 行動情報処理の研究者人口の増大
• イベント、締切り効果によるHASCの進捗

22. HASC Challenge (HC201X)
DICOMO2010にてアナウンス！
• HC201X はコンテストとせず、技術チャレン
ジ
• 今回は加速度センサ １式のみを対象
• 対象とする行動は以下の６種類
「静止」「歩く」「ジョギング」「階段登る」「降り
る」「スキップ」
• 参加者は、自分でデータ収集、ラベル付け
を
HC201Xcorpus
行い、その情報も提供
1データセットの提供で全データ獲得

23. 他の分野でも
• 音声情報処理分野
– 複数の拠点が集まってデータベース収集
– 雑音環境下の認識技術に関するコンテスト
（AURORA-2J)
• 画像処理分野
– PRMU アルゴリズム・コンテスト
• すでに１４回のコンテスト
コンテスト等によりデータ収集
研究分野の底上げが実現

24. HASC 標準ファイル形式
• 加速度センサ 生データ形式 ( .csv )
[時刻(sec)], [X軸(g)], [Y軸(g)], [Z軸(g)]
サンプリングレート 10Hz ～ 100Hz
• ラベル 形式 ( .label )
“#”で始まる行は、情報行
“#targetfile: XXXX.csv” は、ラベル対象データファ
イル
“#version: 1”
[開始時刻(sec)] , [終了時刻(sec)], [ラベルテキスト]
• メタデータ形式 ( .xml )
仕様センサ種別、センサデバイス情報(OS等)、
サンプリングレート、センサ取り付け位置

25. 参加者に提供していただいたデータ
各参加者は 5人の被験者情報の提供が必要
• 学習用データ
– 各行動に対し 20秒以上.
– 各被験者に対し 5 セット以上.
• シーケンスデータ
– 120秒 以上の連続行動のデータ
(HC2011 は 300秒)
– 各行動は５秒以上継続すべき.
(HC2011 は 10秒)
– 各行動のラベル付けを行う.
• 被験者１人あたり31ファイル
（6 行動 x 5 セット
+ 1 シーケンス + 1 ラベル）
x 5 被験者 = 155ファイル
(HC2011 は、センサが多様化で
ファイル数も増大）

26. HASC2010corpus
性別 被験者数 ファイル数
男性 89 4032
女性 12 341
不明 439 2418
合計 540 6791
データサイズ （*.meta 含む）
1,012,961,280 バイト
（ 966MByte）
ファイル 13527, フォルダ 1340
24 チーム＋運営側の努力の成果

27. 性別 被験者数 ファイル数
男性 102 4464
女性 14 434
合計 116 4898
HASC 2010コーパスのデータの不揃いな点を整備
（一部、削減、20人分のデータを追加）

28. HASC2011corpus を用いたユーザ独立の認識実
験
８特徴量：平均・分散・４ＦＦＴ・ゼロ点交差・加速度の積分
被験者数: 87 （116名中で腰装着者の
み）

29. HASC Challenge2011
（2011年8月～2011年11月）
• テーマは国際化と実世界化
参加者は HASC2010corpus が利用可能！
• 基礎データは同じ（6行動＋１シーケン
ス）
• 新しいデータ収集
– ランドマーク間行動（Real World Activity
Data）
• 最寄りの駅から職場・学校・店舗等までの連続行
動
より実環境に近いデータを収集
• 3分～10分程度

30. HASC Challenge 2011 成果
• 登録チーム 29 (重複含む)
• データ提供チーム １９
収集データ
総ファイル数：7,668
総被験者数（名）：141

31. 2種類のデータ
• 統制環境データ（被験者：96, セッション数:
4495）
– 6種類の行動(5segmentedx6 + 1sequence)
「静止」「歩く」「ジョギング」「階段登る」「降り
る」「スキップ」
• 実環境データ（被験者:40, セッション数：
40)
– ランドマーク間の移動行動
例：地下鉄駅から職場

32. 種別 被験者数 センサ種別 ファイル数
加速度 4495
96
統制 角速度 2521
男性 85
環境 GPS 240
女性 11
地磁気 310
加速度 40
40
角速度 30
実環境 男性 34
GPS 27
女性 6
地磁気 5
合計 136 7668

33. HASC Challenge と
HASC corpus の関係
HC2010 HC2011 HC2012
HASC2010 HASC2012 HASC2013
corpus corpus corpus
20人
データ
HASC2011
corpus

34. 実環境データの例
加速度＋ラベル
GPS
角速度
地磁気

35. -0.007
-0.007 -…
-0.005 x 10000
-0.005 -… x 10000
-0.003 x 10000
1
2
3
0
0.5
1.5
2.5
3.5
-0.003 -…
-0.001
10
12
14
16
18
20
0
2
4
6
8
0
1
2
3
5
6
4
-0.001 -…
0.001
0.001 0.001
0.003
0.003 0.003
0.005
0.005 0.005
0.007
0.007 0.007
0.009
0.009 0.009
0.011
0.013 0.011 0.011
0.015 0.013 0.013
0.017 0.015 0.015
0.019 0.017 0.017
0.021 0.019 0.019
0.023 0.021 0.021
0.025 0.023 0.023
0.027 0.025 0.025
0.029 0.027 0.027
0.031 0.029 0.029
0.033 0.031 0.031
0.035 0.033 0.033
0.037 0.035 0.035
0.039 0.037 0.037
HTC
0.041 0.039 0.039
SHARP
0.043 0.041 0.041
Samsung
0.045 0.043 0.043
0.047 0.045 0.045
0.049 0.047 0.047
0.051 0.049 0.049
0.051
秒
0.051
秒
秒
-0.007 -0.007
100
150
200
250
300
50
0
50
100
150
200
250
300
0
-0.003 x 10000 -0.003 x 10000
タ）
0.001 0.001
0.005 0.005
0.009 0.009
0.013 0.013
0.017 0.017
0.021 0.021
0.025 0.025
複数センサの性質
iPHONE
0.029 0.029
0.033 0.033
iPODtouch
HASC2012corpusでわかること
0.037 0.037
0.041
0.041
0.045
0.045
0.049
0.049
秒
（サンプリングレートのジッ
秒

36. ランドマーク間移動 経路デー
タ
• 途中の行動は手でラベルづけされている.
– 歩き、階段上下、エスカレータ、エレベータなど
• このデータをどのように活用できるか？
– 位置・経路が既知な行動データ
– 経路間の類似性の計算が可能
– すなわち、既知の経路と比較すれば、
経路推定が可能に.

37. 経路推定の方法
Activity Sequence of Subject A
Activity Sequence of Subject B
• 同じ経路を通った被験者A, B の行動系列は
似たものになる．
• 経路間の距離を比較すれば良い。

38. 検証実験
20 経路 Activity 20 ラベル情報
Recognizer (認識結果)
(４種類の行動を推定する)
ラベル間の
ラベル情報.
DP マッチン
(人手による) グ
マッチング結果
（経路の類似
性）
• 今回のデータには、同じ経路が尐ないため、
手のラベル付けと自動ラベリングを比較

39. 行動経路のDP マッチング
DP マッチング
- 移動コスト = 10, 距離コスト = 5
- 差分コスト = 認識率に比例.

40. ラベル間のＤＰマッチングの結
果
Cumulative Ranks Rank 1 Rank 1~3 Rank 1~5
Percentage 60% 90% 95%
• ＤＰマッチングにより, 90% の経路が ３位以内になった。
• すなわち、既知の経路20種に対し、60～90％の精度で
加速度センサだけで経路推定が可能になることを示している
• 加速度センサによる経路推定の実現可能性を示した。
• 実験の前提条件などを変更し、より詳細な実験が必要。

41. 経路マッチングにおける課題
ラベルなし 手でラベルづけされた加速度データ ラベルなし
自動認識によるラベルデータ
加速度センサデータを正確にラベル付けするのは困難

42. 追加実験
• 5人の被験者により３経路のデータを収集
• ラベル付けはすべて自動認識で
• 行動データだけで、どこまで経路推定が
可能かを確認

43. DPマッチングによる結果
認識結果間のラベル間のＤＰマッチング距離
被験者A-E
経路 1-3
同じ経路間で、距離が近くなることを確認
非対称になっているのは、コストが不均等なた
め

44. HASC Challenge2012
（2012年9月～2012年12月）
• テーマは継続
参加者は HASC2012corpus が利用可能！
• 収集センサ種別数が拡大
• 基礎データは同じ（6行動＋１シーケン
ス）
• ランドマーク間行動（Real World Activity
Data）
• 最寄りの駅から職場・学校・店舗等までの連続行
動
チュートリアルを各地
• 3分～10分程度
（名古屋・神戸・九州・東京）で開催
• ラベリングツールを提供
合計 60名近くの参加

45. HASC Challenge 2012 成果
• データ提供チーム １７
収集データ
• 総ファイル数 ：13,607
• 総被験者数 ：114
加速度以外のセンサデータが急増
本成果は HASC2013corpus として整理し、HC2012 参加者に公開。
また、将来的には、hub.hasc.jp 登録者に公開予定です。

46. HASC Challenge の今後
• 大規模データへの要望は確認
– データ提供 → コーパス提供のループを続ける
( HC2013 の開催 ）
• そろそろ leap がしたい
– 真剣に認識手法を改善すべき時期かも
– HMMの導入など
• 基礎的なツール・アルゴリズムの充実が重要
– HASC Tool の使い方を広める
– ドキュメント化

47. HASC バランスデータの収集
• これまでのHASCcorpus は
大学生が中心のコーパス
• 性別、年齢、身長、体重等がバランス
したデータが必要では？
– 実は大変（項目がかけ算で効く）
– 利き腕、利き足などの情報は？
– 年齢なのか、体重なのか、スポーツ経験など
なのか、健康度などもあるのか
– 被験者を集めて行うか。
1年かけて検討中。2013年年始にデータ収集開始予定！

48. HASC歩行者ナビ行動データ
• 屋内の地図＋歩行コース
＋歩行データを収
集
• ペデストリアンナビゲーションの評価用
データとして利用可能に
• データ種別（検討中）
– 複数位置への装着：移動データ
– カバン等による保持データ
– 手で保持データ
ターゲットは歩行者ナビ＋α 新規のデータ

49. 皆さんへの期待
• HASC20XXcorpus はドンドン使ってください
– 疑問点は何でも聞いてください
• どんどん成果を発表、共有していきましょう
– いい成果は、特許化・権利化してもらって結構です
• HASC の活動は、縁の下の力持ち
– 研究の基盤、ベースラインづくり
• HASC に集まって、オリジナルの研究を推進
• もちろん、アプリも実現してもらってＯＫです。
• なお、コーパスにはミスがあり得ますので、
問題があれば、指摘してください。
（リビジョンで更新していきます）

50. HASC Challengeの将来展望
• 行動理解・認識の裾野を広げる活動
– 他のコミュニティとの連携が必要
• 音声、ロボティクス、画像、言語、、、
• 経験、ノウハウ、アルゴリズム、コーパスの
蓄積
– 繰り返しにより、高度化を目指す
– 明確なベンチマークを設定
• 現在は、多様な方向を向いており、発散ぎみ
• 実社会で活用される部品の提供
– スマホで利用可能なアルゴリズム・部品提供
– 音声認識のように、サーバ側での処理も可能

51. HASC Challenge 2013 日程
実行委員長 西尾 信彦（立命館大学）
• 春から開始します！
• GW開けにデータ提出締切
– 1次データ締切 5月25日(土)
• シンポジウム 10月21日（月）
関西で開催予定

52. まとめ
• HASC Challenge2012 を開催
• 大規模行動データの収集を継続
– HC2010, HC2011と同等の規模の収集に成功
• 共通ツール HASC Tool の高度化
• 詳細分析はまだまだ可能
– 大規模データを縦横無尽に解析する
ツール・ノウハウがまだまだ必要
Google Group の ML に
ぜひ、ご参加ください！
http://hasc.jp HC2013の実行委員も募集中！