ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識

sugiuralab
sugiuralab
••
Technologie

センシングフォーラム

ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識

••
sugiuralab
sugiuralab
Technologie

センシングフォーラム

ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識

1  sur  1
ヒアラブルデバイスにおける 音漏れ信号を用いた空中ジェスチャ認識 鈴木 俊汰１，雨坂 宇宙１ ，杉浦 裕太１ ，渡邉 拓貴２ １慶應義塾大学，２北海道大学 01 02 実装 ハードウェア ・Apple Earpods[1]に，外部マイクを実装 ・超音波信号を安定して録音 ・ヒアラブルデバイスの普及 ・操作にはスマートフォンのタッチやデバイスのタッチが必要 ・ユーザビリティの低下 ・タッチによる物理的負担 背景 アプローチ 04 結果 ・8状態の精度：81.2% ・7ジェスチャの精度：78.5% ・複数人での調査 ・データ拡張の採用 ・画像引き延ばし 1.0倍 1.1倍 ・ドップラーシフトの大きさの差異を吸収するデータ拡張 ・カラーバーの調整 ・最適なスペクトログラム表示の探索 問い合わせ先 info-lcl-group@keio.jp 経緯 ・市販のヒアラブルデバイスから20kHzの超音波信号を再生し， その音漏れ信号を録音 ・空中ジェスチャを行う手に音漏れ信号が反射し，ドップラー効果 が発生 ・ジェスチャによってドップラー効果に差異が発生し，機械学習 モデルを用いて認識 03 ジェスチャとスペクトログラム 赤：録音，青：20kHz信号の再生 解析 ・20kHz信号のバンドストップフィルタ ・フーリエ解析によるスペクトログラム画像生成 実験と検証 ・被験者1人に7つのジェスチャ＋ニュートラルの 計8状態を各20回取得 ・20分割交差検証を実施 ・Trainは16回分，Valは3回分，Testは1回分 05 今後の展望

Recommandé

TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors par
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective SensorsTouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensorssugiuralab
24 vues•15 diapositives
Seeing the Wind: An Interactive Mist Interface for Airflow Input par
Seeing the Wind: An Interactive Mist Interface for Airflow InputSeeing the Wind: An Interactive Mist Interface for Airflow Input
Seeing the Wind: An Interactive Mist Interface for Airflow Inputsugiuralab
13 vues•20 diapositives
Identification and Authentication Using Clavicles par
Identification and Authentication Using ClaviclesIdentification and Authentication Using Clavicles
Identification and Authentication Using Claviclessugiuralab
23 vues•28 diapositives
2023年度研究室配属個別説明会 par
2023年度研究室配属個別説明会2023年度研究室配属個別説明会
2023年度研究室配属個別説明会sugiuralab
335 vues•28 diapositives
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors par
Estimation of Violin Bow Pressure Using Photo-Reflective SensorsEstimation of Violin Bow Pressure Using Photo-Reflective Sensors
Estimation of Violin Bow Pressure Using Photo-Reflective Sensorssugiuralab
50 vues•1 diapositive
バウンサーを動かす外付けデバイス par
バウンサーを動かす外付けデバイスバウンサーを動かす外付けデバイス
バウンサーを動かす外付けデバイスsugiuralab
28 vues•1 diapositive

Contenu connexe

Plus de sugiuralab

指側面を入力インタフェース化するリング型デバイス par
指側面を入力インタフェース化するリング型デバイス指側面を入力インタフェース化するリング型デバイス
指側面を入力インタフェース化するリング型デバイスsugiuralab
59 vues•1 diapositive
磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別 par
磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別
磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別sugiuralab
179 vues•1 diapositive
Maintenance-Free Smart Hand Dynamometer.pdf par
Maintenance-Free Smart Hand Dynamometer.pdfMaintenance-Free Smart Hand Dynamometer.pdf
Maintenance-Free Smart Hand Dynamometer.pdfsugiuralab
78 vues•1 diapositive
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers par
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s FeathersAugmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Featherssugiuralab
73 vues•10 diapositives
指腹開放型入力デバイス における文字ジェスチャ識別 par
指腹開放型入力デバイス における文字ジェスチャ識別指腹開放型入力デバイス における文字ジェスチャ識別
指腹開放型入力デバイス における文字ジェスチャ識別sugiuralab
83 vues•1 diapositive
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr... par
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...sugiuralab
85 vues•1 diapositive

Plus de sugiuralab(20)

指側面を入力インタフェース化するリング型デバイス par sugiuralab
指側面を入力インタフェース化するリング型デバイス指側面を入力インタフェース化するリング型デバイス
指側面を入力インタフェース化するリング型デバイス
sugiuralab•59 vues
磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別 par sugiuralab
磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別
磁石内臓イヤリングによる磁力変化を利用したジェスチャ識別
sugiuralab•179 vues
Maintenance-Free Smart Hand Dynamometer.pdf par sugiuralab
Maintenance-Free Smart Hand Dynamometer.pdfMaintenance-Free Smart Hand Dynamometer.pdf
Maintenance-Free Smart Hand Dynamometer.pdf
sugiuralab•78 vues
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers par sugiuralab
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s FeathersAugmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
sugiuralab•73 vues
指腹開放型入力デバイス における文字ジェスチャ識別 par sugiuralab
指腹開放型入力デバイス における文字ジェスチャ識別指腹開放型入力デバイス における文字ジェスチャ識別
指腹開放型入力デバイス における文字ジェスチャ識別
sugiuralab•83 vues
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr... par sugiuralab
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
sugiuralab•85 vues
静電容量の測定による畳のタッチセンサ化手法の提案 par sugiuralab
静電容量の測定による畳のタッチセンサ化手法の提案静電容量の測定による畳のタッチセンサ化手法の提案
静電容量の測定による畳のタッチセンサ化手法の提案
sugiuralab•84 vues
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco... par sugiuralab
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...
sugiuralab•82 vues
反射型光センサを用いた指先のジェスチャ識別 par sugiuralab
反射型光センサを用いた指先のジェスチャ識別反射型光センサを用いた指先のジェスチャ識別
反射型光センサを用いた指先のジェスチャ識別
sugiuralab•79 vues
Masktrap: Designing and Identifying Gestures to Transform Mask Strap into an ... par sugiuralab
Masktrap: Designing and Identifying Gestures to Transform Mask Strap into an ...Masktrap: Designing and Identifying Gestures to Transform Mask Strap into an ...
Masktrap: Designing and Identifying Gestures to Transform Mask Strap into an ...
sugiuralab•210 vues
スマートフォンの座標変化による握力測定手法の提案.pdf par sugiuralab
スマートフォンの座標変化による握力測定手法の提案.pdfスマートフォンの座標変化による握力測定手法の提案.pdf
スマートフォンの座標変化による握力測定手法の提案.pdf
sugiuralab•101 vues
Video Analysis of Hand Gestures for Distinguishing Patients with Carpal Tunne... par sugiuralab
Video Analysis of Hand Gestures for Distinguishing Patients with Carpal Tunne...Video Analysis of Hand Gestures for Distinguishing Patients with Carpal Tunne...
Video Analysis of Hand Gestures for Distinguishing Patients with Carpal Tunne...
sugiuralab•99 vues
超音波動画内の正中神経セグメンテーションと手根管症候群推定推定 par sugiuralab
超音波動画内の正中神経セグメンテーションと手根管症候群推定推定超音波動画内の正中神経セグメンテーションと手根管症候群推定推定
超音波動画内の正中神経セグメンテーションと手根管症候群推定推定
sugiuralab•338 vues
反射型光センサを用いた指の皮膚変形と姿勢の計測による接触力推定の精度評価 par sugiuralab
反射型光センサを用いた指の皮膚変形と姿勢の計測による接触力推定の精度評価反射型光センサを用いた指の皮膚変形と姿勢の計測による接触力推定の精度評価
反射型光センサを用いた指の皮膚変形と姿勢の計測による接触力推定の精度評価
sugiuralab•162 vues
衣服を引っ張る触覚を用いた小型デバイスによる姿勢誘導システム par sugiuralab
衣服を引っ張る触覚を用いた小型デバイスによる姿勢誘導システム衣服を引っ張る触覚を用いた小型デバイスによる姿勢誘導システム
衣服を引っ張る触覚を用いた小型デバイスによる姿勢誘導システム
sugiuralab•70 vues
鎖骨の音響特性を利用した個人識別・認証システム par sugiuralab
鎖骨の音響特性を利用した個人識別・認証システム鎖骨の音響特性を利用した個人識別・認証システム
鎖骨の音響特性を利用した個人識別・認証システム
sugiuralab•139 vues
マスクの紐をインタフェース化する手法 par sugiuralab
マスクの紐をインタフェース化する手法マスクの紐をインタフェース化する手法
マスクの紐をインタフェース化する手法
sugiuralab•237 vues
VoLearn: A Cross-Modal Operable Motion-Learning System Combined with Virtual ... par sugiuralab
VoLearn: A Cross-Modal Operable Motion-Learning System Combined with Virtual ...VoLearn: A Cross-Modal Operable Motion-Learning System Combined with Virtual ...
VoLearn: A Cross-Modal Operable Motion-Learning System Combined with Virtual ...
sugiuralab•120 vues
Knee Osteoarthritis Classification System Examination on Wearable Daily-Use I... par sugiuralab
Knee Osteoarthritis Classification System Examination on Wearable Daily-Use I...Knee Osteoarthritis Classification System Examination on Wearable Daily-Use I...
Knee Osteoarthritis Classification System Examination on Wearable Daily-Use I...
sugiuralab•336 vues
Demonstration of Multi-image Switchable Visual Displays Using Carpets par sugiuralab
Demonstration of Multi-image Switchable Visual Displays Using CarpetsDemonstration of Multi-image Switchable Visual Displays Using Carpets
Demonstration of Multi-image Switchable Visual Displays Using Carpets
sugiuralab•366 vues

Dernier

PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」 par
PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」PC Cluster Consortium
66 vues•12 diapositives
The Things Stack説明資料 by The Things Industries par
The Things Stack説明資料 by The Things IndustriesThe Things Stack説明資料 by The Things Industries
The Things Stack説明資料 by The Things IndustriesCRI Japan, Inc.
78 vues•29 diapositives
光コラボは契約してはいけない par
光コラボは契約してはいけない光コラボは契約してはいけない
光コラボは契約してはいけないTakuya Matsunaga
27 vues•17 diapositives
Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向 par
Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向
Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向Hitachi, Ltd. OSS Solution Center.
101 vues•26 diapositives
SSH応用編_20231129.pdf par
SSH応用編_20231129.pdfSSH応用編_20231129.pdf
SSH応用編_20231129.pdficebreaker4
405 vues•13 diapositives

Dernier(12)

PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」 par PC Cluster Consortium
PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」
PC Cluster Consortium•66 vues
The Things Stack説明資料 by The Things Industries par CRI Japan, Inc.
The Things Stack説明資料 by The Things IndustriesThe Things Stack説明資料 by The Things Industries
The Things Stack説明資料 by The Things Industries
CRI Japan, Inc.•78 vues
光コラボは契約してはいけない par Takuya Matsunaga
光コラボは契約してはいけない光コラボは契約してはいけない
光コラボは契約してはいけない
Takuya Matsunaga•27 vues
Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向 par Hitachi, Ltd. OSS Solution Center.
Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向
Keycloakの全体像: 基本概念、ユースケース、そして最新の開発動向
Hitachi, Ltd. OSS Solution Center.•101 vues
SSH応用編_20231129.pdf par icebreaker4
SSH応用編_20231129.pdfSSH応用編_20231129.pdf
SSH応用編_20231129.pdf
icebreaker4•405 vues
IPsec VPNとSSL-VPNの違い par 富士通クラウドテクノロジーズ株式会社
IPsec VPNとSSL-VPNの違いIPsec VPNとSSL-VPNの違い
IPsec VPNとSSL-VPNの違い
富士通クラウドテクノロジーズ株式会社•590 vues
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -（PostgreSQL Conference Japan 20... par NTT DATA Technology & Innovation
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -（PostgreSQL Conference Japan 20...今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -（PostgreSQL Conference Japan 20...
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -（PostgreSQL Conference Japan 20...
NTT DATA Technology & Innovation•158 vues
Windows 11 information that can be used at the development site par Atomu Hidaka
Windows 11 information that can be used at the development siteWindows 11 information that can be used at the development site
Windows 11 information that can be used at the development site
Atomu Hidaka•90 vues
速習！ PostgreSQL専用HAソフトウェア: Patroni（PostgreSQL Conference Japan 2023 発表資料） par NTT DATA Technology & Innovation
速習！ PostgreSQL専用HAソフトウェア: Patroni（PostgreSQL Conference Japan 2023 発表資料）速習！ PostgreSQL専用HAソフトウェア: Patroni（PostgreSQL Conference Japan 2023 発表資料）
速習！ PostgreSQL専用HAソフトウェア: Patroni（PostgreSQL Conference Japan 2023 発表資料）
NTT DATA Technology & Innovation•32 vues
PCCC23：東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」 par PC Cluster Consortium
PCCC23：東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」PCCC23：東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PCCC23：東京大学情報基盤センター 「Society5.0の実現を目指す『計算・データ・学習』の融合による革新的スーパーコンピューティング」
PC Cluster Consortium•27 vues
定例会スライド_キャチs 公開用.pdf par Keio Robotics Association
定例会スライド_キャチs 公開用.pdf定例会スライド_キャチs 公開用.pdf
定例会スライド_キャチs 公開用.pdf
Keio Robotics Association•135 vues
SNMPセキュリティ超入門 par mkoda
SNMPセキュリティ超入門SNMPセキュリティ超入門
SNMPセキュリティ超入門
mkoda•479 vues

ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識

  • 1. ヒアラブルデバイスにおける 音漏れ信号を用いた空中ジェスチャ認識 鈴木 俊汰１，雨坂 宇宙１ ，杉浦 裕太１ ，渡邉 拓貴２ １慶應義塾大学，２北海道大学 01 02 実装 ハードウェア ・Apple Earpods[1]に，外部マイクを実装 ・超音波信号を安定して録音 ・ヒアラブルデバイスの普及 ・操作にはスマートフォンのタッチやデバイスのタッチが必要 ・ユーザビリティの低下 ・タッチによる物理的負担 背景 アプローチ 04 結果 ・8状態の精度：81.2% ・7ジェスチャの精度：78.5% ・複数人での調査 ・データ拡張の採用 ・画像引き延ばし 1.0倍 1.1倍 ・ドップラーシフトの大きさの差異を吸収するデータ拡張 ・カラーバーの調整 ・最適なスペクトログラム表示の探索 問い合わせ先 info-lcl-group@keio.jp 経緯 ・市販のヒアラブルデバイスから20kHzの超音波信号を再生し， その音漏れ信号を録音 ・空中ジェスチャを行う手に音漏れ信号が反射し，ドップラー効果 が発生 ・ジェスチャによってドップラー効果に差異が発生し，機械学習 モデルを用いて認識 03 ジェスチャとスペクトログラム 赤：録音，青：20kHz信号の再生 解析 ・20kHz信号のバンドストップフィルタ ・フーリエ解析によるスペクトログラム画像生成 実験と検証 ・被験者1人に7つのジェスチャ＋ニュートラルの 計8状態を各20回取得 ・20分割交差検証を実施 ・Trainは16回分，Valは3回分，Testは1回分 05 今後の展望