SlideShare une entreprise Scribd logo
1  sur  17
Télécharger pour lire hors ligne
速さと正確さへの主観的なバイアスが
ポインティング手法評価の一般化可能性に与える影響
インタラクション2023
木下大樹1, 大塲洋介1, 富張瑠斗1, 山中祥太2, 宮下芳明1
1. 明治大学 2. ヤフー株式会社
背景
新規提案⼿法の実験の結論は,⼀般化可能性を主張できることが重要
2
様々な条件を設定した実験を⾏うことが望ましい
➡ 参加者群・機材・状況に影響されずに同じ結論にたどり着けるということ
Bubble Cursor Ninja Cursor
カーソルの選択領域を拡⼤して
操作時間を短縮,エラー率を低減
ターゲットまでの距離を短縮して
操作時間を短縮
新規提案⼿法の例
背景
提案⼿法の評価実験
3
狙い通りに⽀援できているか,ベースライン⼿法と⽐較を⾏う実験
ポインティングでの実験条件:ターゲットサイズ,ターゲットまでの距離 etc…
通例「できるだけ速く正確にタスクを⾏うこと」と教⽰
大
小 中
背景
4
ユーザは⻑い時間をかけたくないはず・ミスをしたくないはず
「できるだけ速く正確にタスクを⾏うこと」は現実的な状況を想定した教⽰
懸念点
● 実験参加者ごとに教⽰の解釈が異なる
● 速さと正確さのバランスを取ることは現実的な状況の1つに過ぎない
多少のミスを許容する⼈,ミスしないように努める⼈ etc…
問題:参加者が正確さに偏るとミスを減らす⼿法が有効と⾔えなくなるかもしれない
障害物との隙間が狭い場合,慎重に操作を⾏う
ターゲット
障害物
隙間
実験条件にバイアスを設定することに意義がある
なぜ?
障害物
速さ重視:エラーを気にせずできるだけ速くタスクを⾏ってください
背景
5
バイアスを実験条件に含めることで
ユーザ実験からより多くの知⾒を引き出す実験⽅法論を提案
バイアス
ニュートラル:できるだけ速く正確にタスクを⾏ってください
正確さ重視:時間を気にせずできるだけ正確にタスクを⾏ってください
複数のバイアスを⽤いた評価実験を実施
ポインティング⼿法
Bubble Cursor[1]:
クリック判定を最も近いターゲットまで拡張
6
Bayesian Touch Criterion[2]:
タップしたいターゲットを確率で推定
バイアスを条件に加えて再評価を実施
1. Grossman, T. and Balakrishnan, R.: The Bubble Cursor: Enhancing Target Acquisition by Dynamic Resizing of the Cursorʼs Activation Area, CHI ʼ05, New York, NY, USA, ACM, pp. 281‒290, DOI:
10.1145/1054972.1055012 (2005).
2. Bi, X. and Zhai, S.: Bayesian touch: a statistical criterion of target selection with finger touch, UIST ʼ13, New York, NY, USA, ACM, pp. 51‒60, DOI: 10.1145/2501988.2502058 (2013).
ベースライン⼿法よりポインティング性能が⾼いとされる⼿法
仮説
仮説①:バイアスがニュートラルでは元の論⽂と同様の結果になる
7
みられなくなり,提案⼿法が有効とはいえなくなる
例)正確さ重視ならそもそもミスが少なく,「Bubble Cursorはベースライン⼿法よりエラー率が有意に低い」と⾔えなくなる
仮説②:ニュートラル以外のバイアスでは操作時間やエラー率に有意差が
p < 0.05
実験:Bubble Cursor
8
ターゲット間距離(A ):400,770 pixels
ターゲット幅(W ):8,24,70 pixels
有効ターゲット幅(EW/W ):1.33,2,3
カーソル:Bubble Cursor, Point Cursor(ベースライン⼿法)
バイアス:速さ重視,ニュートラル,正確さ重視
9
結果:Bubble Cursor
両カーソルで操作時間とエラー率にバイアスの影響を確認
Bubble Cursorによりいずれのバイアスでも
操作時間とエラー率が有意に減少
0.90 1.10 1.23
0.71 0.88 0.96
0
0.5
1
1.5
2
Fast Neutral Accurate
操作時間
[sec]
バイアス
17.44 7.61
2.60
11.11
2.84
1.19
0
5
10
15
20
Fast Neutral Accurate
エラー率
[%]
バイアス
Point
Bubble
p < 0.05 p < 0.01 p < 0.001
速さ重視 ニュートラル 正確さ重視 速さ重視 ニュートラル 正確さ重視
実験:Bayesian Touch Criterion (BTC)
10
ターゲット間距離(A ):20 mm
ターゲット幅(W ):3,5,7 mm
障害物の幅:3,5,7 mm
障害物の配置:上下,左右,上下左右
バイアス:速さ重視,ニュートラル,正確さ重視
結果:Bayesian Touch Criterion (BTC)
11
操作時間とエラー率にバイアスの影響を確認
いずれのバイアスでもVB/SDCのエラー率が最⼩
⾒た⽬通りの当たり判定で実験を⾏い,様々な選択基準で事後分析
議論:Bubble Cursor
12
すべてのバイアスにおいて,Bubble Cursorは操作時間とエラー率の両⽅を低減
仮説①:ニュートラルでは元の論⽂と同じ結果が得られる ➡ ⽀持
仮説②:バイアスによっては元の論⽂と異なる結果が得られる ➡ 否定
複数バイアスを実験条件に含めることで,より強固に⼿法の有⽤性を主張できる
結論の⼀般化可能性を向上させる
5.50
1.51
0.79
2.23
0.85
0.49
0
10
20
30
40
8 24 70
W [pixels]
Point
Bubble
15.67
4.77
2.42
5.02
2.24
1.27
0
10
20
30
40
8 24 70
W [pixels]
13
議論:ターゲット幅ごとのエラー率
正確さ重視のとき,ターゲット幅が 8 pixels のみでエラー率に有意差がみられた
現実的なターゲット幅を⽤いた場合は仮説②が⽀持される可能性
バイアスを条件に加えることで⼿法が有効な範囲を正確に議論できる
29.79
14.77
7.97
18.16
10.76
4.53
0
10
20
30
40
8 24 70
エラー率
[%]
W [pixels]
速さ重視 ニュートラル 正確さ重視
ターゲット幅 [pixels]
議論:Bayesian Touch Criterion (BTC)
14
すべてのバイアスにおいて,VB/SDCのエラー率が有意に低い
仮説①:ニュートラルでは元の論⽂と同じ結果が得られる ➡ 否定
仮説②:バイアスによっては元の論⽂と異なる結果が得られる ➡ ⽀持
議論:Bayesian Touch Criterion (BTC)
15
ニュートラルのみで再現実験を⾏った場合: 参加者が正確さに偏ったことで異なる結果が出た可能性が残る
複数のバイアスを条件に含めて実験を⾏った場合:
➡ 再現実験の参加者によって偶然異なる結果になった,という懸念を強く否定できる
単⼀のバイアスでの再現実験よりも正確な議論が可能
制約・展望
バイアスを変化させる⽅法
• 外部から定量的なバイアスを与えるアプローチも考えられる
16
例)速さと正確さに対する⾦銭的な報酬やペナルティ,エラーに対する時間的ペナルティ
実験条件数と実験時間のトレードオフ
• メリット:導⼊が容易
• デメリット:バイアスの数だけ実験時間が⻑くなる
➡ 複数バイアスの導⼊や⽤いるバイアスの数は研究の主⽬的に沿って決める必要がある
まとめ
背景:単⼀だった教⽰にバイアスをかけて複数にすることを提案
実験:Bubble Cursor,Bayesian Touch Criterion (BTC)を⽤いて
複数バイアスを⽤いた再現実験を実施
結果:Bubble Cursor ➡ いずれのバイアスでも有効
BTC ➡ いずれのバイアスでも他⼿法の⽅が有効
結論:複数のバイアス条件により
17
• 結論の⼀般化可能性の向上
• ⼿法の有効範囲や再現実験に対する詳細な議論
が可能になる

Contenu connexe

Similaire à インタラクション2023,スライド.pdf

ロボット介護機器設計支援ツール、中坊嘉宏(産総研)
ロボット介護機器設計支援ツール、中坊嘉宏(産総研)ロボット介護機器設計支援ツール、中坊嘉宏(産総研)
ロボット介護機器設計支援ツール、中坊嘉宏(産総研)
robotcare
 
実証試験総論(午後の部)(大川弥生)
実証試験総論(午後の部)(大川弥生)実証試験総論(午後の部)(大川弥生)
実証試験総論(午後の部)(大川弥生)
robotcare
 
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Hironori Washizaki
 

Similaire à インタラクション2023,スライド.pdf (20)

ロボット介護機器設計支援ツール、中坊嘉宏(産総研)
ロボット介護機器設計支援ツール、中坊嘉宏(産総研)ロボット介護機器設計支援ツール、中坊嘉宏(産総研)
ロボット介護機器設計支援ツール、中坊嘉宏(産総研)
 
実証試験総論(午後の部)(大川弥生)
実証試験総論(午後の部)(大川弥生)実証試験総論(午後の部)(大川弥生)
実証試験総論(午後の部)(大川弥生)
 
問題解決方法
問題解決方法 問題解決方法
問題解決方法
 
XR/xDRによる労働生産性の向上、QoW向上
XR/xDRによる労働生産性の向上、QoW向上XR/xDRによる労働生産性の向上、QoW向上
XR/xDRによる労働生産性の向上、QoW向上
 
20170223 srws第八回 sof、grade、prospero登録
20170223 srws第八回 sof、grade、prospero登録20170223 srws第八回 sof、grade、prospero登録
20170223 srws第八回 sof、grade、prospero登録
 
20170223 srws第八回 sof、grade、prospero登録
20170223 srws第八回 sof、grade、prospero登録20170223 srws第八回 sof、grade、prospero登録
20170223 srws第八回 sof、grade、prospero登録
 
Growth team 概要
Growth team 概要Growth team 概要
Growth team 概要
 
刺激語カードを用いた ソフトウェアレビューの実践について
刺激語カードを用いた ソフトウェアレビューの実践について刺激語カードを用いた ソフトウェアレビューの実践について
刺激語カードを用いた ソフトウェアレビューの実践について
 
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
 
02 matsushita
02 matsushita02 matsushita
02 matsushita
 
ゆもつよ博士論文説明資料公開
ゆもつよ博士論文説明資料公開ゆもつよ博士論文説明資料公開
ゆもつよ博士論文説明資料公開
 
GRADEの基礎:概要と問題設定
GRADEの基礎:概要と問題設定GRADEの基礎:概要と問題設定
GRADEの基礎:概要と問題設定
 
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
JEITAソフトウェアエンジニアリング分科会: IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総...
 
プロジェクトを成功に導くベンダー・マネジメント
プロジェクトを成功に導くベンダー・マネジメントプロジェクトを成功に導くベンダー・マネジメント
プロジェクトを成功に導くベンダー・マネジメント
 
品質基礎知識
品質基礎知識品質基礎知識
品質基礎知識
 
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
 
観察研究の必須事項
観察研究の必須事項観察研究の必須事項
観察研究の必須事項
 
コンジョイント分析の書き方 Slideshare
コンジョイント分析の書き方 Slideshareコンジョイント分析の書き方 Slideshare
コンジョイント分析の書き方 Slideshare
 
ユーザーテストサイクル
ユーザーテストサイクルユーザーテストサイクル
ユーザーテストサイクル
 
WebEffective overview 2012 japanese
WebEffective overview 2012 japaneseWebEffective overview 2012 japanese
WebEffective overview 2012 japanese
 

Plus de Miyashita Lab

カーソル進入不可領域による反応時間未満でのポインティング
カーソル進入不可領域による反応時間未満でのポインティングカーソル進入不可領域による反応時間未満でのポインティング
カーソル進入不可領域による反応時間未満でのポインティング
Miyashita Lab
 

Plus de Miyashita Lab (6)

HCI201,大塲,スライド.pdf
HCI201,大塲,スライド.pdfHCI201,大塲,スライド.pdf
HCI201,大塲,スライド.pdf
 
カーソル進入不可領域による反応時間未満でのポインティング
カーソル進入不可領域による反応時間未満でのポインティングカーソル進入不可領域による反応時間未満でのポインティング
カーソル進入不可領域による反応時間未満でのポインティング
 
HCI200,大塲,スライド,最終稿.pdf
HCI200,大塲,スライド,最終稿.pdfHCI200,大塲,スライド,最終稿.pdf
HCI200,大塲,スライド,最終稿.pdf
 
視力の低下がポインティングパフォーマンスに及ぼす影響.pdf
視力の低下がポインティングパフォーマンスに及ぼす影響.pdf視力の低下がポインティングパフォーマンスに及ぼす影響.pdf
視力の低下がポインティングパフォーマンスに及ぼす影響.pdf
 
ノッチがポインティングの操作時間に与える影響,スライド
ノッチがポインティングの操作時間に与える影響,スライドノッチがポインティングの操作時間に与える影響,スライド
ノッチがポインティングの操作時間に与える影響,スライド
 
オープンアクセスを見据えた研究室論文データベースの構築
オープンアクセスを見据えた研究室論文データベースの構築オープンアクセスを見据えた研究室論文データベースの構築
オープンアクセスを見据えた研究室論文データベースの構築
 

インタラクション2023,スライド.pdf