Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Copyright © Masaya Ando
2017年6月14日
Copyright © Masaya Ando
本日取り上げる論文
少し出版年は古いが、全体の傾向を捉えた重要な論文として
位置付けられる。
‒ Bargas-Avila, Javier A., & Kasper Hornbæk : Old w...
Copyright © Masaya Ando
UXの評価の議論
UXの評価は、積年の課題。問題を複雑にしている原因は、
人工物側の品質を人を測定器として見立てて測定するという
発想で良いのか、という根本的な構造がある。
ユーザビリティは
モノ...
Copyright © Masaya Ando
UX評価の課題
従来のユーザビリティ評価は、ユーザー側がなるべくバラつ
かないように制御して測定しようとしているのに対し、UX
評価は何を把握したいのかすら、多様なまま。
Copyright © Masaya Ando
UXは未だコンセンサスを得られてない?
Lallemandらによる実践家らへのアンケート調査によると、
UXの定義やUXの構成概念に対する実践家の考えは、部分的
にはコンセンサスを得たものもあるが...
Copyright © Masaya Ando
研究におけるUX評価の変遷
UXに関する論文では、UXのどのような側面をどのように評
価しているのかについて、2つの論文がある。
2005 2009
51
Bargas-Avila, A. J. ...
Copyright © Masaya Ando
UXをどう測定しているか(Bargas-Avila, & Hornbæk, 2011)
Copyright © Masaya Ando
UXをどう測定しているか(Bargas-Avila, & Hornbæk, 2011)
SAM Scale
Copyright © Masaya Ando
UXをどう測定しているか(Bargas-Avila, & Hornbæk, 2011)
2005~2009年までのUXに関する研究を分析したB-A.&H.
によると、以下のような傾向があった。
使...
Copyright © Masaya Ando
研究で用いられているUX評価の構成(Lawら, 2014)
Lawらは、2010-2012年の58件の研究でどんなUXの評価
がされているかを分析(B-A.&H.より限定的な範囲で分析)。
5
Copyright © Masaya Ando
Lawらの指摘(Lawら, 2014)
Lawらは、UXがどのように測定されているかについて分析
する一方で、測定・評価後システムにいかにフィードバック
されているかを報告した論文がないことを指摘...
Copyright © Masaya Ando
UXの専門家はなんと言っているか?(Lawら, 2014)
Lawらは、UX測定における問題を理論的課題、方法論的課
題、実践的課題に分けて検討し、UX測定の哲学的検討をも
試みている。
‒ UX...
Copyright © Masaya Ando
Lawらの至った結論(Lawら, 2014)
Lawらは、以下のように議論をまとめている。
‒ 一般に、UXメトリクスは、製品を作って直すといった形成的評価に
役立つ。定性的なものよりも、定量的な...
Copyright © Masaya Ando
どんなUX評価を考えるべきか?(Vermeerenら,2010)
Vermeerenらは、96ものUX評価方法を収集し分析。その
上で、UX評価手法のニーズを整理した。
‒ 開発の初期段階の方法:...
Copyright © Masaya Ando
まとめ~レビューのポイント
現時点では、UX評価(定性的なものを含む)は実践的には
行われている。その多くはアンケートや尺度によるもの。
尺度で評価する項目(構成概念)やその妥当性は大きな課題
が...
Copyright © Masaya Ando
安藤が過去に取り組んできたUX評価の研究紹介
製品を購入し、長期にわたって利用することを前提とした
ユーザの、実利用環境における評価。
長期・実利用環境での実ユーザの製品評価は、どの程度ユー
ザの...
Copyright © Masaya Ando
実利用環境における製品評価構造 (安藤, 2009)
Copyright © Masaya Ando
製品評価調査の実施概要
同一製品(iPod nano)の実ユーザに対して、製品評価を把
握する調査を実施。
3
(2008)
(2008)
→
ACSI
85
Copyright © Masaya Ando
定性的モデルに基づいた定量モデルの検討(安藤, 2009)
0.951
0.889
0.385
0.089
2 61.38
df 20
p 0
111.38
113.38
200.59
AIC
B...
Copyright © Masaya Ando
SEPIA法の提案 (安藤, 2009)
ユーザーの自己効力感および製品関与の得点であらかじめ分
類した上で、UX評価尺度の得点傾向を比較分析する方法。
UX評価尺度を全体平均で理解するよりも、よ...
Copyright © Masaya Ando
UXデザインにおけるコンセプト評価法(登尾, 安藤, 2017)
コンセプトの表現方法ごとに、把握する評価項目を2段階を
分けて評価することで、評価の観点が具体化され、妥当な評
価ができる。
Copyright © Masaya Ando
まとめ
UX評価、さらに言えば(定量的な)計測は、世界的にも手
探り状態。しかし、そもそもの課題があると指摘したい。
ユーザー側の特性を分けずに、評価尺度を用いても限界があ
る。全体平均モデルで考...
Prochain SlideShare
Chargement dans…5
×

ユーザーエクスペリエンスは計測可能なのか? 〜UX計測に関する論文レビュー

4 991 vues

Publié le

2017年6月14日 ヒューマンインタフェース学会 SIG-UXSD研究会にて発表。

Publié dans : Design
  • Login to see the comments

ユーザーエクスペリエンスは計測可能なのか? 〜UX計測に関する論文レビュー

  1. 1. Copyright © Masaya Ando 2017年6月14日
  2. 2. Copyright © Masaya Ando 本日取り上げる論文 少し出版年は古いが、全体の傾向を捉えた重要な論文として 位置付けられる。 ‒ Bargas-Avila, Javier A., & Kasper Hornbæk : Old wine in new bottles or novel challenges: a critical analysis of empirical studies of user experience, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp2689-2698, 2011. ‒ Lallemand, C., Gronier, G., & Koenig, V.: User experience: A concept without consensus? Exploring practitioners’ perspectives through an international survey, Computers in Human Behavior, 43, pp35-48, 2015. ‒ Law, E. L. C., van Schaik, P., & Roto, V.: Attitudes towards user experience (UX) measurement, International Journal of Human- Computer Studies, 72(6), pp526-541, 2014. ‒ Vermeeren, Arnold POS, et al.: User experience evaluation methods: current state and development needs., Proceedings of the 6th Nordic Conference on Human-Computer Interaction: Extending Boundaries., pp.521-530, 2010.
  3. 3. Copyright © Masaya Ando UXの評価の議論 UXの評価は、積年の課題。問題を複雑にしている原因は、 人工物側の品質を人を測定器として見立てて測定するという 発想で良いのか、という根本的な構造がある。 ユーザビリティは モノサイドの品質
  4. 4. Copyright © Masaya Ando UX評価の課題 従来のユーザビリティ評価は、ユーザー側がなるべくバラつ かないように制御して測定しようとしているのに対し、UX 評価は何を把握したいのかすら、多様なまま。
  5. 5. Copyright © Masaya Ando UXは未だコンセンサスを得られてない? Lallemandらによる実践家らへのアンケート調査によると、 UXの定義やUXの構成概念に対する実践家の考えは、部分的 にはコンセンサスを得たものもあるが、かなりバラついてい ることが示された(Lallemand, et. al., 2015)。 UXの定義を5つ示しどれに賛同するかなどを把握(758件の研究者や実践 者が回答。約4割がフランス語圏の回答者という特徴あり)。 ユーザーの内部状態、過去の経験、目標およびニーズの重要性並びに 人工物が経験されている状況の重要性などは、UXと関連しているとほぼ コンセンサが取れていると言える。 またUXはマーケティング、愛着とは違うということでもコンセンサスが 取れていると言える。 逆に、UXは人の認知の成果であり行動の成果ではない、すでにエンジニ リングでカバーされている、製品利用で人々は独自の体験をする、経験 は個人的なものだ、と言ったことはかなり反応が違った。 5つのUXの定義への同意状況でも、結構バラついていることが示された。
  6. 6. Copyright © Masaya Ando 研究におけるUX評価の変遷 UXに関する論文では、UXのどのような側面をどのように評 価しているのかについて、2つの論文がある。 2005 2009 51 Bargas-Avila, A. J. & Hornbæk, B., 2011 2010 2012 58 Law, E. L. C., van Schaik, P., & Roto, V., 2014. B-A. & H.がメタ分析のプロセスを明確化しておりLawら はその方法を参照しつつ簡易に分析している。 両者は厳密さの面で異なるが、2010年ごろをまたいだ UX評価の共通点・変遷をある程度辿れる
  7. 7. Copyright © Masaya Ando UXをどう測定しているか(Bargas-Avila, & Hornbæk, 2011)
  8. 8. Copyright © Masaya Ando UXをどう測定しているか(Bargas-Avila, & Hornbæk, 2011) SAM Scale
  9. 9. Copyright © Masaya Ando UXをどう測定しているか(Bargas-Avila, & Hornbæk, 2011) 2005~2009年までのUXに関する研究を分析したB-A.&H. によると、以下のような傾向があった。 使用された方法論は主に定性的であり、伝統的なユーザ ビリティ研究、特にアンケートと尺度が採用されている。 とりわけ、感情、楽しさ、および美学は、最も頻繁に測 定される次元である。 調査された製品および使用状況は、仕事から余暇に、そ して制御された仕事から消費者製品および芸術に移って いる。
  10. 10. Copyright © Masaya Ando 研究で用いられているUX評価の構成(Lawら, 2014) Lawらは、2010-2012年の58件の研究でどんなUXの評価 がされているかを分析(B-A.&H.より限定的な範囲で分析)。 5
  11. 11. Copyright © Masaya Ando Lawらの指摘(Lawら, 2014) Lawらは、UXがどのように測定されているかについて分析 する一方で、測定・評価後システムにいかにフィードバック されているかを報告した論文がないことを指摘している。 また、UX専門家対するインタビューでは、Design orientedな専門家は、UXの測定に懐疑的な傾向があった。 このことを、HCIの関係者(170件回答)に対して、「UX 測定態度調査」を実施し検証した。 その結果、アンケートでは評価できるという積極的態度だっ たが、UX測定の詳細については微妙な見解があった。 全体として、UXの専門家が懸念するような、還元主義アプ ローチを採用する限界があるので、総合的な方法でUXを評 価する困難性を妥協する方法が必要だ、としている。
  12. 12. Copyright © Masaya Ando UXの専門家はなんと言っているか?(Lawら, 2014) Lawらは、UX測定における問題を理論的課題、方法論的課 題、実践的課題に分けて検討し、UX測定の哲学的検討をも 試みている。 ‒ UX測定における現在の行われていることは、ホリスティックな理論 が欠如しているように見える。測定の重要な意味は、予測を可能にす ることだ。しかし、UX尺度を設計結果を独立変数として結びつける 説得可能な理論は、今のところない。 ‒ なぜ、それを測定したいのかを理解するまでは、何かを測定すること に意味はない。 ‒ 予測可能なものとするためには、理論が必要である。UX尺度は利用 可能な結果と相関しているが、妥当な理論的枠組みがなければ、結果 をもたらす経験因子を特定することはできない。UXの主な弱点は、 理論が欠如していることである。
  13. 13. Copyright © Masaya Ando Lawらの至った結論(Lawら, 2014) Lawらは、以下のように議論をまとめている。 ‒ 一般に、UXメトリクスは、製品を作って直すといった形成的評価に 役立つ。定性的なものよりも、定量的な評価は、そこに単純でわかり やすく、意思決定には役立つだろう。 ‒ しかし、UXの測定は、評価と再設計の相互作用を行う上で重要な役 割を果たすと結論付ける傾向があるが、数量的な評価が、質的フィー ドバックよりも重要か否かの議論が残っている。
  14. 14. Copyright © Masaya Ando どんなUX評価を考えるべきか?(Vermeerenら,2010) Vermeerenらは、96ものUX評価方法を収集し分析。その 上で、UX評価手法のニーズを整理した。 ‒ 開発の初期段階の方法:概念やアイデアでのUXをどうやって評価す るか? ‒ UXを構成する尺度の妥当性:尺度ベースの評価法は妥当性を改善す るべき。異なる経験の焦点と領域だとか、異文化間などを測定するこ とで妥当性を示すことはできないか? ‒ ソーシャル/コラボレーションUXの評価方法:オンラインソーシャ ルなグループ経験における個人の評価の方法が必要。 ‒ 手法の実用性の検討:製品開発に役立つ手法については、必要なスキ ルやスキル、使いやすさ、データ分析の容易性、開発結果の適用性な どを考慮する必要がある ‒ 効果的なマルチメソッドアプローチ:何と組み合わせて実施するのが 良いか?
  15. 15. Copyright © Masaya Ando まとめ~レビューのポイント 現時点では、UX評価(定性的なものを含む)は実践的には 行われている。その多くはアンケートや尺度によるもの。 尺度で評価する項目(構成概念)やその妥当性は大きな課題 がある。現状では、測れそうなものを測っているにすぎない。 何をどう測定すればいいかについて、ユーザーの利用経験を どう捉え、何を計測すれば良いかについて、全体的な説明理 論がないことが原因。もっと言えば、”UXとは何か?”につ いて、未だ議論があるため、学術界としての統一見解が持て ずにいる。 特に定量的なUX評価を、どのタイミングで、どのように使 うかについても議論すべき。実践的なUX評価の多くは、シ ステム等の改良に使うことが求められているはずで、どんな “量”がわかる 必要性があるかも検討が必要。
  16. 16. Copyright © Masaya Ando 安藤が過去に取り組んできたUX評価の研究紹介 製品を購入し、長期にわたって利用することを前提とした ユーザの、実利用環境における評価。 長期・実利用環境での実ユーザの製品評価は、どの程度ユー ザの心理的要因の影響を受けているかを定量的に分析する
  17. 17. Copyright © Masaya Ando 実利用環境における製品評価構造 (安藤, 2009)
  18. 18. Copyright © Masaya Ando 製品評価調査の実施概要 同一製品(iPod nano)の実ユーザに対して、製品評価を把 握する調査を実施。 3 (2008) (2008) → ACSI 85
  19. 19. Copyright © Masaya Ando 定性的モデルに基づいた定量モデルの検討(安藤, 2009) 0.951 0.889 0.385 0.089 2 61.38 df 20 p 0 111.38 113.38 200.59 AIC Browne-Cudeck BCC BIC GFI AGFI RMR 2 RMSEA 2 このモデルの欠点(利用期間の影響がUXの個別評価に影響していない点)
  20. 20. Copyright © Masaya Ando SEPIA法の提案 (安藤, 2009) ユーザーの自己効力感および製品関与の得点であらかじめ分 類した上で、UX評価尺度の得点傾向を比較分析する方法。 UX評価尺度を全体平均で理解するよりも、より詳細に製品がどんな ユーザーにどんな体験を提供しているか解釈しやすくなる
  21. 21. Copyright © Masaya Ando UXデザインにおけるコンセプト評価法(登尾, 安藤, 2017) コンセプトの表現方法ごとに、把握する評価項目を2段階を 分けて評価することで、評価の観点が具体化され、妥当な評 価ができる。
  22. 22. Copyright © Masaya Ando まとめ UX評価、さらに言えば(定量的な)計測は、世界的にも手 探り状態。しかし、そもそもの課題があると指摘したい。 ユーザー側の特性を分けずに、評価尺度を用いても限界があ る。全体平均モデルで考えるのではなく、対象ユーザーの心 理的背景を考慮して評価する評価方法論が必要。 評価尺度は、測定次元(因子分析的な次元)は重要だが、そ れよりも評価するユーザーが何に・どこに基準をおいて評定 しているか(潜在因子という理論的なものではなく、実質的 に何を考えているかということ)を考慮することが重要。 ユーザーの評価は時間によって変化する。そのため、どの時 点で、どの範囲を評価するかを検討することが重要。

×