UX Analytics Lab 「measuring the user experience」読書会 #4 10.Jan.2015 at 13:00 @ ヴォラーレ株式会社 Measuring the User Experience UX Book Reading Circle Yukio Yoshida

1. Measuring
the User Experience
UX Book Reading Circle
Yukio Yoshida
10.Jan.2015
1

2. CHAPTER 9
Special topics
2

3. 9.1 Live Website Data
稼働中のWebサイトのデータ
9.2 Card-Sorting Data
カードソートのデータ
9.3 Accessibitity Data
アクセシビリティに関するデータ
9.4 Return-On-Investment Data
ROIのデータ
3

4. 9.1 Live Website Data
稼働中のWebサイトのデータ①PV（ページビュー）数
稼動しているWebサイトには、宝の山となる可能性のあるデータが存在している。
サーバログデータより、以下のメトリクス等が有効である。
①PV（ページビュー）数、UU（ユニークユーザー）数
②クリックスルー率
③離脱率
4

5. 9.1 Live Website Data
稼働中のWebサイトのデータ①PV（ページビュー）数
有効な手段として、以下が挙げられる。
①定点観測
②デザインの変更前と変更後 等
但し、②に関して注意並びに除外が必要である。
①環境要因（ニュース、季節により変動等）
②クローラー
5

6. 9.1 Live Website Data
稼働中のWebサイトのデータ①PV（ページビュー）数
右表はサイトのリンク改善前（1週目）と改
善後（2週目）のPV数を計測。
改善前と改善後で有意に違いがあるか
を見極めるため、t検定を使用し、統計的
に有意（p＜0.01）であることが分かった。
6

7. 9.1 Live Website Data
稼働中のWebサイトのデータ②クリックスルー率
CTR（クリックスルー率）は、さまざまなリンクの表示方法の有効性を測定することに
使うことができる。
インターネット広告のパフォーマンス指標の一つでもあるが、この概念はあらゆるリン
クに適用できる。
CTR（クリックスルー率）＝広告クリック数÷広告表示数
7

8. 9.1 Live Website Data
稼働中のWebサイトのデータ②クリックスルー率
右画像は検索エンジンへ配信した2種の
広告。
具体的な情報を記載した広告のほうが
55%もクリック率が高かったが、実際広告
を見た人の差があった場合、大きな違い
を生む恐れがある。
8

9. 9.1 Live Website Data
稼働中のWebサイトのデータ②クリックスルー率
カイ2乗検定で有意の違いを調べることが
できる。リンク①1.4%、②1.7%（右上）。但
し、違いがないものと仮定する必要性が
ある。よって合計（右中）を出すことで期待
値164.2（右下）をみちびける。結果p=0.
037となり、有意の差があった。
9

10. 9.1 Live Website Data
稼働中のWebサイトのデータ③離脱率
離脱率は、サイト内で何らかのユーザビリティ問題があるかもしれない場所を見つけ
るのに役立つ可能性がある。
離脱率が有効な使い方は、購入手続きなどの要り連の流れのどの箇所でユーザー
がプロセスを離れたり、諦めたりしているのかを特定するのに使う。
該当ページ離脱率＝該当ページ完了数÷該当ページ到達数
10

11. 9.1 Live Website Data
稼働中のWebサイトのデータ③離脱率
右上表はフォームで、各ページの入力を
完了したユーザーの割合。しかし、どの
ページに問題があるかわからない。ペー
ジに到達した人数とそのページを完了し
た人数の差を出すことで、ページ4に問題
があることがわかる。（右下表）
11

12. 9.1 Live Website Data
稼働中のWebサイトのデータ A/Bテスト
A/Bテストは特別なタイプの調査手法である。
任意のページに対して2つの代替デザインを用意し、一部のユーザーにはAを、残り
のユーザーにはBを表示し、どちらが有効かを明らかにするために使われる。
振り分けはランダムで、表示回数はほぼ同数となるように行われる。
但し、環境要因などに注意が必要で、入念な計画が必要になる。
12

13. 9.1 Live Website Data
稼働中のWebサイトのデータ A/Bテスト
ページを3パターン（BはAのテキストのみ
変更、CはAのレイアウトのみ変更）制作
し、A/Bテストを実施（同一時期、同数表
示）した結果が右表。結果Bで15.6%売上
増、Cで55.3%減であった。
13

14. 9.2 Card-Sorting Data
カードソートのデータ
カードソートは、情報システムの要素を分類・整理するための手法。カードソートには
下記の2つの手法がある。
①オープン・カードソート：参加者自身がカードソートもグループ分けをする
②クローズド・カードソート：参加者自身はカードソートするのみ
カードソートのデータを分析する方法は、調査するカードをグループ分類し、それぞれ
の距離認識マトリックスを作成することがある。
14

15. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
10種の果物が記載されたカードで、1名の参加者がグループ分けをした結果を、同グ
ループを0、別グループを1とすると、下表のようになる。参加者が20名の場合でも同
様にでき、理論上0～20の範囲となる。
15

16. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
20名の結果は下表となる。この下表より、いくつかの統計手法で分析すれば、距離
（類似性）認識マトリックスの更なる検証ができる。階層クラスタ分析と多次元尺度構
成法の2手法が最も有効である。
16

17. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
階層クラスタ分析の目的は、ツリー図作
成。前ページデータを分析した結果が右
表（群平均法使用）。利点は、ツリー図に
縦線を引いてわかるよう、どんなグルー
プができるかを見ることができる。
17

18. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
グループを特定したら、元のカードソートデータと比較する。つまりグループ分けの結
果の適合度（合致度）のメトリクスを出すことができる。
参加者の結果のうち対となったのは45個。そのうち合致していないのは7個。38個は
合致している為、84％という結果になり、元データに対してどれだけ適合しているかを
示す値が得られる。
18

19. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
多次元尺度構成法とは、カードソートの
調査結果から得たデータを視覚化する手
法。階層クラスタ分析で使用したデータを
多次元尺度構成法で分析した結果が右
図。比較対象物全ての対となるものの距
離マトリックスにできる。
19

20. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
最も類似性がない
類似性がある
20

21. 9.2 Card-Sorting Data
カードソートのデータ①オープン・カードソート
多次元尺度構成法の分布図を最も使用するメトリクスとしてストレス値＝Φ（ファイ）
がある。ストレス値は、分析結果の分布図における距離とオリジナルの距離の差を
求め（前ページまでの過程）、それを2乗し、更に結果を合計して算出される。前ペー
ジの分布図のストレス値は0.04となる（基準値として0.1以下、0.2以上は悪い）。
2つの手法を使用する理由は、カードソートでは他のカードに引っ張られることがあ
り、はずれ値を除くため。
21

22. 9.2 Card-Sorting Data
カードソートのデータ②クローズド・カードソート
クローズド・カードソートは、参加者にカードを渡し、ソートする先のグループ名も指定
した上でソートしてもらうもの。オープン・カードソートのフォローアップとして1回又は
複数回行うと有益なことがあるため、使用されている。
それは、調査者がもっている考えを試してみることが出来るためである。
特に機能をどう整理したいかの考えとユーザーとの合致度を見ることが有益である。
22

23. 9.2 Card-Sorting Data
カードソートのデータ②クローズド・カードソート
右表は、10枚のカードと3つのグループ
分けを使用したクローズド・カードソート
による検証。各グループにカードをソート
した参加者の割合をカードごとに示した
もの。一番右列は最も高かった割合を
カードごとに示したもの。
23

24. 9.2 Card-Sorting Data
カードソートのデータ②クローズド・カードソート
右列の数値＝高いグループにどれだけ
引っ張られたかを示す数値となる。カード
10はグループCに強く引っ張られているこ
とがわかる。グループ分けが適切だった
かを知るメトリクスは、全カードの最高値
の平均である。
24

25. 9.2 Card-Sorting Data
カードソートのデータ②クローズド・カードソート
適切か不適切かはわかったが、メトリク
スを一律にしなければ正確な比較はでき
ない。よって、右表のように最高値と2番
目の値の差分を出し、差分の平均により
引っ張られたカードの影響度を補正し、
比較することができた。
25

26. 9.2 Card-Sorting Data
カードソートのデータ②クローズド・カードソート
前ページのデータをグラフにしたものが
右グラフ。これは参加者の合意度を示す
指標（値が高いほど良い）と考えることが
できる。これにより、クローズド・カード
ソートでの検証が有効であることがわ
かった。
26

27. 9.3 Accessibitity Data
アクセシビリティに関するデータ
アクセシビティとは、通常障害を持つ人が特定のシステム、アプリケーション、ウェブ
サイトをどれだけ有効に使えるかを意味する。
ここでは特定のユーザーグループにとってのユーラビリティと定義する。
27

28. 9.3 Accessibitity Data
アクセシビリティに関するデータ
とあるサイトにアクセスする全盲ユーザー、弱視ユーザー（拡大鏡使用）、支援の必
要ない統制群の3つのグループを対象に4つのメトリクスで評価した結果が下表とな
るが、明らかに障害者のパフォーマンスが悪い。ただ、障碍者をテストするリソースを
持ち合わせてないことが多い。
28

29. 9.3 Accessibitity Data
アクセシビリティに関するデータ
そこでアクセシビティガイドラインを使用することが有効になる。
優先度①：適応しなければならないガイドライン16個
優先度②：適合すべきガイドライン30個
優先度③：適合することが望ましいガイドライン19個
このように定量化することでサイトを評価できる。
29

30. 9.3 Accessibitity Data
アクセシビリティに関するデータ
右グラフは、前ページのメトリクスをもと
に、適したページがサイト内に何ページ
含まれているかを示したもの（複数ある
場合は、最も重大なエラーにて分類）。ま
たエラーの合計数でも分析することがで
きる。
30

31. 9.3 Accessibitity Data
アクセシビリティに関するデータ
適合したページ数とエラーページ数の割
合をグラフにした結果が右グラフ。
このように定量化すれば、有効なメトリク
スとなることがわかる。
31

32. 9.4 Return-On-Investment Data
ROIのデータ
ユーザビリティのROIの基本は、製品やシステム、ウェブサイトのユーザビリティを向
上させることで、どれだけ経済的な利益がもたらされるかを計算すること。
よって重要なのは、コストと利益を比較することである。
ケーススタディとして、アメリカ州政府のサイトのデザインの改良を目的として州民20
名に対してユーザビリティテスト（新旧サイトに10個のタスクを準備し、比較）を実施し
た結果が次ページになる。
32

33. 9.4 Return-On-Investment Data
ROIのデータ
下グラフは、新旧サイトのタスク時間を示
したもの。下グラフは全体的な効率の測
定値を示したもの。
ここからROIを算出することができる。
33

34. 9.4 Return-On-Investment Data
ROIのデータ
州民のROIを時間節約とし、
①州民270万人の4分の1が月1回サイトを閲覧
②そのユーザーが79秒を節約できると仮定
③1年で14,800時間の節約
④対応する人（週40時間労働）に換算すると、約7年分の労働時間節約
⑤州民の平均年収は14700ドル
結果、年間120万ドルの節約という算出ができる。
34

35. 9.4 Return-On-Investment Data
ROIのデータ
但し、サイトを使用することを仮説としていたので、適切な値として旧サイトの利用
データと新サイトのタスク完了率の向上により、州の歳入が増えるかを新たに割り出
した結果が下記になる。
①旧サイトのタスク失敗率28％、新サイトは5％
②10万が月1回、サイトでの処理手続きに2ドル支払う
③新サイトでの手続き成功率23％
よって年間55万2000ドルの歳入増が見込める。
35

36. Impressions
2008年の邦訳の為、9章では古い概念もあったが、UA専門書に9章の内容があること
に驚きであった。
全ては経営や組織マネジメントのにおいて目標を達成するためが目的となる以上、
達成するための手法としてUX視点でのアプローチが最適解なのか、それともデータ
視点なのか。垣根がなくなりつつあるのか。
人、組織の定義を見直す時期にさしかかってきている感がいがめないのではないか
と思えた。
36