(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

KRZYSZTOF PIWOWAR · DESIGN MANAGER · @XYSIU
(Nie)wiarygodne  
obserwacje praktyków UX
czyli o głupich błędach w interpretacji wyników

Troszkę teorii
… ale tylko odrobinę. Obiecuję!

Prawdopodobieństwo
Szansa na wydarzenie się czegoś  
w ustalonych warunkach (kontekście).  
Nie istnieje coś takiego jak 100% pewność.
Statystyka zawsze porusza się w obszarze  
zarządzania ryzykiem.

Made with by PGS Software ·
Dyskretne
Skończone wartości,  
które da się policzyć  
np. liczba jabłek.
Ciągłe
Dane o nieskończonej  
liczbie możliwych wartości  
np. czas.
Rodzaje danych
10

Made with by PGS Software · 11
Średnia (populacji)
Wartość wyniku, jaką spodziewamy
się uzyskać najczęściej.
Poziom istotności
Najmniejsze p-stwo, że uzyskany
wynik jest dalej prawidłowy
(będziemy brali go pod uwagę).
Przedział ufności
Jak bardzo pewni jesteśmy, że dana
wartość mieści się w przedziale, który
ustaliliśmy.
0,0 (0%)
1,0 (100%)
PRAWDOPODOBIEŃSTWO
Rozkład Gaussa

Dane dyskretne
oraz historia pewnego przypadku
w interpretacji wyników

Nazywasz się Krzysztof Kajak i pracujesz  
w firmie “Daleko od Brzegu”.
Chcesz kupić nowe wiosła. Podesłany przez
znajomą link na Facebooku, kieruje cię na stronę
wiosluj.pl.
Zamów zestaw drewnianych wioseł i poinformuj
moderatora, gdy wykonasz zadanie.
HISTORIA PEWNEGO BADANIA 13

10 8 2
Wyniki badania
14
Uczestników
Pojawili się na badaniu  
i przeszli przez cały
scenariusz badawczy.
Sukces
Zakończyły się
zamówieniem wioseł.
Oznaczamy jako “1”.
Porażka
Zakończyły się brakiem
zamówienia wioseł.
Oznaczamy jako “0”.

80%zrealizowało zadanie → Ile zrealizuje w przyszłości?

80% zrealizowało zadanie → 80% zrealizuje w przyszłości

Krok 1 - średnia i jej
normalizacja
0,0 (0%)
1,0 (100%)
PRAWDOPODOBIEŃSTWO

Krok 1 - średnia i jej normalizacja
(metodą Walda)
19
SRno ≈ 0,72SRar = 0,80

Krok 1
SRno ≈ 0,72
Krok 2 - błąd
standardowy średniej
0,0 (0%)
1,0 (100%)
PRAWDOPODOBIEŃSTWO

Krok 2 - błąd standardowy (średniej)
21
SEM ≈ 0,12

Krok 1
SRno ≈ 0,72
Krok 2
SEM ≈ 0,12
Krok 3 - margines
błędu
0,0 (0%)
1,0 (100%)
PRAWDOPODOBIEŃSTWO

Krok 3 - margines błędu
23

51%wiarygodność kasynowa
24

80%wiarygodność badawcza
25

90%wiarygodność przemysłowa
26

95%wiarygodność publikacyjna
27

99%wiarygodność farmaceutyczna
28

29
ME ≈ 0,24

Krok 1
SRno ≈ 0,72
Krok 2
SEM ≈ 0,12
Krok 3
ME ≈ 0,24
95% przedział ufności / wiarygodność
0,0 (0%)
1,0 (100%)
PRAWDOPODOBIEŃSTWO

Krok 4 - przedział ufności
31
dLO ≈ 0,48 dUP ≈ 0,96

0,0
0,5
1,0
ME ≈ 0,24
SRno ≈ 0,72
1

80% zrealizowało zadanie → 80% zrealizuje w przyszłości

80% zrealizowało zadanie → 48-96% zrealizuje w przyszłości
95%

Dane ciągłe
oraz kolejna historia pewnego przypadku
w komunikacji wyników

Nazywasz się Anna Netflik i właśnie obejrzałaś
nowy trailer serialu Stranger Things.
Na skali 1-10 oceń, jak bardzo ci się spodobał.
1 10

10 2, 4, 3, 7, 8, 9, 6,
7, 8, 5
Wyniki badania
38
Uczestników
Obejrzeli trailer i ocenili  
go za pomocą dołączonej
skali.

5,9ocena trailera teraz → Jaka ocena trailera w przyszłości?

5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości

Krok 1 - obliczenie
średniej
Krok 2 -  
a) odchylenie standardowe bonus
b) błąd standardowy
Krok 3 - margines
błędu
95% przedział ufności / wiarygodność
0,0 (0%)
1,0 (100%)
PRAWDOPODOBIEŃSTWO

Krok 1 - obliczenie średniej
43
SR = 5,9

Krok 2 - obliczenie odchylenia standardowego
44
SD ≈ 2,33
bonus

Krok 2 - błąd standardowy
45
SE ≈ 0,74

46
ME ≈ 1,44

Krok 4 - przedział ufności
47
dLO ≈ 4,46 dUP ≈ 7,35

5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości

5,9 śr. ocen teraz → 4,46 - 7,35 śr. ocen w przyszłości
95%

Porównywanie
różnych typów wyników

Badasz pięć wersji tego samego narzędzia.  
Każda wersja testowana jest przez różną ilość
różnych osób.
Na zakończenie badania prosisz każdą z osób,
aby oceniła przydatność testowanej wersji.
Chcesz porównać wyniki i stwierdzić,  
które rozwiązania są dobre i podbiją świat.

0
100
200
A B C D E
53
Wyniki badania

0
100
200
A B C D E
Wyniki badania

0
100
200
A B C D E
Nie nachodzą na siebie  
- istnieje znacząca różnica
Wyniki badania

0
100
200
A B C D E
Wyniki badania
Częściowo nachodzą na siebie
- wykorzystaj test t Studenta

0
100
200
A B C D E
Częściowo nachodzą na siebie
- wykorzystaj test t Studenta
Wyniki badania

0
100
200
A B C D E
Całkowicie nachodzą na siebie
- brak znaczącej różnicy
Wyniki badania

Wyniki badania
A, B, C, D, E
A, C, B, D, E
A, D, B, C, E
A, D, C, B, E
A, B, C, E, D
A, C, B, E, D

Na badanie zostało zrekrutowanych 30 osób.
Grupa 15 osób wykonała zadania dla wersji A  
i wypełniła arkusz oceny. Następnie wykonała  
te same zadania dla wersji B i ponownie wypełniła
arkusz oceny. Kolejne 15 osób wykonało zadania  
i wypełniło oceny najpierw dla B a potem dla A.
Łącznie masz 30 ocen dla A i 30 ocen dla B. 
Która wersja jest lepsza?

30
Wyniki badania
62
Uczestników
Wykonali scenariusz
zadań i wypełnili arkusz
ocen.
…

Dyskretne
Czy grupy
są niezależne?
tak nie
• Chi-squre
• Adj. Wald Diff.
in proportions
• N-1 Two
Proportion Test
• Fisher Exact Test
tak nie
• Adj. Wald CI for Diff.
in Matched Proportions
• McNemar
Exact Test
tak nie
Trzy lub więcej
grup?
Trzy lub więcej
grup?
Ciągłe
tak nie
Czy grupy
są niezależne?
tak nie
• ANOVA
• Multiple Two-Sample t
• Two-Sample t
tak nie
• ANOVA
• Multiple paiered t
• Paired t
Trzy lub więcej
grup?
Trzy lub więcej
grup?
64
Na podstawie
Quantifying The User Experience,
Jeff Sauro, James R. Lewis

Dyskretne
Czy grupy
są niezależne?
tak nie
• Chi-squre
• Adj. Wald Diff.
in proportions
• N-1 Two
Proportion Test
tak nie
• McNemar
Exact Test
tak nie
Trzy lub więcej
grup?
Trzy lub więcej
grup?
tak
tak nie
• ANOVA
• Two-Sample t
tak nie
• ANOVA
Trzy lub więcej
grup?
• Paired t
Trzy lub więcej
grup?
nie
Ciągłe
Czy grupy
są niezależne?
65
Na podstawie

Dyskretne
Czy grupy
są niezależne?
tak nie
• Chi-squre
• Adj. Wald Diff.
in proportions
• N-1 Two
Proportion Test
tak nie
• McNemar
Exact Test
tak nie
Trzy lub więcej
grup?
Trzy lub więcej
grup?
tak
tak nie
• ANOVA
• Two-Sample t
tak nie
• ANOVA
Trzy lub więcej
grup?
• Paired t
Trzy lub więcej
grup?
nie
Ciągłe
Czy grupy
są niezależne?
66
Na podstawie

Dyskretne
Czy grupy
są niezależne?
tak nie
• Chi-squre
• Adj. Wald Diff.
in proportions
• N-1 Two
Proportion Test
tak nie
• McNemar
Exact Test
tak nie
Trzy lub więcej
grup?
Trzy lub więcej
grup?
tak
tak nie
• ANOVA
• Two-Sample t
tak nie
• ANOVA
Trzy lub więcej
grup?
• Paired t
Trzy lub więcej
grup?
nie
Ciągłe
Czy grupy
są niezależne?
67
Na podstawie

Krok 1 - obliczenie średniej
68
SRRO ≈ -54,47

Krok 2 - obliczenie odchylenia standardowego
69
SD ≈ 14,33

Krok 3 - obliczanie t
70
t ≈ 20,817

Five trillion to one! Punter
scoops second lottery win
with the same numbers
źródło artykułu

Made with by PGS Software ·Definicja dla o(d)pornych
p - prawdopodobieństwo
testowe ilustruje, jaka jest
szansa, że zaobserwowana
różnica jest dziełem
przypadku (nie reguły).
72

Krok 4 - obliczanie p
73
p ≈ 0,000000001
usablestats.com/calcs/tdist

Na 99.99% wersja B ma znacząco różne wyniki oceny od A.
Dlatego wersja z wyższymi ocenami (B) jest lepsza.
99%

Zapamiętaj
wnioski dla zabieganych (lub zmęczonych)

Bądź jak Renata
Renata włożyła wiele starań  
w opracowanie wiarygodnej
interpretacji wyników swoich badań.
Nie była leniem. Bądź jak ona.
77

Statystyka nie gryzie
Statystyka i matematyka nie są
straszne. Wystarczy zapamiętać kilka
prostych zasad. Nie musisz znać
wzorów na pamięć. Wykorzystaj…
78

Kalkulatory
Mamy czasy, gdzie technologia
pomaga ludziom. Czemu więc z niej
nie skorzystać? Zapomnij o liczeniu  
na kartce czy w Excelu. Skorzystaj  
z algorytmu.
79

Hipotezy vs. fakty
Już wiesz, że interpretacja ma
kluczowe znaczenie dla dalszych
decyzji. Oprzyj je o fakty. Nie koloruj
rzeczywistości i nie idź na skróty.
80

Decyzje
Samodzielnie podejmuj decyzje.
Nawet, jeśli będziesz ignorować fakty,
rób to świadomie i z pełną
odpowiedzialnością.
81

Dokładność
Jeśli uzyskana dokładność cię nie
satysfakcjonuje, szukaj sposobów  
na zwiększenie liczby wyników,
którymi dysponujesz. Teraz już wiesz,
jak to działa.
82

Stosując się do tych zasad  
nie popełnicie głupich błędów w interpretacji wyników.
80%

Bądźmy w kontakcie
Krzysztof Piwowar
@xysiu

1. How confident do you need to be in your research? (źródło).
2. Strong MeasuringU (źródło).
3. Z-score calculator (źródło).
4. Confidence interval calculator for a completion rate (źródło).
5. Confidence interval calculator (źródło).
6. Percentiles from the t-Distribution Calculator (źródło).
7. Kalkulatory - Quick calcs (źródło).
8. Kalkulatory - Usable Stats (źródło).
9. Jaki test statystyczny dobrać? (źródło).
10. Pojęcia stosowane w analizie statystycznej (źródło).
LINKI

11. Trochę linków o statystyce (źródło).
12. Garść informacji o istotności statystycznej/wiarygodności (źródło).
13. Stosowane przedziały wiarygodności (źródło).
14. Książka Quantifying the User Experience: Practical Statistics  
for User Research, Jeff Sauro, James R. Lewis (źródło).
15. Unsplash - beautiful free photos (źródło).
LINKI

KRZYSZTOF PIWOWAR · @XYSIU
Dzięki za cierpliwość!
Odwiedź pgs-soft.com

(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

Recommandé

Recommandé

Contenu connexe

Plus de Krzysztof Piwowar

Plus de Krzysztof Piwowar (15)

(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników