Er brukerne dumme? (Frokostseminar om brukertesting)

Er brukerne dumme?
Frokostseminar – Making Waves – 9. november 2010

• Både Tarantell og Making Waves har lang erfaring med
brukertesting. Vi har utført tester for en rekke norske virksomheter,
blant annet Norwegian, Finanstilsynet, Helly Hansen, Norsk Tipping
og Sparebanken Vest.
• På dette frokostseminaret vil vi dele våre erfaringer og vise hvordan
funn fra brukertester kan gi deg fornøyde brukere som oppfører seg
slik du ønsker på nett og dermed øker inntjeningen din.
• Vi ser på hvordan en brukertest bør gjennomføres og hvilke
resultater du kan oppnå når den gjøres riktig. Du får vite når du bør
gjennomføre en test, hva den kan gi svar på, hvordan den bør
utformes og hvordan brukere bør velges ut.
• Gjennom konkrete eksempler vil vi vise hvorfor brukertesting er
oppskriften på smarte, resultatgenererende og fornøyde brukere.
Brukertesting
HVA SKAL VI SNAKKE OM?

08.30 Er brukerne dumme?
Hvorfor brukertest?
Hva kan brukertesten gi svar på?
09.15 Kaffe og frukt + Spørsmål samles inn i esken
09.30 Hvordan gjennomfører vi en god brukertest?
Hvordan kommer man fra brukertesten til resultat og de gode
tiltakene?
10.15 Oppsummering og diskusjon
10.30 Takk for nå!
Agenda
HVA SKAL VI SNAKKE OM?

Erfaring
• Ca. 10 års erfaring som konsulent i hhv. Razorfish, Creuna, Tarantell
og Making Waves
• Ca. 10 års erfaring med informasjonsarkitektur
• Jevnlig brukertesting av ulike løsninger og nettsteder de siste 10 år
Utdanning
• Cand.mag. fra UiO
Haakon Halvorsen
Leder for Experience research
HVEM ER VI?

Erfaring
• Brukertesting og evaluering av nettsteder i Tarantell og Making
Waves
• Brukerinvolvering i design, funksjonelle kravspesifikasjoner og
evaluering av kontrollrom i Scandpower Risk Management
• Utprøving av integrerte operasjoner og nye samarbeidsformer ved
Statoils forskningssenter
Utdanning
• Sivilingeniør i industriell design fra NTNU
• Bachelor i sosialantropologi fra UiB
Ragnhild Ask Torvik
Experience researcher
HVEM ER VI?

Er brukerne er dumme?
Av og til kan det virke slik…

• Hvorfor forlater brukerne fulle
handlekurver i nettbutikken
eller ledige flyseter midt i
bookingen?
• Hvorfor overser de viktig
informasjon og klikker seg
videre i feil retning?
Hvorfor gjør brukerne slik?
ER BRUKERNE DUMME?

1. De er dumme!
2. De har tunnelsyn!
3. De er late!
4. De er trege!
5. De juger!
6. De liker ikke forandring!
7. De glemmer!
Topp 7 frustrasjoner
ER BRUKERNE DUMME?

MEN: Brukerne har ALLTID rett :D
OG: Det er din feil!
ER BRUKERNE DUMME?

• Vi har prinsipper for design og usability
• Bygger på bl.a. kognitiv psykologi
• Er informasjonsarkitektur, interaksjonsdesign og grafisk design godt
utført?
• OG: Fungerer det i denne brukssituasjonen?
Hva gjør at de feiler?
ER BRUKERNE DUMME?

• Tilbyr du noe som brukerne har
behov for og kan se verdien av?
Morvilles kube
Brukeropplevelse er sammensatt av 7 faktorer
ER BRUKERNE DUMME?

• Hvor mye truer du brukerne dine til å gjøre før de får noe tilbake?
• Hvor mye forlanger du at de skal investere i sin tid for at du skal gi
de det de ba om i første omgang?
• Hvem tar oppvasken?
"I'm Not Here To Be In a Relationship"
Forventninger
ER BRUKERNE DUMME?

Jakob's Law of the Web User Experience
“Users spend most of their
time on other websites."
ER BRUKERNE DUMME?

Hvorfor brukertest?
Alt du lurer på om brukertesting men ikke turde å spørre om…
11.11.2010 © MAKING WAVES 20

• «Vi ønsker å forsikre oss at det er brukervennlig før vi
lanserer!»
• «Vi er uenige med avdeling XYZ om en rekke ting og vi tar en
brukertest for å finne ut hva som er riktig»
• «Vi har penger igjen på budsjettet og må bruke det opp før jul
(!)»
• «Jeg har blitt anbefalt av en venn å gjennomføre brukertesting
på nettsidene våre, det er visst veldig artig og gir bra resultat»
• «Kunden har spesifisert at brukertesting er inkludert i
prosjektet»
Hvorfor brukertesting?
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 22

• «Sjefen min tror at nettstedet er perfekt og tror at vi ikke
trenger penger på neste års budsjett til videreutvikling av
nettstedet»
• «Vi har fått levert en elendig løsning fra vår leverandør
og ønsker bevis for at det er så dårlig som vi tror…»
• «Vi er opptatt av at løsningen er så enkel å bruke som
mulig»
• «Vi er opptatt av resultater og ønsker at det blir minst 5%
færre handlekurver som forlates på nettstedet vårt»
forts. hvorfor brukertesting?
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 23

• «Liker brukerne nettsidene våre?»
• «Finner de frem på nettsidene våre?»
• «Har de problemer med navigasjonen vår?»
• «Klarer brukerne å bestille flybilletter?»
• «Klarer brukerne å betale regningene sine eller bestille fond?»
• «Hvor får de problemer på nettsiden vår?»
• «Skjønner de det nye kommunikasjonskonseptet vårt?»
• «Ser de innloggingen? Og klarer de å logge inn?»
Hva lurer våre oppdragsgivere på?
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 24

• Det finnes mange eksempler på at brukertesting lønner seg.
• De mest kjente eksemplene er akkurat nå:
– «How one extra field cost $12m» (Expedia, 2010)
– «The $300m button» (Ukjent, 2009 – se uie.com)
• How Changing a Button Increased a Site's Annual Revenues
by $300 Million
– «Hvordan Making Waves (Tarantell) sørget for et titalls
millioner kroner ekstra på bunnlinjen for Norwegian» (2009)
ROI på brukertesting
HVORFOR BRUKERTEST?
11.11.2010 © MAKING WAVES 25

Hva kan brukertesten gi svar på?
Når bør du gjennomføre brukertest og når kan en annen metode gi svar
på dine spørsmål?
11.11.2010 © MAKING WAVES 26

• Donald Norman bruker begrepene
– visceral (om det estetiske m.m.)
– behavioral (om adferd)
– reflective (om det intellektuelle)
• Brukertesten svarer på spørsmål knyttet til adferd - behavioral.
• Den kan ikke fortelle om brukeren syns ditt nettsted er visuelt
tiltalende eller intellektuelt utfordrende og spennende.
Hva svarer brukertesten på?
HVA KAN BRUKERTESTEN GI SVAR PÅ?

KVALITATIV
HOLDNING
KVANTITATIV
ADFERD
Brukerintervjuer
Brukertesting
Logganalyser
Feltstudier
Fokusgrupper
Cardsorting
Eyetracking
Sidetrafikk
Spørreundersøkelser
Personas
Ekspertevaluering
Persepsjonsanalyse
Polling
Andre metoder
Finnbarhetstest

• Større internasjonale aktører som f.eks. Expedia bruker analytics
aktivt for å optimalisere design
• Komplementært til design og usability
”If you stare at the dashboard, you crash”
Data driven design

• Video fra brukertest av Helly Hansen hvor alle brukerne sier noe
slikt som:
– «Jeg har ikke problemer med engelsk, men alle andre
derimot…» og
– «Helly Hansen er norsk, hvorfor har de ikke norske sider»
• Det egentlige høydepunktet kommer når en av brukerne skal betale
for varene, men lurer på om det blir toll på varene fordi det er et
engelsk nettsted. Så lurer han på om det er et engelsk nettsted og er
egentlig veldig usikker…
• Eksemplet viser at noen ganger er det også riktig og viktig å høre hva
brukerne sier.
Video: Er engelsk greit?

PAUSE
Husk å legge dine spørsmål i esken!

Hvordan gjennomfører vi en god
brukertest?

Oppmerksomhetstesten:
Tell antall pasninger mellom de hvitkledde
spillerne

50%Ser ikke den dansende bjørnen i det hele tatt.
NB! En gruppe som fikk i oppdrag å se på de svarte spillerne
la merke til bjørnen dobbelt så mange ganger!
Resultatet
HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?
38

• «Kan vi være med på brukertestingen selv?»
• «Hvor mye koster det?»
• «Blir det billigere om vi stiller med egne folk til å
gjøre testen?»
• «Blir det billigere om vi ikke bruker lab?»
• «Hvor mange brukere må vi teste?»
• «Når bør vi gjøre testen?»
Praktiske spørsmål
11.11.2010 © MAKING WAVES 39

• Lag en testplan
• Vurder om testen skal kjøres i lab eller annet sted
• Rekrutteringskriterier og rekruttering av brukere
• Forbered oppgaver til testen
• Pilottest
• Utfør brukertesten
• Oppsummering med kunden
• Analysere funn og redigere video
• Prioritere funn og tiltak
• Workshop/ presentasjon
Brukertesten fra A til Å

Rekrutter personer som kan være reelle brukere.
• Velg dine viktigste målgrupper
• Både demografi og interesser kan være kriterier
• For Helly Hansen var ett av kriteriene at de måtte være interessert i
utendørssport
• Unngå ”eksperter”, med mindre du lager noe helt spesielt – vi
unngår å rekruttere folk fra IT og media til de fleste av våre tester
Rekruttering

• Stor forskjell på brukerne, selv om du har rekruttert f.eks to
kvinnelig sykepleier på 32 år.
• Ofte har én bruker i testen fremstått som en ”superbruker”, som
raser gjennom alle oppgavene og får til alt slik kunden hadde
forventet
DERFOR ANBEFALER VI
• Minst 3 fra hver målgruppe
• IKKE bruk egne ansatte eller folk med IT bakgrunn
Målgrupper

Hvor mange brukere trenger du?
• Noen sier at 5 – 6 er det magiske nummeret, men vår anbefaling om
3 brukere fra hver målgruppe tilsier at 6-8 brukere er bedre.
• Desto mer komplekse problemstillinger og oppgaver, desto flere
brukere trenger vi.
• Vi opplever ofte at det blir færre funn når vi kommer til bruker nr 8
og 9, men det kan være nye ting som avdekkes der også.
Antall brukere

• Open ended vs scripted
• Vi har ofte ca 8 oppgaver
• De gås igjennom med oppdragsgiver og med pilotbruker før testen
• Bruker ofte 40 – 50 minutter i selve testen
Et typisk testscript:
• Introduksjonsspørsmål for at brukeren skal slappe av
• Praktiske oppgaver
• Debrief og brukerens opplevelse av site
Oppgaver til testscript

• Brukertest bør sees av hele prosjektgruppen
– Designer
– Informasjonsarkitekt
– Prosjektleder
– Programmerere
• Fra kunde bør deltakere komme fra:
– Ledelse
– Markedsføring
– Kundestøtte
– IKT!
• MEN sørg for at hver person ser minst 2 personer.
• Det er veldig lett å få et helt feil bilde av en test dersom man er uheldig og
observerer en person som enten er «for god» eller «for dårlig».
Hvem bør observere testen?
45

Testoppsett
Brukeren blir
presentert for en
rekke
testoppgaver
Interaksjonen som
skjer med
systemet blir tatt
opp og lagret som
videofiler.
Han/hun blir filmet med to
videokameraer og blir også
overvåket fra PC til PC
forbindelse for å se
musbevegelser mm.
På observasjonsrommet registreres
brukerens handlinger, analyseres og
loggføres av observatør(er)

Oppdragsgiver: Den som bestiller brukertesten.
Testdeltaker: Forsøkspersonene som blir rekruttert til å delta i
brukertesten.
Testleder: Veileder brukerne og gir testoppgavene ut fra testskriptet.
Hovedobservatør: Vår observatør, som noterer, markerer videoklipp
og gjennomgår funn med oppdragsgiver underveis.
Observatører: Alle representanter fra Oppdragsgiver som har
interesse av å observere brukertesten fra observasjonsrommet.
Aktører

Testdeltakerne (brukerne)

Å være en god moderator/ testleder er ikke lett… Du må være
• tålmodig
• nysgjerrig
• ikke avbryte
• ikke lede for mye
• ikke bekrefte
• få dem til å tenke høyt
Moderering

• Bruk «innestemmen»
• Behandle deltakerne med respekt
• Se hva brukerne gjør, ikke legg vekt på subjektive meninger om
design eller interaksjon.
• Diskuter funn med de andre i pausen mellom deltakerne
• Ta med en stor dose tålmodighet!
• Hvis du bare kommer for å spise pizza og drikke brus…. Ok, det
hadde vært billigere å sitte på Peppes ;)
Retningslinjer for observatører
50

• Vit hva du skal se etter:
– Tenk igjennom mulige scenarier og test oppgavene på deg selv og
vær forberedt!
– Legg inn stikkord i testscriptet slik at du og alle som skal observere
vet litt hva de skal se etter.
• Brukere skal sees ikke høres!
– Mer om dette kommer….
• Noter gjerne banale hendelser og marker tidspunktet for når noe
vesentlig skjer slik at det er lett å finne tilbake.
– Dette ser man ofte etter at det har skjedd og man rekker ofte ikke å
skrive ned hva som faktisk skjedde.
– Banale hendelser skaper ofte et mønster som du får bruk for senere.
Observasjon
51

• Når testdeltakere bruker ord og setninger som:
– «Jeg ville ha…»
– «Andre ville ha gjort…»
– «Hvis denne knappen hadde vært rød…»
– «Jeg klarte ikke dette, men andre ville ha…»
• Dvs. alle antakelser og hypoteser brukerne gjør om sine egne og
andres handlinger kan du se bort fra!
• MEN…
Brukere skal sees, ikke høres!
52

• Når de gir svar på spørsmål som:
– «Hva tror du vil skje hvis du klikker på denne?»
– «Kan du forklare meg hva du kan gjøre her?»
– «Hva er dine erfaringer med dette fra før?»
– «Hva forventer du å finne på nettsiden?»
– Dvs. deres forventninger til hva som skal skje og hva de har
opplevd før kan måles opp mot det som faktisk skjer der og da!
– All informasjon som er nyttig for å forstå hvordan de tenker er
også nyttig.
Lytt til brukerne dine!
53

• Open ended vs. Scripted testoppgaver
• Realisme – skal brukeren kjøpe noe?
• Situasjon – testsituasjonen påvirker bl.a. tålmodighet etc.
• Antall brukere
• Demografi? Hvor viktig er dette og hva?
• Erfaring med tema, erfaring med internett etc.
• Testleder (ledende spørsmål etc)
Faktorer som påvirker resultatet

Huskelister
For bedre gjennomføring

Ansvarlig Beskrivelse Tidspunkt
Oppdragsgiver og MW Oppdragsgiver og MW Min. 1 uke før testen
Oppdragsgiver og MW Utarbeide verveguide til rekruttering av deltakere Helst 2 uker før testen
Oppdragsgiver og
rekrutteringsbyrå
Rekruttere testdeltakere – husk å ha 2(1) deltakere i reserve Helst 2(1) uker før testen
Oppdragsgiver Utarbeide innhold til prototypen Min 1 uke før testen
Rekrutteringsbyrå / MW Sett opp timeplan for testen. Minimum 15 minutters pause
mellom deltakerne.
Min. 1 uke før testen
Rekrutteringbyrå Minne deltakere om brukertest Dagen før
Oppdragsgiver og MW Avstemme testscript Min. 4 dager før testen
MW Booke test-rommene Min. 2 uker før testen
Oppdragsgiver Kjøp deltakerpremie eller sørg for at disse er tilgjengelig.
Gavekort på 500,- er standard.
Min. 1 uke før testen
Forberedelse

Testleder og test-
medhjelper
Gjennomfør minimum 1 pilottest med spørreskjema og
etterintervju
PILOTTEST, helst 3 dager
før hovedtest
MW Gjør endringer i testopplegget (testscript/prototyp) dersom
det er nødvendig etter pilottesten
Etter pilottest
MW Ta utskrift av taushetserklæringen hvis nødvendig Dagen før testen
MW Kjøp forfriskninger til bruk under testen (farris, cola etc.) Dagen før testen
Oppdragsgiver Evt. godkjenning av justert testscript Etter pilottest
Pilottest

Making Waves Informer resepsjonen om at testen skal gjennomføres og gi
timeplan for testen (med navn)
Før testen
Making Waves Heng timeplanen på døra til testplanen. Informer alle på
teststedet om testen
Før testen
Making Waves Ha Kaffe og forfriskninger til Testdeltakerne klart Rett før testen
Making Waves Sjekk at det er film i kameraene Rett før testen
Making Waves Sørg for at prototypen er resatt og satt til å vise førstesiden
(minimer)
Rett før testen
Making Waves Be deltaker signere taushetserklæring TESTEN
Making Waves Gjennomfør spørreundersøkelse TESTEN
Making Waves Gjennomfør praktisk test TESTEN
Making Waves Gjennomfør etterintervju TESTEN
Making Waves Gi deltakeren deltakerpremie TESTEN
Making Waves Skriv problemrapport med funn fra brukertesten. Etter testen
Making Waves Opptak fra testen klargjøres til leveranse dersom dette er
avtalt på forhånd
Etter testen
Making Waves og
Oppdragsgiveren
Overlevere problemrapport til Oppdragsgiveren i et eget
presentasjonsmøte
Oppdragsgiveren godkjenner problemrapporten.
Etter at rapporten er ferdig
Brukertesten

Making Waves Making Waves/ Oppdragsgiver Oppstartsmøte
Making Waves Making Waves/ Oppdragsgiver Avstemming av testscript
Making Waves Making Waves/ Oppdragsgiver Presentasjon av
testresultater
Møter

For å gjennomføre en brukervennlighetstest kreves følgende maler:
• Verveguide
• Taushetserklæring
• Timeplan og deltakerliste
• Excelark til testmedhjelper
• Forintervju
• Testskript
• Etterintervju
• Skjema for utfylling av potensielle testdeltakere
Testmaler

Et reellt eksempel fra en Brukertest
• Du vil få se en 4 minutter lang video
• Noter hva som skjer
• Deretter viser vi hvordan vi analyserte testen
Video: eksempel

«The usability test and cardsort has nothing
to do with creating a good design, you can
create an incredible crappy design from
using these...
We have proven this time and time again!»
- Jared Spool: IA Summit keynote 2008

• Nedenfor er det illustrert hvordan en typisk testprosess ser ut:
– En prioritert liste over tiltak med løsningsforslag fra brukertesten
som fører til en wireframeskisse og grafisk uttrykk
Fra prioritert tiltaksliste til skisse

66
Designbrief: Vi endrer designet
på selve filtreringen
Denne inndelingen
må splittes opp og
restruktureres
Activity må
forklares og
settes under
«Gender» i
rekkefølge
«Technology» må
forklares og eventuelt
ny navngiving
«Collection»
må forklares /
showcases
21
3
4 5

• Ikke gjør brukerne dine dumme!
• Design for virkelige mennesker og situasjoner
• Test og test igjen
• Få med flest mulig fra din organisasjon til å observere testen
Oppsummering
BRUKERTESTING

Ta kontakt!
Haakon Halvorsen
Manager Experience Research
haakon.halvorsen@makingwaves.no
mobil 992 96 717
twitter: @haakonha

Er brukerne dumme? (Frokostseminar om brukertesting)

Recommandé

Recommandé

Contenu connexe

Similaire à Er brukerne dumme? (Frokostseminar om brukertesting)

Similaire à Er brukerne dumme? (Frokostseminar om brukertesting) (20)

Er brukerne dumme? (Frokostseminar om brukertesting)