Expertenbasierte Usability Analysen

Expertenbasierte Usability-Analysen
Usability-Checklisten, Heuristische Evaluation, Cognitive Walkthrough.

Expertenbasierte Analysen

› Die Ausgangsituation bei einer expertenbasierten Usability-Analyse ist folgende: Weil ein
User-Test zu aufwändig ist, simuliert ein erfahrener Experte das Verhalten der User. Er
kann das, weil er:
› a) die theoretischen Grundlagen der Mensch-Maschine-Interaktion kennt und
› b) in zahlreichen User-Tests das Verhalten der User studiert hat.

› Grundsätzlich gilt für expertenbasierte Usability-Analysen, das die Qualität der
Ergebnisse stark von dem verantwortlichen Experten abhängen.
› Je besser der Experte ist, desto mehr echte Usability-Probleme wird er finden
› Je besser der Experte ist, desto weniger „false positives“ wird er generieren.

© 2008 //SEIBERT/MEDIA GMBH


› Eine Folge dieser starken Abhängigkeit der Ergebnisqualität von der Expertenkompetenz,
ist die Vorgabe, dass mindestens drei Evaluatoren eine expertenbasierte Usability-
Analyse durchführen sollten.
› Wenn sich nur ein einziger Experte eine Anwendung anschaut, sind die Ergebnisse in
jedem Fall unvollständig. Methodenvergleichende Studien zeigen hier dramatische
Werte, die eine Analyse von weniger als drei Evaluatoren disqualifizieren.



› In der Praxis spielen expertenbasierte Usability-Analysen als eigenständige Leistung nur
eine untergeordnete Rolle. Häufig werden sie in ein größeres Projekt integriert
(Analysephase oder QS), sie werden in der Vertriebsphase eingesetzt oder sie werden als
vorgeschaltete Leistung beauftragt. Mehr Geld verdienen kann man mit nutzerbasierten
Studien.


Usability-Checklisten: Allgemeines

› Bei einer Checklisten-Analyse wird geprüft, inwiefern eine Anwendung mit bestimmten
Richtlinien übereinstimmt. Der Experte notiert alle Punkte, in denen keine
Übereinstimmung besteht.
› Checklisten-Analysen sind die einfachste Form der expertenbasierten Evaluation. Jede
beliebige Person kann eine Checklisten-Analyse durchführen. Die Kunst besteht in der
intelligenten Anwendung.
› Die Ergebnisqualität von Checklisten-Analysen ist gering.
› In der Praxis werden Usability-Checklisten selten als eigenständiges Instrument
eingesetzt. Häufig kommt ein Multi-Methoden-Ansatz zum Tragen.


Usability-Checklisten: Herkunft der Richtlinien

› Empirische Erkenntnisse aus User-Tests, die vielfach verifiziert wurden und eine hohe
Güte besitzen, werden in Richtlinien überführt. Das ist der übliche und etablierte Ansatz
für die Generierung von Richtlinien.
› Vereinzelt werden allgemeine theoretische Grundlagen aus der Mensch-Maschine-
Interaktion in Richtlinien überführt. Allerdings ist dieser Ansatz sehr fragwürdig.


Usability-Checklisten: Vorteile

› Usability-Checklisten sind günstig. Teilweise stehen sie kostenlos zur Verfügung,
teilweise können sie günstig erworben werden. Es bedarf nur einer geringen Investition
in das Instrument.
› Usability-Checklisten sind einfach. Auch ungeschulte Personen erzielen bei der
Anwendung ein vorzeigbares Ergebnis, das thematisch nicht affine Kunden überzeugen
kann.
› Usability-Checklisten sind eine schnell. Innerhalb weniger Stunden lassen sich
Ergebnisse produzieren, die ganz konkrete Handlungsempfehlungen darstellen.
› Usability-Checklisten sind eindeutig. Für jedes gefundene Problem wird in der Regel auch
eine Lösung angeboten, das erleichtert die Umsetzung der Erkenntnisse.


Usability-Checklisten: Nachteile

› Usability-Richtlinien sind entweder zu spezifisch oder sie sind zu allgemein und deshalb
unbrauchbar.
› Usability ist problemorientiert, es werden Missstände aufgedeckt. Richtlinien sind
lösungsorientiert, sie empfehlen eine bestimmte Umsetzung. Die Mehrdimensionalität
der Lösungsfindung wird ignoriert, es gibt nicht nur eine Lösung für ein Problem.
› Richtlinien sind eine Verallgemeinerung spezifischer Erkenntnisse, die an einem
bestimmten Objekt gewonnen wurden. Häufig lassen sich diese Erkenntnisse nicht
einfach auf andere Objekte übertragen.
› Richtlinien sind reaktiv, sie beziehen sich auf in der Vergangenheit gewonnene
Erkenntnisse. In der Praxis hat man es jedoch häufig mit neuen Lösungen zu tun, die
noch nicht untersucht wurden. Es gibt dann keine Information darüber, ob diese
funktionieren oder nicht.
› Richtlinien sind innovationshemmend, neue Lösungen werden automatisch als nicht
richtlinienkonform klassifiziert und damit als negativ gewertet.

Usability-Checklisten: Beispiele

› Usability-Checklisten sind inhaltlich in Kategorien unterteilt. In der Regel orientieren sich
diese Kategorien an den verschiedenen Elementen einer Anwendung. Folgende
Kategorisierung hat sich etabliert: Layout, Navigation, Content, Funktionalität,
Technologie.
› Die Richtlinie selbst ist eine einfach formulierte Aussage oder Frage. Bei hochwertigen
Checklisten werden diese nochmal erläutert und ggf. um Quellen ergänzt, in denen die
empirischen Erkenntnisse dokumentiert sind.
› Hilfreich ist auch eine Definition der Wichtigkeit einer Richtlinie ist. Das ist insb. für die
Interpretation der Ergebnisse von Bedeutung, wichtige Richtlinien sollten eher
eingehalten werden als unwichtige Richtlinien.
› Bekannte Beispiele von Usability-Checklisten sind:
› Research-Based Web Design and Usabililty Guidelines des US Department of Health and
Human Services.
› Usability-Guidelines der Nielsen Norman Group.
› Web-Usability-Guidelines von //SEIBERT/MEDIA. © 2008 //SEIBERT/MEDIA GMBH

Usability-Checklisten: Anwendung

› 1) Relevanz: Im ersten Schritt muss geprüft werden, ob die Richtlinie im vorliegenden Fall
überhaupt relevant ist. Nur Richtlinien, die auf die untersuchte Applikation auch
angewandt werden können, dürfen untersucht werden.
› 2) Konformität: Die Konformität mit der Richtlinie muss geprüft werden. Dabei ist der
„gesunde Menschenverstand“ besonders wichtig, um intelligente Ergebnisse zu
erhalten. Der Gesamtkontext und das Ziel der Analyse dürfen nicht aus den Augen
verloren werden.
› 3) Beschreibung: Die Abweichung von einer Richtlinie muss beschrieben werden. Es
muss dokumentiert werden, inwiefern die Anwendung gegen die Richtlinie verstößt. Hier
ist besonders darauf zu achten, dass sachlich und nüchtern formuliert wird, um
Befindlichkeiten nicht zu verletzen.



› 4) Schweregrad: Der Schweregrad der Abweichung muss festgestellt werden. Es gibt in
der Usability-Forschung eine etablierte Skala, die fünfstufig ist:
› 0 = Kein Problem
› 1 = Kosmetisches Problem
› 2 = Kleines Problem
› 3 = Großes Problem
› 4 = Usability-Katastrophe

› 5) Verbesserungsvorschlag: Es sollte ein Verbesserungsvorschlag beschrieben werden,
wie das erkannte Problem behoben werden kann. Im einfachsten Fall wird einfach auf die
Richtlinie verwiesen, im besten Fall werden die Spezifika der Anwendung berücksichtigt.
› 6) Aufwandschätzung: Hilfreich ist auch eine Aufwandschätzung, um dem Kunden einen
Eindruck dafür zu geben, wie teuer die Korrektur wird und wie tief der Eingriff ist. In
Abhängigkeit davon wird der Kunde entscheiden, ob eine Umsetzung erfolgt oder nicht.


› 7) Management Summary: Nach der Prüfung aller Richtlinien wird ein Management
Summary erstellt, in dem die 10 wichtigsten Punkte zusammengefasst werden. Sinnvoll
kann es sein, auch positive Punkte hervorzuheben, um ein Gegengewicht zu erzeugen
und eine entspannte Atmosphäre zu schaffen.


Heuristische Evaluation: Allgemeines

› Bei der Heuristischen Evaluation wird geprüft, inwiefern eine Anwendung mit
bestimmten Usability-Prinzipien (sog. Heuristiken) übereinstimmt.
› Der Evaluator ist bei der Begutachtung der Website relativ flexibel. Ihm liegt lediglich die
Liste mit den Heuristiken vor, in der beschrieben ist, welche grundlegenden
Eigenschaften die Anwendung erfüllen soll.
› Abweichungen von den Heuristiken werden als Usability-Probleme definiert.


Heuristische Evaluation: Herkunft

› In einem viel beachteten Aufsatz haben Jakob Nielsen und Rolf Molich 1990 eine Reihe
von Grundprinzipien vorgestellt, mit deren Hilfe die Usability grafischer
Benutzeroberflächen untersucht werden kann.
› Die Heuristiken hatten sie entwickelt, indem sie die Ergebnisse von User-Tests
kategorisiert haben. Bald stellten sie fest, dass sich die Erkenntnisse immer in die
gleichen Kategorien einordnen lassen konnten.
› In den 1990er Jahren hat sich Nielsen inhaltlich intensiv mit den Heuristiken
auseinandergesetzt und diese verfeinert. Auf der Basis einer aufwändigen
Faktorenanalyse entwickelte er 1994 eine Liste mit insgesamt zehn Heuristiken, die
sich seither in der Praxis bewährt haben und vielfach verifiziert werden konnten.
› Alternative Ansätze zu den Heuristiken von Jakob Nielsen und Rolf Molich gibt es einige,
inhaltlich überschneiden sich diese jedoch zu einem großen Teil. Viel Aufmerksamkeit
wurde bspw. den „Eight Golden Rules of Interface Design“ von Ben Shneiderman zuteil.


Heuristische Evaluation: Die Heuristiken

› 1. Sichtbarkeit des Systemstatus:
› Das System soll die Benutzer durch eine angemessene Rückmeldung darüber informieren,
was gerade geschieht. Beispiel: Ladebalken.

› 2. Übereinstimmung zwischen System und realer Welt:
› Das System soll in jeglicher Hinsicht die Sprache des Benutzers sprechen. Beispiel: Anrede.

› 3. Benutzerkontrolle und Benutzerfreiheit:
› Der Benutzer soll stets selbst die Kontrolle über die Anwendung haben, das System darf
keine unkontrollierten Aktionen ausführen. Beispiel: Dateidownload.

› 4. Konsistenz und Standards:
› Das System sollte sich an den gängigen Standards orientieren und in sich konsistent sein.
Beispiel: Buttons.

› 5. Fehlervermeidung:
› Der Nutzer sollte vor Fehlern weitgehend bewahrt werden, das System sollte ihn rechtzeitig
zu einer richtigen Aktion steuern. Beispiel: Erklärungstexte.

Heuristische Evaluation: Die Heuristiken

› 6. Erkennen statt Erinnern:
› Die Benutzer sollten sich nicht an Informationen aus einem früheren Teil des Dialogs erinnern
müssen. Beispiel: Datenübertragung.

› 7. Flexibilität und Effizienz der Benutzung:
› Häufig auftretende Aktionen sollten in einer vereinfachten Form dargeboten werden, um
Fortgeschrittene zu entlasten. Beispiel: Shortcuts.

› 8. Ästhetik und minimalistisches Design:
› Dialoge sollten keine irrelevanten Informationen enthalten, da die Informationen um die
Aufmerksamkeit des Benutzers konkurrieren. Beispiel: Startseitengestaltung.

› 9. Fehlerbehebung:
› Fehlermeldungen sollten in natürlicher Sprache ausgedrückt werden, sie sollten das Problem
präzise beschreiben und eine konstruktive Lösung vorschlagen. Beispiel: Formulare.

› 10. Hilfe und Dokumentation:
› Es sollte eine Hilfe zu der Anwendung geben, die der User in Anspruch nehmen kann. Beispiel:
Info-Icons. © 2008 //SEIBERT/MEDIA GMBH

Heuristische Evaluation: Vorteile

› Jeder kann eine Heuristische Evaluation durchführen, es gibt keinerlei Einstiegshürden
für dieses Instrument, insb. was die finanzielle Komponente betrifft.
› Die Ergebnisse sind häufig sehr vielschichtig, weil die Evaluatoren ohne „Scheuklappen“
durch die zu untersuchende Anwendung gehen.
› Die Methode lässt günstig abbilden und eignet sich sehr gut zum Einstieg in das Thema
Usability und für die Sensibilisierung von Problemen.


Heuristische Evaluation: Nachteile

› Die Methode ist unsystematisch. Es gibt keine Sicherheit dafür, dass eine vollständige
Prüfung durchgeführt wurde. Gerade unerfahrene Evaluatoren tendieren zu
unvollständigen Ergebnissen.
› Die Ergebnisse sind streitbar. Sie beruhen sehr stark auf der Einschätzung des
Evaluators und sind deshalb stark mit dessen wahrgenommener Kompetenz und
Seniorität verbunden.
› Die Qualität der Ergebnisse hängt stark von der Qualität des Evaluators ab. Es besteht
eine große personelle Abhängigkeit vom verantwortlichen Consultant.
› Die Heuristiken stellen Abstraktionen von Problemen dar, sie sind unspezifisch und nicht
konkret. Das macht ihre Anwendung schwer, es kommt das Gefühl auf, die Methode sei
unwissenschaftlich und ihre Ergebnisse schwammig.
› Für hochwertige Ergebnisse benötigt man mehrere Evaluatoren. Weil ein einzelner
Experte nur 40 Prozent der tatsächlichen Usability-Probleme findet, sollten an einer
professionellen Heuristischen Evaluation mind. drei Evaluatoren teilnehmen.

Heuristische Evaluation: Anwendung

› 1) Team: Anzahl der Evaluatoren definieren und den Kunden auf die Auswirkungen auf die
Ergebnisqualität hinweisen. Das ist ein notwendiger erster Schritt.
› 2) Gegenstand: Bereiche der Anwendung definieren, die untersucht werden sollen.
Gerade bei komplexen Anwendungen mit mehreren Hundert Seiten oder mehreren
Dutzenden Prozessen sollte der Untersuchungsgegenstand klar definiert werden.
› 3) Heuristische Evaluation: Analyse der Anwendung, Probleme müssen identifiziert und
dokumentiert und die einzelnen Probleme müssen den verschiedenen Heuristiken
zugewiesen werden. Die Beschreibung kann stichwortartig erfolgen.
› 4) Abstimmung: Die Experten sollten die Ergebnisse der einzelnen Evaluationen
gegenseitig präsentieren und sich abstimmen. Ansonsten ist das Zusammenführen der
Ergebnisse schwierig und kann zu Fehlinterpretationen führen.
› 5) Aufbereitung: Auch bei der Heuristischen Evaluation empfehlen sich die Angabe eines
Schweregrades, eines Lösungsvorschlags und einer Aufwandschätzung.


Cognitive Walkthrough: Allgemeines

› Mithilfe des Cognitive Walkthrough werden gezielt einzelne Prozesse einer Applikation
untersucht und begutachtet.
› Im Gegensatz zur Checklisten-Analyse und zur Heuristischen Evaluation, die einen
ganzheitlichen Blick auf eine Anwendung werfen, betrachtet der Cognitive Walkthrough
immer nur einen bestimmten Ausschnitt.

› Der CW ist die mit Abstand am meisten beauftragte expertenbasierte Methode. Während
die anderen Methoden eher im Vertriebsprozess, in der Analysephase und bei der QS zum
Einsatz kommen, wird der Cognitive Walkthrough auch häufig einzeln beauftragt.
› Der Grund dafür ist die Prozessorientierung.
› Der Cognitive Walkthrough ist die kompletteste expertenbasierte Methode. Er
inkorporiert er die anderen expertenbasierten Methoden in gewisser Weise.


Cognitive Walkthrough: Theoretische Grundlagen

› Der Cognitive Walkthrough baut auf dem theoretischen Modell des User Interaction Cycle
auf. Zwei Grundannahmen:
› a) Jede Interaktion mit einem System verfolgt ein ganz konkretes Ziel.
› b) Der Weg zu diesem Ziel lässt sich in mehrere Schritte unterteilen.

› Der User Interaction Cycle besteht aus vier verschiedenen Abschnitten, die sich in jedem
Schritt wiederholen:
› Planung (was will ich machen?)
› Übersetzung (wie mache ich das?)
› Handlung (Ausführen einer Aktion)
› Beurteilung (was hat das System gemacht?).

› Ein beliebtes Bild, das dieses theoretische Grundmodell anschaulich darstellt ist die
„information scent“, die Informationsfährte.
› So wie ein Jäger die Spuren einer Tieres untersucht und diesem folgt, untersucht der User die
Reaktion des Systems und beurteilt danach, ob er noch auf der richtigen Fährte ist.


Cognitive Walkthrough: Theoretische Grundlagen


Cognitive Walkthrough: Vorteile

› Die Methode wird meist dann beauftragt, wenn bereits ein Problembewusstsein
vorhanden ist und konkrete Hilfe für dieses Problem gesucht wird.
› Jedes dargestellte Problem ist ein potentieller Abbruch, deshalb haben die Erkenntnisse
einen hohen Grad an Glaubwürdigkeit.
› Durch den sehr eng gesteckten Rahmen bedarf es vor allem Konzentration und
Aufmerksamkeit, nicht so sehr Methodenkenntnis, um ein gutes Ergebnis zu erzeugen.
› Es empfiehlt sich insb. bei sehr fehlerhaften Prozessen, diese Methode einem
nutzerbasierten Test vorzuschalten, um offensichtliche Stolperfallen zu beseitigen.
› Die Ergebnisse lassen sich schön zu „User Stories“ ausbauen. Einzelne Anbieter haben
hier richtig kreative Methoden gefunden, um die Ergebnisse aufzubereiten.


Cognitive Walkthrough: Nachteile

› Auch hier ist die Qualität der Ergebnisse stark mit der Kompetenz des Experten
verknüpft.
› Hier kommt in besonderem Maße hinzu, dass sich die Erfahrung von User-Tests positiv
auswirkt, weil dort ebenfalls konkrete Prozesse untersucht werden.

› Beim Cognitive Walkthrough ist die Gefahr von „false positives“ besonders groß. Es
können Punkte als Usability-Probleme identifiziert werden, die gar keine sind.
› Dafür ist der Cognitive Walkthrough besonders anfällig, weil es weder Richtlinien noch
Heuristiken gibt, es handelt sich um eine ungestützte Simulation des User-Verhaltens.


Cognitive Walkthrough: Anwendung

› 1) Prozessdefinition: Der zu untersuchende Prozess muss mit dem Kunden abgestimmt
und der Idealweg definiert werden. Das sind die Schritte, die später untersucht werden.
› 2) Team: Auch hier sollte ein Projektteam zusammengestellt werden, im Idealfall gehen
drei Evaluatoren durch die zu untersuchende Anwendung. Allen Evaluatoren muss der
Idealweg kommuniziert werden, damit der Untersuchungsgegenstand der gleiche ist.
› 3) Cognitive Walkthrough: Die Evaluatoren gehen gehen durch den Idealprozess und
prüfen die Anwendung systematisch auf sog. „failure stories“, also mögliche
Ausstiegspunkte. Dabei empfiehlt es sich, den Blick nicht auf den Prozess zu
fokussieren, sondern auch den Kontext zu betrachten. Die Anwendung von Heuristiken
kann hier ebenfalls hilfreich sein, um eine instrumentelle Hilfe zu haben.
› 4) Abstimmung: Die Evaluatoren notieren alle „failure stories“ und besprechen diese
anschließend in einem gemeinsamen Meeting. Der Projektleiter trägt die Erkenntnisse
zusammen und bereitet die Ergebnisse abschließend auf.


Cognitive Walkthrough: Anwendung

› 5) Dokumentation: Im Idealfall werden die Fehler dokumentiert. Das kann mithilfe
einfacher Screenshots oder Screencasts erfolgen (ein sehr hilfreiches Tool ist hier Jing).
Die Dokumentationen werden bei //SEIBERT/MEDIA online verfügbar gemacht und die
Links werden in den Abschlussbericht integriert.
› 6) Aufbereitung: Wie bei den anderen Methoden, empfehlen sich auch hier eine
Bewertung des Schweregrades, ein Lösungsvorschlag und eine Aufwandschätzung.


Expertenbasierte Usability Analysen

Recommandé

Recommandé

Contenu connexe

Similaire à Expertenbasierte Usability Analysen

Similaire à Expertenbasierte Usability Analysen (20)

Plus de Martin Seibert

Plus de Martin Seibert (17)

Expertenbasierte Usability Analysen