Endauswertung durchführen
Nach der letzten Testperson wird eine max. zweistündige ausführliche
Endauswertung durchgeführt. Dabei werden die als Usability Problem eingestuften
Beobachtungen (rote Klebezettel) analysiert, die Problembeschreibung wird
konkretisiert, so dass sie später für Nicht-Anwesende Mitarbeiter verständlich
ist, und Problemursachen oder konkrete Verbesserungsvorschläge werden ergänzt.
Zusätzlich wird für jedes Problem der Schweregrad, die aktuelle Relevanz und
die Anzahl der Testnutzer, bei denen das Problem aufgetreten ist, ergänzt.
Der Schweregrad unterscheidet die drei Stufen gering, ernst und
katastrophal. Er bezieht sich auf die Usability der Software und wird von den
Usability Experten (i.d. R. Testleiter und Protokollant) eingestuft. Die Relevanz beinhaltet die
Abstufungen wenig relevant, relevant, stark relevant und sehr stark relevant
und bezieht sich auf die aktuellen Entwicklungsphase. Sie wird von einem
Produktverantwortlichen Unternehmensvertreter eingestuft.
Für beide liegt eine Anleitung mit Beschreibung vor (siehe Tabelle
Schweregrad und Relevanz).
Stufe
|
Beschreibung
|
|
Schweregrad
|
Gering (S1)
|
Verzögert Nutzer
kurz.
|
Ernst (S2)
|
Verzögert Nutzer
wesentlich, erlaubt ihnen aber letztlich die Aufgabe zu erfüllen.
|
|
Katastrophal (S3)
|
Hindert Nutzer an
der Aufgabenerfüllung.
|
|
Relevanz
|
Wenig relevant
(R1)
|
Muss aktuell nicht
bearbeitet werden.
|
Relevant (R2)
|
Sollte bearbeitet
werden, sobald hierfür die nötige Zeit frei wird.
|
|
Stark relvant (R3)
|
Wichtig: Sollte
unbedingt bearbeitet werden, sobald hierfür Zeit frei gemacht werden kann.
|
|
Sehr stark
relevant (R4)
|
Top-Priorität:
Unbedingt zu bearbeiten – möglichst als erstes und möglichst schnell.
|
Schweregrad und Relevanz
Ergebnisreport zusammenstellen
Für den Ergebnisreport wird das zweite Set der ausgedruckten Screens
verwendet. Die analysierte roten Klebezettel werden individuell auf dem
zugehörigen Screen platziert und fotografiert, so dass ein Fotoreport mit
einzeln aufgeführten Usability Problemen entsteht (problembezogen).
Alle weiteren Klebezettel (grün, gelb und blau) werden zusammen auf
einem Screen fotografiert (seitenbezogen). Sie dienen als zusätzliche
Information und Inspiration und werden nicht individuell ausgewertet.
Der Ergebnisreport dient als Gedächtnisstütze für eine zeitnahe
Verarbeitung in den nächsten Iterationszyklen. Er bietet keine ausführliche
Beschreibung der aufgetretenen oder zugrundeliegenden Probleme, weshalb zur
korrekten Einordnung der Erkenntnisse die Anwesenheit eines
Unternehmensvertreters während der Testung erforderlich ist.
Management Summary erstellen
Neben dem Ergebnisreport wird noch eine kurze Executive Summary
erstellt. Darin wird der Gesamteindruck sowie die wichtigsten Erkenntnisse oder
übergeordnete Probleme, die nicht explizit auf den Klebezetteln vorhanden sind,
festgehalten.
Die Executive Summary wird gemeinsam von Testleiter, Protokollant
und Unternehmensvertreter erstellt und sollte nicht nicht länger als eine DinA4
Seite sein.
Fotoreport und Management Summary können direkt im Anschluss an den
Unternehmensvertreter ausgehändigt werden.
Download Paper der Methodenevaluation
Präsentation zur Vorstellung der Methode und deren Evaluation
Download der PräsentationDownload Paper der Methodenevaluation