Ablauf
Die Nutzertests werden hintereinander mit insgesamt vier Testnutzern
durchgeführt. Zwischen jedem Test findet eine ca. zehnminütige
Zwischenauswertung von Testleiter, Protokollant und Unternehmensvertreter
statt. Nach zwei Tests sollte eine kurze Pause eingelegt werden. Nach der
letzten Testperson wird eine ausführliche Endauswertung vorgenommen, in der ein
Gesamtbericht aller relevanten Ergebnisse erstellt wird.
Eine beispielhafte Ablaufplanung zur Orientierung:
Eine beispielhafte Ablaufplanung zur Orientierung:
- 09:00-11:00 - Vorbesprechung und Vorbereiten der Unterlagen
- 11:15-11:30 - Technische Vorbereitung und Begrüßung des Produktverantwortlichen
- 11:30-12:15 - Testperson 1
- 12:15-13:00 - Testperson 2
- 13:00-13:30 - Mittagspause
- 13:30-14:15 - Testperson 3
- 14:15-15:00 - Testperson 4
- 15:00-15:15 - Kaffeepause
- 15:15-17:00 - Abschlussauswertung und Reporterstellung
Protokollierung
Während der Testung protokolliert der Protokollant alle Erkenntnisse
auf farbigen Klebezetteln und klebt diese an die betroffene Stelle auf den
ausgedruckten Screens. Die Farben der Klebezettel entsprechen dabei den vier
Kategorien Usability Problem (rot), Hinweis/ Kommentar (gelb), positive
Erkenntnis (gün) und Bug (blau). Der Versuchsleiter achtet darauf, dass der
Protokollant genügend Zeit zum Notieren hat und macht ggf. kurze Pausen.
Zur Präzisierung der Beobachtungen steht eine Anleitung mit
detaillierten Problemarten und möglichen Ursachen zur Verfügung (siehe Tabelle
Problemkategorien).
- Usability Problem (rot): verursacht Probleme und Verzögerungen in der Aufgabenbearbeitung – „Verständnisproblem“, „Nicht gesehen“, „Unsicherheit bei der Nutzung“ oder „Fehlerhafte Nutzung“
- Hinweis/ Kommentar (gelb): hat keine Auswirkung auf den Erfolg der Aufgabenbearbeitung – „Erwartung“, „Persönliche Präferenz“, „Wunsch/ Vorschlag“ oder „Hinweis“
- Positive Erkenntnisse (grün): positive Äußerungen oder Verhalten in der beabsichtigten Weise – „Explizit“ oder „Implizit“
- Bug (blau): Fehlfunktion der Software – „Funktion“ oder „Inhalt“
Ergebnisse aus nachfolgenden Testungen werden auf dieselben
Ausdrucke geklebt, so dass ein gemeinsames Protokoll für alle Testpersonen
angelegt wird. Bei vergleichbaren Erkenntnisse durch verschiedene Testnutzer
wird die Anzahl der Nutzer auf dem enstprechenden Klebezettel festgehalten.
Art
|
Mögliche Ursache/ betrifft
|
|
Problem
(rot)
|
Verständnisproblem
|
|
Nicht
gesehen
|
|
|
Unsicherheit
bei der Nutzung
|
|
|
Fehlerhafte
Nutzung
|
|
|
Hinweis
(gelb)
|
Persönliche
Präferenz / Verhaltensweise
|
|
Erwartung
|
|
|
Wunsch/
Vorschlag
|
|
|
Hinweis
|
|
|
Positiv
(grün)
|
Explizit
|
|
implizit
|
|
|
Bug
(blau)
|
Funktion
|
|
Inhalt
|
|
Problemkategorien
Post-it Layout:
Die Klebezettel werden so beschriftet, dass sie ausreichend Platz
für Problembeschreibung, Verbesserungsvorschlag, Schweregrad und
Relevanzeinstufung bieten (siehe Abbildung Post-it Layout). Dafür empfiehlt
sich eine Größe von ca 76 x 76mm.
Post-It Layout |
Post-It eines Usability Problems |
Zwischenauswertung
Direkt im Anschluss an jeden Test erfolgt eine ca. zehnminütige
Zwischenauswertung durch Protokollant, Versuchsleiter und den anwesenden
Unternehmensvertretern.
Dabei werden die Erkenntnisse der vorangegangenen Testung genauer
spezifiziert, zusätzliche Eindrücke ergänzt, zusammenhängende Ergebnissen
zusammengefasst und die Einstufung in die Problemkategorie (Farbe des
Klebezettels) diskutiert. Insbesondere die Zuweisung zu Usability Problemen
(rote Klebezettel) wird diskutiert, da diese in der Abschlussauswertung
besonders berücksichtigt werden.
Der Fokus der Zwischenauswertung liegt auf der Sammlung, korrekten
Kategorisierung und Zusammenfassung der bisherigen Erkenntnisse, es sollen noch
keine möglichen Ursachen der Probleme besprochen werden.