Testdurchführung


Ablauf


Die Nutzertests werden hintereinander mit insgesamt vier Testnutzern durchgeführt. Zwischen jedem Test findet eine ca. zehnminütige Zwischenauswertung von Testleiter, Protokollant und Unternehmensvertreter statt. Nach zwei Tests sollte eine kurze Pause eingelegt werden. Nach der letzten Testperson wird eine ausführliche Endauswertung vorgenommen, in der ein Gesamtbericht aller relevanten Ergebnisse erstellt wird.

Eine beispielhafte Ablaufplanung zur Orientierung:
  • 09:00-11:00 - Vorbesprechung und Vorbereiten der Unterlagen
  • 11:15-11:30 - Technische Vorbereitung und Begrüßung des Produktverantwortlichen
  • 11:30-12:15 - Testperson 1
  • 12:15-13:00 - Testperson 2
  • 13:00-13:30 - Mittagspause
  • 13:30-14:15 - Testperson 3
  • 14:15-15:00 - Testperson 4
  • 15:00-15:15 - Kaffeepause
  • 15:15-17:00 - Abschlussauswertung und Reporterstellung
Diese Zeitplanung ist geeignet für relativ kurze und spezifische Workflows, mit einem geübten Team. Bei ungeübten Teams oder etwas umfangreicheren oder komplexeren Workflows ist es empfehlenswert, die Vorbesprechung und ggf. auch das Vorbereiten der Unterlagen bereits am Vortag durchzuführen. Bei höherem Zeitbedarf kann der Arbeitstag auch auf 8 bis 18 Uhr ausgedehnt werden.

Protokollierung


Während der Testung protokolliert der Protokollant alle Erkenntnisse auf farbigen Klebezetteln und klebt diese an die betroffene Stelle auf den ausgedruckten Screens. Die Farben der Klebezettel entsprechen dabei den vier Kategorien Usability Problem (rot), Hinweis/ Kommentar (gelb), positive Erkenntnis (gün) und Bug (blau). Der Versuchsleiter achtet darauf, dass der Protokollant genügend Zeit zum Notieren hat und macht ggf. kurze Pausen.

Zur Präzisierung der Beobachtungen steht eine Anleitung mit detaillierten Problemarten und möglichen Ursachen zur Verfügung (siehe Tabelle Problemkategorien).

  • Usability Problem (rot): verursacht Probleme und Verzögerungen in der Aufgabenbearbeitung – „Verständnisproblem“, „Nicht gesehen“, „Unsicherheit bei der Nutzung“ oder „Fehlerhafte Nutzung“
  • Hinweis/ Kommentar (gelb): hat keine Auswirkung auf den Erfolg der Aufgabenbearbeitung – „Erwartung“, „Persönliche Präferenz“, „Wunsch/ Vorschlag“ oder „Hinweis“ 
  • Positive Erkenntnisse (grün): positive Äußerungen oder Verhalten in der beabsichtigten Weise – „Explizit“ oder „Implizit“
  • Bug (blau): Fehlfunktion der Software – „Funktion“ oder „Inhalt“

Ergebnisse aus nachfolgenden Testungen werden auf dieselben Ausdrucke geklebt, so dass ein gemeinsames Protokoll für alle Testpersonen angelegt wird. Bei vergleichbaren Erkenntnisse durch verschiedene Testnutzer wird die Anzahl der Nutzer auf dem enstprechenden Klebezettel festgehalten.


Art
Mögliche Ursache/ betrifft
Problem (rot)
Verständnisproblem
    • Wording nicht aussagekräftig  
    • Inhalte nicht konsistent benannt   
    • Keine Erklärungen/ Infos vorhanden

Nicht gesehen
    • Schlechte/ unübliche Positionierung von Elementen
    • Design ungünstig (Kontrast/ Hintergrund...)
    • Standards nicht eingehalten

Unsicherheit bei der Nutzung
    • kein Feedback auf Nutzereingabe (z.B. erfolgreicher Abschluss)
    • keine Orientierung über folgende Schritte

Fehlerhafte Nutzung
    • kein Feedback zu Fehlern
    • keine Infos verfügbar
    • kein Rückgängig möglich
    • erwartete Funktion nicht implementiert
Hinweis (gelb)

Persönliche Präferenz / Verhaltensweise
    • Design/ Darstellung
    • Vorgehen
    • Eingabe von Daten
    • Nutzung von Features

Erwartung
    • Darstellung von Inhalten/ Symbolen
    • Verlinkungen innerhalb des Programms
    • Interaktionsmöglichkeiten
    • weitere Schritte

Wunsch/ Vorschlag
    • weitere Features
    • Interaktionsart
    • Informationen
    • Alternativen/ Neue Ideen

Hinweis
    • Inkonsistenzen
    • Unklarheiten
    • Standards von anderen Produkten
Positiv (grün)
Explizit
    • Äußerung


implizit
    • Handlung
Bug (blau)   
Funktion
    • z.B. falsche/ fehlende Verlinkung, falsche Interaktion,


Inhalt
    • z.B. falsche/fehlende Inhalte, copy-paste Fehler, Tippfehler
Problemkategorien

Post-it Layout:


Die Klebezettel werden so beschriftet, dass sie ausreichend Platz für Problembeschreibung, Verbesserungsvorschlag, Schweregrad und Relevanzeinstufung bieten (siehe Abbildung Post-it Layout). Dafür empfiehlt sich eine Größe von ca 76 x 76mm.

Post-It Layout
Post-It eines Usability Problems

Zwischenauswertung

 

Direkt im Anschluss an jeden Test erfolgt eine ca. zehnminütige Zwischenauswertung durch Protokollant, Versuchsleiter und den anwesenden Unternehmensvertretern.
Dabei werden die Erkenntnisse der vorangegangenen Testung genauer spezifiziert, zusätzliche Eindrücke ergänzt, zusammenhängende Ergebnissen zusammengefasst und die Einstufung in die Problemkategorie (Farbe des Klebezettels) diskutiert. Insbesondere die Zuweisung zu Usability Problemen (rote Klebezettel) wird diskutiert, da diese in der Abschlussauswertung besonders berücksichtigt werden.

Der Fokus der Zwischenauswertung liegt auf der Sammlung, korrekten Kategorisierung und Zusammenfassung der bisherigen Erkenntnisse, es sollen noch keine möglichen Ursachen der Probleme besprochen werden.