Testobjekt und Testaufgaben festlegen
Im Vorfeld werden
Testziele, Workflows und Nutzungsszenarien abgestimmt, die kurzfristige
Entwicklungsziele unterstützen. Darauf basierend werden konkrete Testaufgaben
erstellt, die von einer Testperson innerhalb von 45min inklusive Fragebögen
oder Interviews bearbeitet werden können. Die Interaktionszeit mit dem Produkt
sollte also max. 30 Minuten betragen. [Vorlage hier zum Download]
Bei der Erstellung des Testleitfadens werden alle Aufgaben testweise selbst bearbeitet und ein verständlicher Instruktionstext formuliert. Dabei werden die relevanten Screens des Workflows jeweils zweifach ausgedruckt und in der Reihenfolge der Aufgabenbearbeitung sortiert.
Es kann auch ein Fragebogen zur quantitativen Bewertung der Usability oder User Experience geplant werden, z.B. der UMUX-Lite (die Kurzform des SUS - System Usability Scale, vgl. Lewis, J. R., Utesch, B. S., & Maher, D. E. (2015). Measuring Perceived Usability: The SUS, UMUX-LITE, and AltUsability. International Journal of Human-Computer Interaction, 31(8), 496–505. https://doi.org/10.1080/10447318.2015.1064654)
Dokumente und Materialien
Für die
Vergleichbarkeit zwischen den Testpersonen wird ein Testleitfaden erstellt, der
alle Testaufgaben und Anweisungen an die Versuchsperson in der richtigen
Reihenfolge enthält. [Vorlage hier zum Download]
Alle relevanten
Screens für die Aufgabenbearbeitung müssen
zweifach ausgedruckt und in der Reihenfolge der Aufgabenbearbeitung
sortiert vorliegen. Ein Set wird für die Protokollierung benötigt, das zweite
für den abschließenden Ergebnisreport. Zusätzlich werden Klebezettel (z.B.
Post-its, ca. 76x76mm) in vier verschiedenen Farben (rot. grün, gelb, blau)
bereitgelegt, auf denen die Erkenntnisse während der Testung festgehalten
werden.
Für die
Abschlussauswertung können die Anleitungen zur Zuordnung der Problemkategorie
und Einstufung des Schweregrads und der Relevanz bereitgelegt werden [Vorlage hier zum Download].
Technischer Aufbau und Konferenzsoftware
Die Tests werden
remote durchgeführt, dadurch ist es möglich Tests kurzfristig und mit
weltweiten Testnutzern durchzuführen. Testnutzer und Testleiter benötigen dafür
einen Computer oder Laptop mit stabiler Interneverbindung, Lautsprecher und
Mikrofon. Es wird zusätzlich eine Konferenzsoftware benötigt, die das Teilen
von Bildschirm, Maus und Tastatur ermöglicht (z.B. Go-to-Meeting, Join.me). Der Testleiter lädt die Testnutzer zu
einem Meeting ein, diesem muss die Testperson ohne jeglichen
Installationsaufwand beitreten können. Eine Bildübertragung und
Videoaufzeichnung der Testperson ist nicht notwendig.
Die zu testende
Software und alle benötigten Dokumente (z.B. Fragebogen, Dateien zum Upload,
Bestätigungs-Emails, Login Informationen, etc.) liegen auf dem Computer des
Testleiters und sind leicht zugänglich während des Tests. Wird ein Online-Fragebogen für die Erfassung der Usability-Bewertung eingesetzt, sollte das entsprechende Formular geöffnet werden.
Der Testleiter teilt seinen Bildschirm mit der Testperson und gibt ihr seine Maus und Tastatur frei. So ist die Testperson in der Lage völlig frei mit der Software zu interagieren und der Testleiters kann bei Bedarf eingreifen oder weitere Dokumente anzeigen.
Protokollant und
Unternehmensvertreter können der Konferenz zugeschaltet werden oder beim
Testleiter vor Ort sein. Sie müssen eine gute Sicht auf den
Testleiterbildschirm haben, und die Interaktion des Nutzers problemlos
nachvollziehen können.
Akquise von Testnutzern
Zu Akquise von
Testnutzern können Agenturen oder online Plattformen genutzt werden. Je nach
Anforderung an die Testpersonen (Streuung, Vorerfahrung mit der Testsoftware,
spezifische Expertise o.ä.) können auch Ausschreibungen an Hochschulen,
sozialen Netzwerken oder an die eigenen Kunden sehr erfolgreich sein. Idealerweise bestehen gute Beziehungen zu Kunden und bestehenden Usern, die zu einer "Telefonkonferenz" eingeladen werden können, um bei der Verbesserung "ihrer" Software zu helfen. In jedem
Fall ist es hilfreich einen eigenen Pool an potentiellen Testpersonen
anzulegen, so dass das Akquirieren von Testperson mit der Zeit immer schneller
geht.
Alle Testpersonen
werden vor Beginn der Testung über den Ablauf des Tests aufgeklärt und in die
Methode "Lautes Denken" eingewiesen. Insbesondere soll die Testperson
mitteilen, wenn sie Probleme und Unsicherheiten während der Interaktion mit der
Testsoftware erlebt.