Usability Testing auf die Unternehmenspraxis zugeschnitten

Der Instant Usability Report ist eine Methode für die schnelle Durchführung und Auswertung von Nutzertests im Unternehmensalltag. Er ist speziell für den Einsatz in agilen Entwicklungsprozessen angepasst, in dem die Testergebnisse ohne zeitliche Verzögerung unmittelbar nach der Testung in Form von konkreten Hinweisen zur Verfügung stehen.

Anforderungen an Usability Methoden in der agilen Entwicklung

Agile Entwicklungsmethoden wie z.B. Scrum erfordern Usability Methoden, die ohne Zeitverzögerung innerhalb eines Sprints durchgeführt werden können und unmittelbar konkrete Verbesserungshinweise für die aktuellen Bearbeitungsschritte liefern. Die Methoden dürfen keine strukturelle Anpassung des Entwicklungsprozesses erfordern und die Testergebnisse müssen unmittelbar zur Verfügung stehen und konkrete Hinweise zur aktuellen Entwicklungsphase liefern.

Begrenzte finanzielle und personelle Ressourcen für Usability Maßnahmen erlauben außerdem nur Methoden, die schnell lernbar und kostengünstig sind.

Vorteile des Instant Usability Reports auf einen Blick

• Durchführbar in einem Arbeitstag (inkl. Vorbereitung und Auswertung)
• Abgestimmt auf Abläufe der agilen Entwicklung
• "Quick-Findings" - nur relevante Ergebnisse werden aufbereitet
• Sofortige Übergabe priorisierter Ergebnisse
• Zielgerichtete Verbesserungshinweise von aktuellen Features
• Schnelle Hypothesenprüfung
• Visuelle Argumente
• Einfach mit Kunden und Nutzern als Testpersonen arbeiten

Rahmenbedingungen

beteiligte Personen:

• Eine produktverantwortliche Person aus dem Team (z.B. Product Owner oder Product Manager): Wirkt bei der Vorbereitung und Auswertung mit und ist bei der Testdurchführung anwesend. Sie ist in der Lage einen Arbeitstag dafür zu investieren.
• Testleiter & Protokollant: Zuständig für die Testdurchführung und -auswertung. Sie können entweder aus dem Team kommen, wenn die entsprechende Kompetenz vorhanden ist, oder extern eingekauft werden. Der Testleiter sollte möglichst nicht direkt in die Produktentwicklung involviert sein, sondern "neutral" testen können.
• Eine Usability-verantwortliche Person: Zuständig für die Testorganisation und -vorbereitung. Kann auch Testleiter oder Protokollant sein.
• 4 Testnutzer: Naive Testnutzer, die die Testaufgaben unter Anleitung des Testleiters bearbeiten

Technische und Organisatorische Voraussetzungen:

• Ruhiger Raum mit Rechner, großem Monitor und Tisch für mind. 3 Personen, die auf den Monitor schauen können
• Schnelle Internetverbindung
• Konferenzsoftware mit Möglichkeit zum Screensharing und Zugriff auf Maus und Tastatur (z.B. Go-to-Meeting, Join.me)
• Mikrofon (Testleiter und Testperson) für die Kommunikation untereinander
• Lautsprecher für Testleiterraum, so dass alle Anwesenden die Testperson hören können
• Ggf. Aufnahmesoftware zur Aufzeichnung von Bildschirm und Ton (z.B. QuickTime Player)
• Scanner oder Digitalkamera bzw. Smartphonekamera und Scan-App o.ä. für die Digitalisierung der Ergebnisse

Anfordungen an den Testgegenstand

• Web- oder desktopbasierte Software
• Konkrete Workflows, keine freie Exploration der Software
• Durch zeitliche Limitierung nicht zu hohe Komplexität der Software

Testvorbereitung

Testobjekt und Testaufgaben festlegen

Im Vorfeld werden Testziele, Workflows und Nutzungsszenarien abgestimmt, die kurzfristige Entwicklungsziele unterstützen. Darauf basierend werden konkrete Testaufgaben erstellt, die von einer Testperson innerhalb von 45min inklusive Fragebögen oder Interviews bearbeitet werden können. Die Interaktionszeit mit dem Produkt sollte also max. 30 Minuten betragen. [Vorlage hier zum Download]

Bei der Erstellung des Testleitfadens werden alle Aufgaben testweise selbst bearbeitet und ein verständlicher Instruktionstext formuliert. Dabei werden die relevanten Screens des Workflows jeweils zweifach ausgedruckt und in der Reihenfolge der Aufgabenbearbeitung sortiert.

Es kann auch ein Fragebogen zur quantitativen Bewertung der Usability oder User Experience geplant werden, z.B. der UMUX-Lite (die Kurzform des SUS - System Usability Scale, vgl. Lewis, J. R., Utesch, B. S., & Maher, D. E. (2015). Measuring Perceived Usability: The SUS, UMUX-LITE, and AltUsability. International Journal of Human-Computer Interaction, 31(8), 496–505. https://doi.org/10.1080/10447318.2015.1064654)

Dokumente und Materialien

Für die Vergleichbarkeit zwischen den Testpersonen wird ein Testleitfaden erstellt, der alle Testaufgaben und Anweisungen an die Versuchsperson in der richtigen Reihenfolge enthält. [Vorlage hier zum Download]

Alle relevanten Screens für die Aufgabenbearbeitung müssen  zweifach ausgedruckt und in der Reihenfolge der Aufgabenbearbeitung sortiert vorliegen. Ein Set wird für die Protokollierung benötigt, das zweite für den abschließenden Ergebnisreport. Zusätzlich werden Klebezettel (z.B. Post-its, ca. 76x76mm) in vier verschiedenen Farben (rot. grün, gelb, blau) bereitgelegt, auf denen die Erkenntnisse während der Testung festgehalten werden.

Für die Abschlussauswertung können die Anleitungen zur Zuordnung der Problemkategorie und Einstufung des Schweregrads und der Relevanz bereitgelegt werden [Vorlage hier zum Download].

Technischer Aufbau und Konferenzsoftware

Die Tests werden remote durchgeführt, dadurch ist es möglich Tests kurzfristig und mit weltweiten Testnutzern durchzuführen. Testnutzer und Testleiter benötigen dafür einen Computer oder Laptop mit stabiler Interneverbindung, Lautsprecher und Mikrofon. Es wird zusätzlich eine Konferenzsoftware benötigt, die das Teilen von Bildschirm, Maus und Tastatur ermöglicht (z.B. Go-to-Meeting, Join.me). Der Testleiter lädt die Testnutzer zu einem Meeting ein, diesem muss die Testperson ohne jeglichen Installationsaufwand beitreten können. Eine Bildübertragung und Videoaufzeichnung der Testperson ist nicht notwendig.

Die zu testende Software und alle benötigten Dokumente (z.B. Fragebogen, Dateien zum Upload, Bestätigungs-Emails, Login Informationen, etc.) liegen auf dem Computer des Testleiters und sind leicht zugänglich während des Tests. Wird ein Online-Fragebogen für die Erfassung der Usability-Bewertung eingesetzt, sollte das entsprechende Formular geöffnet werden.

Der Testleiter teilt seinen Bildschirm mit der Testperson und gibt ihr seine Maus und Tastatur frei. So ist die Testperson in der Lage völlig frei mit der Software zu interagieren und der Testleiters kann bei Bedarf eingreifen oder weitere Dokumente anzeigen.

Protokollant und Unternehmensvertreter können der Konferenz zugeschaltet werden oder beim Testleiter vor Ort sein. Sie müssen eine gute Sicht auf den Testleiterbildschirm haben, und die Interaktion des Nutzers problemlos nachvollziehen können.

Akquise von Testnutzern

Zu Akquise von Testnutzern können Agenturen oder online Plattformen genutzt werden. Je nach Anforderung an die Testpersonen (Streuung, Vorerfahrung mit der Testsoftware, spezifische Expertise o.ä.) können auch Ausschreibungen an Hochschulen, sozialen Netzwerken oder an die eigenen Kunden sehr erfolgreich sein. Idealerweise bestehen gute Beziehungen zu Kunden und bestehenden Usern, die zu einer "Telefonkonferenz" eingeladen werden können, um bei der Verbesserung "ihrer" Software zu helfen. In jedem Fall ist es hilfreich einen eigenen Pool an potentiellen Testpersonen anzulegen, so dass das Akquirieren von Testperson mit der Zeit immer schneller geht.

Alle Testpersonen werden vor Beginn der Testung über den Ablauf des Tests aufgeklärt und in die Methode "Lautes Denken" eingewiesen. Insbesondere soll die Testperson mitteilen, wenn sie Probleme und Unsicherheiten während der Interaktion mit der Testsoftware erlebt.

Testdurchführung

 

Ablauf

Die Nutzertests werden hintereinander mit insgesamt vier Testnutzern durchgeführt. Zwischen jedem Test findet eine ca. zehnminütige Zwischenauswertung von Testleiter, Protokollant und Unternehmensvertreter statt. Nach zwei Tests sollte eine kurze Pause eingelegt werden. Nach der letzten Testperson wird eine ausführliche Endauswertung vorgenommen, in der ein Gesamtbericht aller relevanten Ergebnisse erstellt wird.

Eine beispielhafte Ablaufplanung zur Orientierung:

• 09:00-11:00 - Vorbesprechung und Vorbereiten der Unterlagen
• 11:15-11:30 - Technische Vorbereitung und Begrüßung des Produktverantwortlichen
• 11:30-12:15 - Testperson 1
• 12:15-13:00 - Testperson 2
• 13:00-13:30 - Mittagspause
• 13:30-14:15 - Testperson 3
• 14:15-15:00 - Testperson 4
• 15:00-15:15 - Kaffeepause
• 15:15-17:00 - Abschlussauswertung und Reporterstellung

Diese Zeitplanung ist geeignet für relativ kurze und spezifische Workflows, mit einem geübten Team. Bei ungeübten Teams oder etwas umfangreicheren oder komplexeren Workflows ist es empfehlenswert, die Vorbesprechung und ggf. auch das Vorbereiten der Unterlagen bereits am Vortag durchzuführen. Bei höherem Zeitbedarf kann der Arbeitstag auch auf 8 bis 18 Uhr ausgedehnt werden.

Protokollierung

Während der Testung protokolliert der Protokollant alle Erkenntnisse auf farbigen Klebezetteln und klebt diese an die betroffene Stelle auf den ausgedruckten Screens. Die Farben der Klebezettel entsprechen dabei den vier Kategorien Usability Problem (rot), Hinweis/ Kommentar (gelb), positive Erkenntnis (gün) und Bug (blau). Der Versuchsleiter achtet darauf, dass der Protokollant genügend Zeit zum Notieren hat und macht ggf. kurze Pausen.

Zur Präzisierung der Beobachtungen steht eine Anleitung mit detaillierten Problemarten und möglichen Ursachen zur Verfügung (siehe Tabelle Problemkategorien).

• Usability Problem (rot): verursacht Probleme und Verzögerungen in der Aufgabenbearbeitung – „Verständnisproblem“, „Nicht gesehen“, „Unsicherheit bei der Nutzung“ oder „Fehlerhafte Nutzung“
• Hinweis/ Kommentar (gelb): hat keine Auswirkung auf den Erfolg der Aufgabenbearbeitung – „Erwartung“, „Persönliche Präferenz“, „Wunsch/ Vorschlag“ oder „Hinweis“ 
• Positive Erkenntnisse (grün): positive Äußerungen oder Verhalten in der beabsichtigten Weise – „Explizit“ oder „Implizit“
• Bug (blau): Fehlfunktion der Software – „Funktion“ oder „Inhalt“

Ergebnisse aus nachfolgenden Testungen werden auf dieselben Ausdrucke geklebt, so dass ein gemeinsames Protokoll für alle Testpersonen angelegt wird. Bei vergleichbaren Erkenntnisse durch verschiedene Testnutzer wird die Anzahl der Nutzer auf dem enstprechenden Klebezettel festgehalten.

	Art	Mögliche Ursache/ betrifft
Problem (rot)	Verständnisproblem	Wording nicht aussagekräftig   Inhalte nicht konsistent benannt    Keine Erklärungen/ Infos vorhanden
	Nicht gesehen	Schlechte/ unübliche Positionierung von Elementen Design ungünstig (Kontrast/ Hintergrund...) Standards nicht eingehalten
	Unsicherheit bei der Nutzung	kein Feedback auf Nutzereingabe (z.B. erfolgreicher Abschluss) keine Orientierung über folgende Schritte
	Fehlerhafte Nutzung	kein Feedback zu Fehlern keine Infos verfügbar kein Rückgängig möglich erwartete Funktion nicht implementiert
Hinweis (gelb)	Persönliche Präferenz / Verhaltensweise	Design/ Darstellung Vorgehen Eingabe von Daten Nutzung von Features
	Erwartung	Darstellung von Inhalten/ Symbolen Verlinkungen innerhalb des Programms Interaktionsmöglichkeiten weitere Schritte
	Wunsch/ Vorschlag	weitere Features Interaktionsart Informationen Alternativen/ Neue Ideen
	Hinweis	Inkonsistenzen Unklarheiten Standards von anderen Produkten
Positiv (grün)	Explizit	Äußerung
	implizit	Handlung
Bug (blau)	Funktion	z.B. falsche/ fehlende Verlinkung, falsche Interaktion,
	Inhalt	z.B. falsche/fehlende Inhalte, copy-paste Fehler, Tippfehler

Problemkategorien

Post-it Layout:

Die Klebezettel werden so beschriftet, dass sie ausreichend Platz für Problembeschreibung, Verbesserungsvorschlag, Schweregrad und Relevanzeinstufung bieten (siehe Abbildung Post-it Layout). Dafür empfiehlt sich eine Größe von ca 76 x 76mm.

Post-It Layout

Post-It eines Usability Problems

Zwischenauswertung

 

Direkt im Anschluss an jeden Test erfolgt eine ca. zehnminütige Zwischenauswertung durch Protokollant, Versuchsleiter und den anwesenden Unternehmensvertretern.

Dabei werden die Erkenntnisse der vorangegangenen Testung genauer spezifiziert, zusätzliche Eindrücke ergänzt, zusammenhängende Ergebnissen zusammengefasst und die Einstufung in die Problemkategorie (Farbe des Klebezettels) diskutiert. Insbesondere die Zuweisung zu Usability Problemen (rote Klebezettel) wird diskutiert, da diese in der Abschlussauswertung besonders berücksichtigt werden.

Der Fokus der Zwischenauswertung liegt auf der Sammlung, korrekten Kategorisierung und Zusammenfassung der bisherigen Erkenntnisse, es sollen noch keine möglichen Ursachen der Probleme besprochen werden.

Testauswertung: Instant Usability Report

Endauswertung durchführen

 

Nach der letzten Testperson wird eine max. zweistündige ausführliche Endauswertung durchgeführt. Dabei werden die als Usability Problem eingestuften Beobachtungen (rote Klebezettel) analysiert, die Problembeschreibung wird konkretisiert, so dass sie später für Nicht-Anwesende Mitarbeiter verständlich ist, und Problemursachen oder konkrete Verbesserungsvorschläge werden ergänzt. Zusätzlich wird für jedes Problem der Schweregrad, die aktuelle Relevanz und die Anzahl der Testnutzer, bei denen das Problem aufgetreten ist, ergänzt.

Der Schweregrad unterscheidet die drei Stufen gering, ernst und katastrophal. Er bezieht sich auf die Usability der Software und wird von den Usability Experten (i.d. R. Testleiter und Protokollant)  eingestuft. Die Relevanz beinhaltet die Abstufungen wenig relevant, relevant, stark relevant und sehr stark relevant und bezieht sich auf die aktuellen Entwicklungsphase. Sie wird von einem Produktverantwortlichen Unternehmensvertreter eingestuft.

Für beide liegt eine Anleitung mit Beschreibung vor (siehe Tabelle Schweregrad und Relevanz).

	Stufe	Beschreibung
Schweregrad	Gering (S1)	Verzögert Nutzer kurz.
	Ernst (S2)	Verzögert Nutzer wesentlich, erlaubt ihnen aber letztlich die Aufgabe zu erfüllen.
	Katastrophal (S3)	Hindert Nutzer an der Aufgabenerfüllung.
Relevanz	Wenig relevant (R1)	Muss aktuell nicht bearbeitet werden.
	Relevant (R2)	Sollte bearbeitet werden, sobald hierfür die nötige Zeit frei wird.
	Stark relvant (R3)	Wichtig: Sollte unbedingt bearbeitet werden, sobald hierfür Zeit frei gemacht werden kann.
	Sehr stark relevant (R4)	Top-Priorität: Unbedingt zu bearbeiten – möglichst als erstes und möglichst schnell.

Schweregrad und Relevanz

Ergebnisreport zusammenstellen

Für den Ergebnisreport wird das zweite Set der ausgedruckten Screens verwendet. Die analysierte roten Klebezettel werden individuell auf dem zugehörigen Screen platziert und fotografiert, so dass ein Fotoreport mit einzeln aufgeführten Usability Problemen entsteht (problembezogen).

Alle weiteren Klebezettel (grün, gelb und blau) werden zusammen auf einem Screen fotografiert (seitenbezogen). Sie dienen als zusätzliche Information und Inspiration und werden nicht individuell ausgewertet.

Der Ergebnisreport dient als Gedächtnisstütze für eine zeitnahe Verarbeitung in den nächsten Iterationszyklen. Er bietet keine ausführliche Beschreibung der aufgetretenen oder zugrundeliegenden Probleme, weshalb zur korrekten Einordnung der Erkenntnisse die Anwesenheit eines Unternehmensvertreters während der Testung erforderlich ist.

Management Summary erstellen

Neben dem Ergebnisreport wird noch eine kurze Executive Summary erstellt. Darin wird der Gesamteindruck sowie die wichtigsten Erkenntnisse oder übergeordnete Probleme, die nicht explizit auf den Klebezetteln vorhanden sind, festgehalten.

Die Executive Summary wird gemeinsam von Testleiter, Protokollant und Unternehmensvertreter erstellt und sollte nicht nicht länger als eine DinA4 Seite sein.

Fotoreport und Management Summary können direkt im Anschluss an den Unternehmensvertreter ausgehändigt werden.

Präsentation zur Vorstellung der Methode und deren Evaluation 

Download der Präsentation
Download Paper der Methodenevaluation