Einreichung zur Usability Evaluation Challenge 2010 / 2011

Transcrição

Einreichung zur
Usability Evaluation Challenge
2010 / 2011
Studentischer Wettbewerb
der GI Fachgruppe Software-Ergonomie
Ergebnisse eines interdisziplinären Projekts zur Evaluation der Website
http://www.gi.de/gliederungen/fachbereiche/
mensch-computer-interaktion-mci.html
Wir sind eine interdisziplinäre Gruppe von Studierenden, die sich im Rahmen eines studentischen Projekts zum Thema Usability an diesem Wettbewerb beteiligt. Konkret sind wir vier
Studenten des Bachelor-Studiengangs Angewandte Informatik, drei Studenten und Studentinnen des Diplomstudiengangs Psychologie, sowie ein Student, der beide Fächer als Doppelstudium
absolviert.
Im Rahmen des Projekts haben wir sehr stark vom interdisziplinären Austausch profitiert. Die
Informatikstudenten haben ihre Expertise bei der technischen Realisierung neuer Designvorschläge, sowie der Datenerhebung eingebracht. Die Psychologiestudenten haben ihre Expertise bei der
Konzeption und Umsetzung der empirischen Usability-Studie eingebracht. Durch zahlreiche Diskussionen und unsere Zusammenarbeit konnten wir viel von den Kenntnissen der Studenten der
jeweils anderen Disziplin lernen.
Bei der Usability-Evaluation der Website http://www.gi.de/gliederungen/fachbereiche/
mensch-computer-interaktion-mci.html sind wir folgendermaßen vorgegangen: Nach einer
Einarbeitung in grundlegende Konzepte der Usability und in Methoden zur analytischen und
empirischen Evaluation haben wir uns das Ziel gesetzt, die Usability der Website sowohl in der
Desktop-Präsentation, als auch für die Nutzung auf mobilen Endgeräten zu evaluieren. Zunächst
haben wir analytisch, einen Cognitive Walkthrough durchgeführt und anhand eines Katalog von
Usability-Kriterien, verschiedene Schwachstellen der Website identifiziert. Für einige ausgewählte
Aspekte haben wir ein alternatives Design entwickelt und dieses empirisch evaluiert. Es zeigte
sich, dass bereits kleine Veränderungen signifikante Verbesserungen in der Einschätzung der
Website und der Dauer zum Aufspüren von Informationen bewirken können.
2
Inhaltsverzeichnis
1. Einleitung
1
2. Usability-Konzepte und Evaluationsmethoden
2.1. Allgemeine Usability Ziele und Kriterien . . . .
2.2. Usability Anforderungen an Websiten . . . . .
2.3. Anforderungen an mobile Anwendungen . . . .
2.4. Analytische Methoden zur Usability-Evaluation
2.5. Empirische Methoden zur Usability-Evaluation
.
.
.
.
.
2
2
3
5
6
7
.
.
.
.
.
10
10
10
14
15
17
.
.
.
.
.
.
.
.
.
.
.
.
.
.
19
19
20
20
20
20
21
22
22
23
23
24
24
25
30
3. Darstellung und Analyse der Website
3.1. Die Seite des Fachbereichs MCI . .
3.1.1. Heuristische Evaluation und
3.1.2. Userstories . . . . . . . . .
3.2. Alternatives Seitendesign . . . . .
3.3. Hypothesen . . . . . . . . . . . . .
. . . . . .
Cognitive
. . . . . .
. . . . . .
. . . . . .
4. Usability Studie
4.1. Untersuchungsdesign . . . . . . . . . . .
4.2. Technische Umsetzung der Zeiterfassung
4.2.1. Verwendete Geräte . . . . . . . .
4.2.2. Problemstellung Zeitmessung . .
4.2.3. Überlegungen zur Zeitmessung .
4.2.4. Umsetzung der Zeitmessung . . .
4.2.5. Vorteile und Nachteile . . . . . .
4.3. Fragebogen . . . . . . . . . . . . . . . .
4.4. Beschreibung der Stichprobe . . . . . . .
4.5. Untersuchungsablauf . . . . . . . . . . .
4.6. Ergebnisse . . . . . . . . . . . . . . . . .
4.6.1. Qualitative Ergebnisse . . . . . .
4.6.2. Quantitative Ergebnisse . . . . .
4.7. Interpretation und Bewertung . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. . . . . . . .
Walkthrough
. . . . . . . .
. . . . . . . .
. . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5. Ausblick
31
Abbildungsverzeichnis
32
Tabellenverzeichnis
32
Literaturverzeichnis
33
i
Appendix
34
A. Instruktionstext-Teilnehmer
35
B. Leitfaden-Versuchsleiter
37
C. Fragebogen
39
ii
1. Einleitung
Ihre Website wird in jedem Fall auf Usability getestet.
”
Wenn Sie es nicht selbst tun, dann tun es Ihre Kunden.“
(Jakob Nielson)
Häufig erfolgt der erste Kontakt, den wir zu einer Organisation oder Person aufnehmen, über
eine Website. Entsprechend ist ein ansprechender, übersichtlicher und funktionaler Webauftritt
für Firmen, Institutionen, aber auch für private Homepages von großer Bedeutung. Dies gilt
natürlich auch für die Webpräsentation der Fachgruppen der Gesellschaft für Informatik. Gerade
die Website der Fachgruppe Mensch-Computer-Interaktion sollte die Anforderungen an gutes
Webdesign erfüllen.
Auf der Website werden die Organisationsstruktur, sowie die Aktivitäten der Fachgruppe für
Wissenschaftler, Praktiker und Studenten präsentiert. Mitglieder der Fachgruppe sollten die gesuchten Informationen schnell und zuverlässig finden und auf diese zugreifen können. Potentielle
neue Mitglieder und sporadische Besucher der Seite sollten einen guten Eindruck, sowohl von
den Aktivitäten der Fachgruppe, als auch vom Design der Seite haben, die ja das Aushängeschild
der Gruppe ist.
Da Webinhalte zunehmend auch von mobilen Endgeräten aus aufgerufen werden, sollten die
wichtigsten Informationen der Webpräsentation auch von dort aus gut auffindbar sein. Dies gilt
auch dann, wenn die Seite nicht speziell für mobile Endgeräte optimiert wurde.
In unserer Arbeit haben wir die Usability der Website der Fachgruppe Mensch-ComputerInteraktion analysiert und ausgewählte Aspekte empirisch evaluiert. Im Folgenden geben wir
zunächst einen Überblick über grundlegende Konzepte der Usability, spezielle Usability-Anforderungen an Websiten, sowie Anforderungen an mobile Anwendungen. Zudem gehen wir kurz
auf analytische und empirische Methoden zur Bewertung von Usability ein. Im nächsten Kapitel
wird die zu evaluierende Website kurz vorgestellt. Danach werden verschiedene, durch Cognitive
Walkthrough ermittelte, Usability-Defizite der Seite dargestellt. Am Ende des Kapitels werden
konkrete Hypothesen bezüglich der identifizierten Defizite, sowie alternative Designvorschläge
formuliert. Darauf aufbauend wird im vierten Kapitel die empirische Studie dargestellt. Zunächst
wird das Untersuchungsdesign, die verwendeten Seiten, die erhobenen Variablen, die technische
Umsetzung der Studie, sowie der eingesetzte Fragebogen dargestellt. Danach wird die Stichprobe,
sowie die Untersuchungsprozedur beschrieben. Es folgt eine Darstellung und Bewertung der
Ergebnisse. In einem abschließenden Kapitel wird ein allgemeines Fazit gezogen.
1
2. Usability-Konzepte und
Evaluationsmethoden
2.1. Allgemeine Usability Ziele und Kriterien
Wenn man sich die Frage stellt, was Usability bedeutet, stößt man in verschiedenen Fachzeitschriften und Fachliteratur auf diverse Definitionen. Einer der bekanntesten Usability-Forscher
Nielsen definiert Usability wie folgt: ”Usability ist ein Qualitätsmerkmal, wie einfach etwas zu
benutzen ist. Es geht genauer gesagt darum, wie schnell Menschen die Benutzung eines Gegenstandes erlenen können, wie effizient sie während seiner Benutzung sind, wie leicht sie sich diese
merken können, wie fehleranfällig der Gegenstand ist und wie er den Nutzern gefällt. Wenn die
Nutzer einen Gegenstand weder nutzen möchten, noch können, bräuchte er eigentlich gar nicht
existieren.” [NL06]
Der Begriff Usability kann auf zwei verschiedene Weisen übersetzt werden, zum einen als ”Gebrauchstauglichkeit”, zum anderen als ”Benutzerfreundlichkeit”. Die Verwendung im Sinne von
Gebrauchstauglichkeit wurde in den letzten Jahren zu Werbezwecken benutzt und für fast jedes
Softwareprodukt verwendet. Daher wird in dieser Arbeit Usability als Gebrauchstauglichkeit
verwendet, da die Definition der internationalen Norm ISO/IEC 9241-11 [iso] die zu berücksichtigenden Aspekte besser beschreibt. ”Das Ausmaß, in dem ein Produkt durch bestimmte
Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen.” [KPR04, S. 267]
Ein wichtiger Askpekt in Hinsicht auf Usability sind natürlich die Ziele die durch Usability
erreicht werden sollen und die Kriterien anhand derer diese Ziele bestimmt werden. Die Ziele
und Kriterien sind von Plattform zu Plattform unterschiedlich, überschneiden sich aber auch an
verschiedenen Stellen. Für diese Arbeit liegt das Augenmerk auf Desktop-PC’s und auf mobilen
Endgeräten (speziell mit dem Android Betriebssytem).
Shneiderman [SP05, S. 13f] beschreibt 4 verschiedene Ziele für die Anforderungsanalyse von
Nutzerschnittstellen in Bezug auf Usability:
1. Nutzerbedürfnisse ermitteln.
2. Zuverlässigkeit sicherstellen.
3. Angemessene Standardisierung, Integration, Konsitenz und Portabilität fördern.
4. Projekte innerhalb des Budgets abschließen.
Der letzte Punkt ist für den Nutzer zu vernachlässigen, da dieses Ziel nur für Firmen relevant
ist (Für Firmen geht es speziell um Abhängigkeiten von/für andere Projekte bzw. um Abgabefristen).
2
Im Kontrast zu den Zielen, die Shneiderman formuliert, betrachtet NIELSON sieben unterschiedliche Faktoren. Die Faktoren geben Antworten auf die Frage, warum und an welchen
Gesichtspunkten Websitennutzer scheitern können [NL06, S.130f].
Suche: Nutzer scheitern an der implementierten Suchfunktion der Website
Findability: Informationsarchitektur, Kategorienamen, Navigation und Links
Seitendesign: Lesbarkeit, Layout, Grafiken, Amateur, Scrollen
Information: Inhalt, Produktinfo, Firmeninfo, Preise
Aufgabenunterstützung: Workflow, Datenschutz, Formulare, Vergleich, unflexibel
Ausgefallenes Design: Multimedia, Zurück-Schaltfläche, PDF/Druck, Pop-up Fenster,
Sound
Andere: Bugs, Präsenz im Web, Anzeigen, Neue Site, Metaphern
2.2. Usability Anforderungen an Websiten
Ein Vorreiter für die Umsetzung von Usability bei Nutzer-Interfaces ist, der bereits im vorherigen
Abschnitt erwähnte, Shneiderman, der die acht goldenen Regeln des Interface Designs aufgestellt hat [SP05]. Bei Websiten handelt es sich auch um eine spezielle Art von Nutzer-Interfaces,
daher können die Regeln von Shneiderman an dieser Stelle angewendet werden. Im Folgenden
werden diese kurz vorgestellt und für die Anwendung auf Websiten angepasst (nach [wik]).
1. Konsistenz: Das Interface sollte eine gewisse Einheitlichkeit“ anstreben. Links sollten
”
immer gleich formatiert sein, Überschriften der selben Hierarchiestufe sollten die gleiche
Schriftgröße haben und Menüs einheitlich strukturiert sein. Wenn diese Schritte nicht
eingehalten werden und jede Unterseite unterschiedlich gestaltet ist, erschwert es dem
Nutzer die Navigation auf der Seite. Außerdem sollten hier dieselben Fachbegriffe und
Icons verwendet werden.
2. Abkürzungen: Vor allem für Nutzer, die eine Seite häufig besuchen, sollten Abkürzungen
zur Verfügung gestellt werden. Diese können in Form eines Home-Buttons“ oder Links zu
”
den Hauptkategorien erstellt werden. Solche Shortcuts’“ ermöglichen den fortgeschrittenen
”
Nutzern schnell durch die Seite zu navigieren.
3. Rückmeldung: Wenn die Verarbeitung einer Anfrage durch das zu Grunde liegende System länger dauert als eine normale Webanfrage, sollte dies visualisiert werden. Dies kann
in Form eines Ladebalkens oder eines Pop-up Fensters geschehen.
4. Dialoge: Dieser Punkt schließt an den vorherigen an, denn wenn eine Seite eine Datenbankabfrage beinhaltet, muss dem Nutzer verdeutlicht werden, ob die Abfrage vollständig
ist und er eine neue Abfrage starten kann oder die zurückgegebenen Ergebnisse weiter
durchsuchen kann. Hierfür können Dialogboxen per AJAX oder JavaScript eingeblendet
werden.
3
5. Fehlerbehandlung: Es soll für den Nutzer offensichtlich sein, ob ein aufgetretener Fehler durch Fehlbedienung selbst oder durch das System bzw. nicht verfügbare HardwareRessourcen verursacht worden ist. Zusätzlich sollten hier Lösungsmöglichkeiten für das
vorhandene Problem angeboten werden.
6. Umkehrung: Dem Nutzer muss es möglich sein, einen Schritt rückgängig zu machen. Zum
Beispiel muss der Nutzer ohne Probleme auf die vorherige Seite zurückspringen können.
In der Regel ist diese Funktionalität bereits durch den Browser gegeben, kann aber auch
zusätzlich in der Seite untergebracht werden.
7. Kontrolle: Der Nutzer sollte nie das Gefühl haben, keine Kontrolle über die Funktionalität
der Seite zu haben. Dies kann der Fall sein, wenn Werbeinhalte oder Menü-Punkte per
JavaScript oder Flash eingebunden werden. Vor allem bei mobilen Endgeräten kann es hier
zu Problemen kommen, da Pop-Ups oder Flash-Inhalte sich schlecht schließen lassen und
einen Teil der auf der Seite angebotenen Informationen verdecken.
8. Kurzzeitgedächtnis: Die Internetseite muss gut strukturiert sein, um Wege zwischen
den einzelnen Unterseiten gut darzustellen und zu vermeiden, dass sich der Nutzer mit
langen Klickfolgen durch eine schlecht durchdachte Seite navigieren muss. Die Unterpunkte
Konsistenz und Kurzzeitgedächtnis beeinflussen sich hier gegenseitig.
Zusätzlich zu den hier angesprochenen goldenen Regeln“ gibt es im Netz verschiedene Usability”
Checklisten, wie zum Beispiel unter [usa]. Diese und ähnliche Checklisten sind grundsätzlich
geeignet um die Usability einer Website zu testen. Ein Allheilmittel gibt es allerdings nicht. Für
die Untersuchung haben wir den semantischen Überbegriffs Übersichtlichkeit definiert. Dieser
setzt sich aus mehreren der oben genannten Usabilitykriterien zusammen.
Kurzzeitgedächtnis
Findability
Seitendesign
Das Nicht-Vorhandensein von Übersichtlichkeit, sei es durch Textlastigkeit (Kurzzeitgedächtnis
[wik]), komplizierte Navigationswege (Findability [NL06]) oder die Farbgebung (Seitendesign
[NL06]), kann den Nutzer überfordern und zur Folge haben, dass dieser die Seite vorzeitig verlässt.
4
2.3. Anforderungen an mobile Anwendungen
Nutzer von mobilen Endgeräten sind deutlich von Desktop-Nutzern zu unterscheiden. Ihnen steht
wesentlich weniger Display zur Verfügung und sie haben andere Ansprüche, da sie die Website oft
unterwegs aufrufen. Die Übertragungsrate ist oft geringer als am Desktop und außerdem machen
Nutzer mehr Fehler bei der Eingabe, da die Eingabemöglichkeiten auf mobilen Endgeräten oft
schlechter sind, als die eines Desktop-PCs. Dies alles spricht dafür, dass es andere Usabilityanforderungen für mobile Nutzer gibt und mobile Websiten dementsprechend angepasst werden
sollten, um dem Nutzer die gewünschte Information schnell und ansprechend zu vermitteln.
Einen guten Einstieg in Usability Design von Websiten bieten die Mobile Web Best Practices“
”
[w3c] des W3C. Einige der wichtigsten Punkte werden im Folgenden erläutert. Wenn ein Nutzer
eine mobile Website aufruft, so ist er meistens auf der Suche nach kurzen Informationen, die ihm
da, wo er gerade ist, weiterhelfen. Deshalb sollten längere und ausschweifende Texte vermieden
werden und intelligente Suchverfahren angewandt werden. Mobile Websiten sollten prinzipiell
einspaltig gestaltet werden, damit der Nutzer nur nach oben und nach unten scrollen muss. Das
Navigationsmenü sollte sich, zur schnellen Benutzung, ganz oben auf der Website befinden. Da
auf mobilen Endgeräten nur ein kleines Display zur Verfügung steht, sollte das Navigationsmenü
nicht auf jeder Seite, sondern nur auf der Einstiegsseite zu sehen sein, weil der Benutzer sonst
auf jeder Seite weit nach unten scrollen muss, um die gewünschte Information zu finden. Um
schnell wieder navigieren zu können sollte sich ganz oben, sowie ganz unten auf der Seite ein
Link zur Einstiegsseite befinden. Außerdem sollte auf jeder Seite ein Zurück“-Button befinden,
”
da mobile Browser oft im Vollbildmodus laufen und es somit schwieriger ist auf die vorherige
Seite zu gelangen.
Das Design von mobilen Websiten sollte eher schlicht gehalten werden, um eine schnellere
Übertragung zu gewährleisten. Insbesondere auf größere Bilder sollte verzichtet werden. Sollte
es trotzdem notwendig sein, Bilder einzubinden, so sollten diese in für Web optimierten Formaten mit hoher Kompressionsrate gespeichert werden. Nutzereingaben sollten auf ein Minimum
reduziert werden, da die Eingabe von Text auf mobilen Endgeräten fehleranfälliger und oft
schwieriger ist. Vermieden werden können diese durch Eingabemöglichkeiten die kein Tippen
erforderlich machen, wie zum Beispiel durch Radiobuttons, Checklisten oder Auswahllisten.
5
2.4. Analytische Methoden zur Usability-Evaluation
Die analytische Herangehensweise für die Evaluation von Websiten besteht aus Experten Reviews.
Hierfür gibt es verschiedene Ansätze, die durch Experten bzw. erfahrene Nutzer durchgeführt
werden. Shneiderman [SP05, S. 141f] beschreibt hier 5 verschiedene Ansätze.
1. Heuristische Evaluation: Bewerten einer Website anhand von Heuristiken, eine Möglichkeit sind die acht goldenen Regeln von Shneiderman.
2. Leitfaden Review: Firmen-Richtlinien bzw. Usability-Checklisten müssen mit der Website abgeglichen werden. Dies kann einige Tage dauern, da diese Listen mehrere hundert
Einträge enthalten können.
3. Konsistenzprüfung: Websiten müssen auf Konsistenz geprüft werden, hierbei werden
Schriftgrößen, Schriftarben und Farben verschiedener Seiten bzw. User Interfaces verglichen. Meist bietet es sich an, falls vorhanden, diese an das Corporate Design der Firma
anzupassen.
4. Cognitive Walkthrough: Um mögliche Abläufe eines Nutzers zu simulieren, wird der
Cognitive Walkthrough verwendet. Hierdurch kann getestet werden, ob Links und Labels
sinnvolle Beschriftungen haben und ob verschiedene Aufgaben lösbar oder bestimmte Informationen innerhalb einer Website zu finden sind.
5. Formale Usability Prüfung: Einer Runde von Experten wird die Website vorgestellt,
im Anschluss werden die Vor- und Nachteile diskutiert. Während dieses Prozesses sind
der/die Designer anwesend, um das Feedback direkt entgegenzunehmen und mitdiskutieren
können.
Neben den analytischen Methoden gibt es noch die Möglichkeit die Usability einer Website
empirisch zu testen. Die empirischen Methoden werden im folgenden Abschnitt betrachtet.
6
2.5. Empirische Methoden zur Usability-Evaluation
Generell lassen sich die bestehenden Methoden in zwei Gruppen einteilen. Untersuchungen können anwendungsnah im Feld oder aber in einer kontrollierten Laborumgebung stattfinden. Um
diese beiden Bereiche abzudecken, bedarf es eines ganzen Spektrums von Evaluationstechniken, da die Anforderungen zwischen Feld- und Laboruntersuchungen stark variieren. So ist die
Umgebung künstlich oder natürlich, die Benutzer gehören einer spezifischen Gruppe oder einer
randomisierten Stichprobe an, es schwanken Kontrollierbarkeit und Flexibilität, sowie Stichprobengröße und vertretbare Untersuchungsdauer (vgl. [Sto06]). Beide sollen hier kurz dargestellt
werden.
Bei Felduntersuchungen versucht man die Probanden in einer möglichst authentischen Nutzungsumgebung (z.B. beim Kunden einer Software vor Ort) zu untersuchen. Ziel ist es die externe
Validität zu maximieren, also zu gewährleisten, dass möglichst alle Probleme, die auch in der
alltäglichen Anwendung anfallen würden, im Evaluationsexperiment entdeckt werden. Beim Experiment in einer natürlichen Umgebung besteht jedoch auch immer die Gefahr, dass Störfaktoren die Untersuchung so beeinflussen, dass die interne Validität darunter leidet. Eine besondere
Option, die es im Laborexperiment nicht gibt, ist die Untersuchung über einen längeren Zeitraum, wenn diese geschickt in den Arbeitsalltag integriert sind. Auch aus diesem Grund sind
Felduntersuchungen eher für die Optimierung von bereits bestehenden Anwendungen geeignet.
Laboruntersuchungen zeichnen sich in erster Linie durch ihre Kontrollierbarkeit aus, da die
Untersuchungen in Räumen durchgeführt werden, die möglichst wenig Ablenkung von der Anwendung bieten. Dabei schwankt die tatsächliche Ausgestaltung der Labore je nach Untersuchung sehr stark und reicht von präparierten Computerarbeitsplätzen (meist mit Mikrophon
und Kamera) bis hin zu mehrräumigen Labors mit semipermeablen Spiegeln. Die hier gewonnenen sauberen“ Ergebnisse sind jedoch deutlich abstrakter als die aus Felduntersuchungen. Es
”
ist nie ganz klar, ob tatsächlich valide gemessen wurde. Die hohe interne Validität wird also
mit einem Einbruch der externen bezahlt. Laborstudien kommen besonders in frühen Entwicklungsphasen zum Einsatz, da sich Feldstudien mit unfertigen Programmen nicht durchführen
lassen. Auch für die Grundlagenforschung - im Bereich der Usability namentlich besonders die
Wahrnehmungs- und Aufmerksamkeitsforschung - sind Laborstudien essenziell.
Steht die Entscheidung für einen Untersuchungsort, müssen als nächstes die Evaluationsmethoden ausgewählt werden, mit denen man sich dem Untersuchungsgegenstand annähern möchte. Stowasser unterscheidet hierbei in erster Linie formale und empirische Methoden, wobei
erstere Methoden wie das GOMS-Modell, Cognitive Walkthrough und heuristische Expertenuntersuchungen bezeichnet, wie sie im Punkt analytische Evaluationsmetoden beschrieben werden.
Die empirischen Methoden unterteilt Stowasser in subjektive und objektive. Um einen Überblick über die Methodenvielfalt zu bewerkstelligen, soll diese Einteilung hier Anwendung finden
[Sto06, S. 90].
Als subjektive Methoden bezeichnet Stowasser alle Maße, die nicht direkt abgeleitet, sondern
durch eine Befragung gewonnen werden. Der Nutzer als Versuchsperson soll sich während des
Umgangs mit dem Untersuchungsobjekt ein Urteil bilden, welches dem Versuchsleiter durch die
Befragung zugänglich wird. Die subjektiven Maße wiederum können in zwei Gruppen aufgeteilt
werden. Erstere lässt sich unter dem Begriff Befragung sammeln.
7
Befragungen lassen sich mündlich1 , schriftlich oder online durchführen (vgl. [Sto06]). Wählt
man einen schriftlichen Fragebogen, muss man sich immer noch entscheiden, ob dieser zugesandt oder im Labor ausgefüllt werden soll und es gilt das passende Antwortformat (vorgegebene Antworten: konfirmatorisch, leicht auszuwerten; offene Fragen: explorativ, tiefere Antworten,
schwieriger auszuwerten) zu wählen (vgl. [Pus09]). Pusher empfiehlt dabei möglichst nah an
der Zielgruppe zu befragen, also wie in unserem Fall direkt auf der Homepage, die man untersuchen möchte [Pus09]. Befragungen lassen sich in jeder Phase der Realisierung eines Projekts
integrieren und liefern kreative Anregungen, die deutlich genauer beschreiben, in welchem Bereich etwas verbessert werden muss. Im Interview können unklare Antworten sogar direkt durch
Nachfragen geklärt werden. Gleichzeitig sollte man jedoch damit rechnen, dass die Befragten
weniger Mängel des Untersuchungsobjekts benennen oder sogar aufspüren als bei einem Experiment zu Tage träten und sie ihr tatsächliches Verhalten nicht immer korrekt einschätzen können
(vgl. [Pus09]).
Um Daten über einen längeren Zeitraum zu gewinnen, kann man die Versuchspersonen ein
Benutzertagebuch ausfüllen lassen (vgl. [Sto06]) oder sehr kurze Befragungen prominent auf der
Homepage bzw. in der Anwendung integrieren, die zu einer wiederholten Teilnahme einladen
(vgl. [Pus09]). Des Weiteren können die Teilnehmer durch Techniken wie Grupppendiskussion
oder die Co-Discovery-Methode2 angeregt werden (vgl. [Bei02]).
Ganz besonders gut eignet sich im Bereich der Software- und Internet-Usability-Evaluation
eine Online-Befragung, bei der ein webbasierter Fragebogen als Link an die Versuchspersonen
geschickt wird. Neben der Möglichkeit Bilder, Töne und Filme in den Fragebogen zu integrieren, kann sogar die Zeit gestoppt und eine Ablenkung durch andere Anwendungen auf dem PC
blockiert werden. Je nachdem in welcher Phase man eine Online-Befragung einsetzt, kann man
entweder gezielt über die vorliegenden Panel-Daten eine Stichprobe auswählen, die der späteren
Zielgruppe ähnlich sind, oder ein bereits implementiertes Produkt durch den Kunden vor Ort
bewerten lassen. In den letzten Jahren wurden zudem Techniken, wie Attention- und MouseTracking entwickelt, durch die es möglich ist, die Befragungsdaten mit objektiven Maßen zu
verbinden und dennoch von den Vorteilen einer Online-Befragung, wie der schnellen Datengewinnung, hohen Reichweite und großen Fallzahlen zu profitieren (vgl. [Sto06]; [Pus09]; [Bei02];
[GS08]).
Online-Befragungen bergen allerdings auch Nachteile, die es zu berücksichtigen oder auszugleichen gilt. So müssen z.B. Vorkehrungen getroffen werden, um eine Mehrfachteilnahme zu
verhindern. Auch die Umgebungsbedingungen während der Teilnahme sind ein Risiko, da OnlineBefragungen sowohl in einem ruhigen Büro, als auch auf einem Handy-Bildschirm in einer vollen
Straßenbahn bearbeitet werden können. Neben technischen Möglichkeiten, Nebenbeschäftigungen zu erschweren, kann eine Frage zu den Umgebungsbedingungen oder eine Aufforderung, den
Fragebogen nur an ruhigen Orten auszufüllen, die Datenqualität zumindest leicht verbessern.
Die andere große Gruppe der subjektiven empirischen Evaluationsmethoden ist die der Beobachtung. Wie oben beschrieben, kann die Beobachtung in einem Labor oder im Feld durchgeführt werden. Da dem Versuchsleiter bei der Beobachtung das Innere des Probanden verborgen bleibt, gilt es deutlich mehr zu beachten, weshalb sich in der Literatur auch deutlich
umfangreichere Informationen finden, die hier nur zum Teil behandelt werden können. Pusher
[Pus09] empfiehlt beispielsweise die Beobachtung für spätere Phasen der Entwicklung, wenn die
1
2
Hierbei kann es sich um standardisierte, halb-standardisierte oder freie Interviews handeln.
Zwei Probanden explorieren das Untersuchungsobjekt gemeinsam.
8
grundlegende Gestaltung bereits feststeht, weist darauf hin, dass eine Beobachtung auch über
Traffic-Daten, also parallel zu einer Online-Erhebung, durchgeführt werden kann und betont,
dass viele Maße sich gar nicht erfragen, sondern nur beobachten lassen.
Um die Erfassung zu erleichtern, gibt es einige Methoden, die Probanden anzuregen. Immer
wieder wird in diesem Zusammenhang zum Beispiel die Methode des lauten Denkens“ genannt,
”
bei der die Versuchsperson während der Beobachtung ihre Gedanken, Assoziationen und Intentionen artikulieren (vgl. z.B. [Sto06]). Auch die Gruppendiskussion ist eine beliebte Methode, bei
der die Befragung durch die Beobachtung einer Gruppe von Teilnehmern ersetzt wird und besonders explorative Fragestellungen bedient werden können. Meinungen, Vorurteile, Einstellungen,
Fehlinformationen und Informationsdefizite werden so mit einer größeren Wahrscheinlichkeit
offenbart, als bei der Beobachtung von Einzelpersonen (vgl. [Bei02]).
Das klassische Setting bei Beobachtungsstudien in diesem Feld ist allerdings das Usability
Labor. Dort werden Studien von einer Länge von 1-1,5 Stunden durchgeführt, für die typische
Laborstudienbedingungen gelten (s.o.). Hier können sowohl Befragungs- als auch Beobachtungsmethoden eingesetzt, aber auch direkte Maße erhoben werden.
Eben diese direkten Maße bezeichnet Stowasser in Abgrenzung zu den subjektiven als objektive Methoden. Dabei wird ein direktes Maß erfasst, dass entweder selbst Kriterium von
Usability ist oder über eine Theorie mit einem solchen verbunden wird. Tullis & Albert
nennen folgende gebräuchliche zehn Maße: Erfolgreiches Abschließen von Aufgaben (mit oder
ohne die Erfassung von Teilerfolgen), Zeiterfassung, Anzahl von Fehlern (besonders nützlich
um missverständliche und fehleranfällige Programmteile aufzuspüren), Anzahl benötigter Klicks
für das Bewältigen einer Aufgabe, Lernerfolge, themenspezifische Maße, selbstberichtete Maße,
verhaltens- und psychologische Maße, kombinierte und komparative Maße, Website-Maße und
Card-Sorting Daten [Tul08, S. 48ff]. Besonders typische Maße sind die Bearbeitungszeit und die
Messung der Aufmerksamkeit via Eye- oder Mouse-Tracking (vgl. [Bei02]). Besonders in Kombination mit der anschließenden Befragung tragen Beobachtungsverfahren zu einer fruchtbaren
Untersuchung bei.
Im praktischen Einsatz von Evaluationsmethoden besteht jedoch keineswegs der Zwang sich
für eine der vier Kategorien zu entscheiden. Je nach Fragestellung gilt es eine Auswahl zu Treffen
und sich ein Set von Methoden zusammenzustellen. Insbesondere die spezifischen Schwächen der
einzelnen Methoden können so ausgeglichen oder abgemildert werden. Ein denkbares Beispiel
wäre es, den theoretisch angenommenen Zusammenhang von Bearbeitungsgeschwindigkeit und
einfacher Bedienung über ein Interview zu überprüfen. Stowasser warnt allerdings auch davor,
dass ein ungünstiger Methoden-Mix u.U. zu einer Verminderung der Validität führen kann. Ein
Mehr an Methoden ist nicht gleichbedeutend mit einem Mehr an Messqualität.
Eingespielte Kombinationen von Erhebungsmethoden findet man unter dem Begriff UsabilityTest (30 VPn) bzw. -Schnelltest (5 VPn), der sich aus einer Kombination von Beobachtungs- und
Befragungsdaten in einem Labortest zusammensetzt. Der Proband wird während der Lösung von
vorgegebenen Aufgaben vom Testleiter beobachtet und soll dabei laute denken“ . Kameras und
”
Mikrophone, z.T. auch Eye-Tracking-Gerätschaften zeichnen den Versuch für spätere Nachuntersuchungen auf. Nach dem Lösen der Aufgabe wird ein Interview durchgeführt. So verbindet
diese teure und langsame Untersuchungsmethode zwar ein breites Spektrum an Maßen, die im
Laborsetting möglich sind, muss dafür allerdings auch die Labornachteile in Kauf nehmen (vgl.
[Pus09]).
9
3.1. Die Seite des Fachbereichs MCI
Um den Gegenstand des Forschungsprojekts näher zu erläutern, soll an dieser Stelle ein kurzer
Abriss über die untersuchte Homepage stattfinden. Die Gesellschaft für Informatik untergliedert sich in mehrere Fachbereiche. Einer dieser Bereiche ist der Fachbereich Mensch-ComputerInteraktion (MCI). Die interdisziplinäre Ausrichtung des Fachbereichs impliziert eine heterogene
Zielgruppe. Diese setzt sich gleichermaßen aus Mitgliedern der Informatik und Ingenieurwissenschaften sowie aus den der Arbeitswissenschaften, der Psychologie und den Designdisziplinen
zusammen.
Eine Analyse der Seite erfolgte durch eine Mischung aus heuristischer Evaluation, Cognitive
Walkthrough und Userstories. Wie bereits angerissen worden ist, setzt sich die Menge der Nutzer
dieser Website aus den verschiedensten Disziplinien zusammen. Wir gehen davon aus, dass die
Seite der Fachgruppe insbesondere von Mitgliedern der Gesellschaft für Informatik genutzt wird.
Die Seite wäre demnach in erster Linie für Studierende, Wissenschaftler und auch Praktiker von
Interesse.
3.1.1. Heuristische Evaluation und Cognitive Walkthrough
Als erstes wurde die Website mit Hilfe einer heuristischen Evaluation analysiert. Allerdings sollten auch konkrete Nutzeraufgaben zur empirischen Überprüfung entwickelt werden, weswegen
unser Vorgehen einer Mischform aus Cognitive Walkthrough und heuristischer Evaluation entsprach. Hierbei wurde besonders auf einige bereits in Kapitel 2 erwähnten Aspekte geachtet:
Übersichtlichkeit (Findability [NL06], Kurzzeitgedächtnis [wik], Seitendesign [NL06])
Konsistenz [wik]
Kontrolle [wik]
Abkürzungen [wik]
Eine Zusammenfassung aller Aufälligkeiten befindet sich am Ende dieses Unterkapitels (Tabelle
3.1).
Die Startseite
Die Startseite der Homepage des Fachbereichs MCI http://www.gi-ev.de/gliederungen/
fachbereiche/mensch-computer-interaktion-mci.html enthält Informationen des Fachbereichs, der Fachgruppen und Arbeitskreise und Informationen allgemeiner Art (Abbildung 3.1).
10
Abbildung 3.1.: Startseite des Fachbereichs MCI
11
Auffälligkeiten Bei der ersten Seitenexploration fielen uns verschiedene Dinge auf. Das Bild
des Flyers auf der Startseite suggerierte einen Link, eine Interaktion war jedoch nicht möglich.
Zudem ließ sich die tatsächliche Gliederung der Website1 erst nach einigem Scrollen erkennen.
Die Informationen hier sind mit denen einiger, aber nicht aller Unterpunkte kongruent und
die aufgeführten Unterpunkte in der Seitenleiste sind nicht konsistent auf der gleichen Ebene
gehalten. Allgemein wirkt sie Seite wirkt sehr textlastig. Eine der gravierensten Auffälligkeiten
war der fehlende Home-Button“.
”
Beschreibung des Menüpunktes Fachbereich“
”
Der Punkt Fachbereich“ gliedert sich in die Unterpunkte Ziele und Aufgaben“, Leitungsgre”
”
”
mium“ und Organisationsstruktur“.
”
Ziele und Aufgaben: Auflistung der vom Fachbereich behandelten Themen und Aufgabenbereiche
Leitungsgremium: Darstellung der Fachbereichsleitung
Organisationstruktur: Ämter und Finanzierung des Fachbereichs und Höhe des Mitgliedsbeitrags
Auffälligkeiten In Ziele und Aufgaben“ überraschte eine unvorhergesehene Verlinkung auf eine
”
asiatische Seite2 . Der Unterpunkt Organisationsstruktur“ machte hier wiederum einen textlas”
tigen Eindruck.
Der Menüpunkt MCI Informationen“
”
Der Punkt MCI Informationen“ wird in die Unterpunkte Veranstaltungen“, Veröffentlichungen“
”
”
”
und Ehrungen und Preise“ untergliedert.
”
Veranstaltungen: Daten über anstehende und vergangene Events im Fachbereich
Veröffentlichungen: Links zu relevanten Zeitschriften und Empfehlungen
Ehrungen und Preise: Liste von Personen, welche Ehrungen oder Preise in den Bereichen
Forschung, Praxis und Design, erhalten haben
Auffälligkeiten Trotz weniger Termine wirkt der Punkt Veranstaltungen“ sehr unübersichtlich
”
und tote3 oder asiatische4 Links wirkten zudem verwirrend. Dies traf auch auf die Unterscheidung
von aktuellen und archivierten Veranstaltungen zu. Diese Trennung wirkte willkürlich und hatte
allem Anschein nach keinen tieferen Nutzen. Der Punkt Veröffentlichungen“ machte einen sehr
”
mageren Eindruck und die teils fehlenden Beschreibungen bzw. Verlinkungen reduzieren den
Informationswert der Seite zusätzlich. Irritierend wirkte der Farbwechsel im Punkt Ehrungen
”
1
Die Website ist untergliedert in die Punkte Fachbereich, MCI Informationen, Fachgruppen und Arbeitskreise
Vertretung der GI im IFIP TC 13 Human-Computer Interaction
3
D-CSCW 2000, Mensch & Computer 2001, ECSCW 2001, Mensch & Computer 2003, http://www-winfo.unisiegen.de/wulf/CT2003/,...
4
http://www.interact2003.org/
2
12
und Preise“, der weder einheitlich mit den Jahren, noch mit den Preisträgern verbunden war. Ein
einheitlicher Detailgrad bei den Ausführungen zu den Preisen wurde ebenfalls nicht umgesetzt.
Der Menüpunkt Fachgruppen“
”
Auch der Punkt Fachgruppen“ hat mehrere Unterpunkte, wobei lediglich zu den Punkten
”
Software-Ergonomie“, Computer-Supported Cooperative Work“ und Medieninformatik“ In”
”
”
formationen auf der zu untersuchenden Seite enthalten sind, wohingegen die Fachgruppen Me”
thoden und Werkzeuge zur Entwicklung interaktiver Systeme“, Adaptivität und Benutzermo”
dellierung in interaktiven Softwaresystemen“ und E-Learning“ auf andere Seiten verweisen.
”
Software-Ergonomie: Vorstellung der Fachgruppe
Computer-Supported Cooperative Work: Vorstellung der Fachgruppe
Medieninformatik: Vorstellung der Fachgruppe
Methoden und Werkzeuge zur Entwicklung interaktiver Systeme: Link
Adaptivität und Benutzermodellierung in interaktiven Softwaresystemen: Link
E-Learning: Link
Auffälligkeiten In diesem Unterpunkt findet man zum ersten Mal eine Auffächerung in der
linken Seitenleiste. Außerdem fallen Inkosistenzen auf, da einige Fachgruppen kurz beschrieben
werden, an anderer Stelle aber auf andere Seiten verwiesen wird. Zudem sind die Unterpunkte
in der Seitenleiste und der Seiteninhalt redundant.
Der Menüpunkt Arbeitskreise“
”
Der letzte Punkt Arbeitskreise“ gliedert sich in Wearable und Nomadic Computing“, Mensch”
”
”
Maschine-Interaktion in sicherheitskritischen Systemen“ und Begreifbare Interaktion in ge”
mischten Wirklichkeiten“.
Wearable und Nomadic Computing: Vorstellung des Arbeitskreises
Mensch-Maschine-Interaktion in sicherheitskritischen Systemen: Vorstellung des Arbeitskreises
Begreifbare Interaktion in gemischten Wirklichkeiten: Vorstellung des Arbeitskreises
Auffälligkeiten Hier findet man, wie im Punkt Fachgruppe“, Inkosistenzen in der Darstellung
”
der einzelnen Arbeitskreise und Redundanzen zwischen Unterpunkten in der Seitenleiste und
dem Seiteninhalt, wobei es hier eine verwirrende Abweichung eines Unterpunktes gibt (Interaktive Systeme) .
Die Bodenleiste
Als Letztes wurde noch die Bodenleiste der Seite analysiert. Hier befinden sich die üblichen Links
zu Sitemap“, “Kontakt“, Feedback“, Impressum“, Datenschutzerklärung“ und Druckversion“.
”
”
”
”
”
13
Auffälligkeiten Aufgrund der bereits erwähnten Textlastigkeit, wäre hier anzumerken, dass auf
den meisten Seiten viel Scrollen nötig war. Dies erschwert das Finden des Kontaktbuttons und
somit die Möglichkeit mit den Verantwortlichen in Kontakt zu treten. Zusammenfassend hier
noch einmal eine Tabelle mit allen Auffälligkeiten und den dazugehörigen Usability-Kriterien
(Tabelle 3.1).
Nr.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Auffälligkeit
Das Bild des Flyers auf der Startseite suggerierte einen Link
Gliederung der Website nicht sofort ersichtlich
Inkongruenz der Information in der Seitenleiste zur Startseite
Unterpunkte der Seitenleiste sind nicht auf einer Ebene
Seite sehr textlastig
HomeButton fehlt
unvorhergesehen Verlinkung auf eine asiatische Seite
Unterpunkt Organisationsstruktur“ macht textlastigen Eindruck
”
der Punkt Veranstaltungen“ ist sehr unübersichtlich
”
tote Links
willkürliche Trennung aktueller und archivierter Veranstaltungen
fehlende Links und Beschreibungen bei Veröffentlichungen“
”
Irritierender Farbwechsel bei ”Preise und Ehrungen”
Kein einheitlicher Detailgrad bei den Ausführungen zu den Preisen
Einführung der Auffächerung in der linken Seitenleiste
Inkonsistenz bei Fachgruppenbeschreibung
Unterpunkte in der Seitenleiste und der Seiteninhalt sind redundant
Inkonsistenzen in der Darstellung der einzelenen Arbeitskreise
Textlastigkeit erschwert das Finden des Kontaktbuttons
Usability-Kriterium
Findability
Kurzzeitgedächtnis, Seitendesign
Konsistenz, Seitendesign
Umkehrung, Kurzzeitgedächtnis, Abkürzung
Kontrolle
Kurzzeitgedächtnis, Findability, Seitendesign
Kontrolle
Kurzzeitgedächtnis, Findability, Seitendesign
Findability
Kurzzeitgedächtnis, Findability, Konsistenz, Seitendesign
Konsistenz
Konsistenz, Findability
Konsistenz
Konsistenz
Konsistenz
Kurzzeitgedächtnis, Findability, Seitendesign, Abkürzung
Tabelle 3.1.: gefundene Auffälligkeiten im Überblick
Den Auffälligkeiten Nr.9, Nr.13, und Nr.19 haben wir besonderes Augenmerk geschenkt, da
die verletzten Usabilitykriterien unserer Definition der Übersichtlichkeit entsprechen.
3.1.2. Userstories
Um konkrete Anwendungsbeispiele für diese drei Auffälligkeiten zu haben, wurden Userstories
zu den betreffenden Unterseiten und zu den oben genannten Nutzergruppen entwickelt.
Studierende
Herr Heinrich möchte nachschauen, ob sein Dozent, von dem er viel Gutes gehört hat, tatsächlich
3 Ehrungen im Bereich der MCI erhalten hat und schon 2005 bei MCI Veranstaltungen aktiv
mitgewirkt hat.
Wissenschaftler
Frau Mendel ist Hochschullehrerin für Softwareentwicklung und Mitglied in der GI. Sie hat
Informationen bezüglich einer kommenden Mensch & Computer“ Tagung erhalten und möchte
”
sich nun auf der Seite genauer über diese informieren.
Praktiker
Herr Schmidt arbeitet bei einer mittelständischen Firma an der Entwicklung einer Spracherkennungssoftware und möchte der Fachgruppe beitreten. Er sucht nach den zugehörigen Informationen sowie nach Kontaktmöglichkeiten zu den zuständigen Personen.
14
Unsere Hypothesen und Messmethoden wurden aufgrund dieser drei Auffälligkeiten und der
Userstories gebildet. Auf dieser Basis wurde ein alternatives, optimiertes Seitendesign für die
betreffenden Unterseiten erstellt.
3.2. Alternatives Seitendesign
Ehrungen und Preise
Um die Übersichtlichkeit der Aufzählung zu steigern wurde die Hintergrundfarbe angepasst. So
erhielten alle Preise eines Jahres den selben Hintergrund. Zuvor wechselte dieser ohne Berücksichtigung des Inhalts zwischen Grau und Weiß. In Abbildung 3.2 ist der Unterschied zwischen
original (links) und der alternativen Darstellung (rechts) zu erkennen.
Abbildung 3.2.: Alternatives Design: Ehrungen und Preise
Hierzu wurden die HTML-Klassen der HTML-Tabelle genutzt. Dabei erhält eine graue Zeile
die Klasse tr-odd“ und eine weiße tr-even“. Die Klassen selbst wurden nicht verändert sondern
”
”
aus der Originalseite übernommen. Lediglich die Reihenfolge wurde angepasst und so das Ziel
mit möglichst geringem Aufwand erreicht.
Veranstaltungen
Wie im rechten Teil der Abbildung 3.3 dargestellt, wurden die Veranstaltungen nach Jahren
gegliedert und zusammengefasst. Weiterhin sind jeweils nur die Veranstaltungen des aktuell
ausgewählten Jahres sichtbar um die Übersichtlichkeit zu erhöhen.
15
Abbildung 3.3.: Alternatives Design: Veranstaltungen
In der technischen Umsetzung wurden die Veranstaltungen eines Jahres in einem div-Element
zusammengefasst, welches standardmäßig unsichtbar ist. Durch Anklicken eines Jahres wird das
dazugehörige div-Element sichtbar. Diese Funktion wurde durch JavaScript realisiert. Außerdem
wurden die Farben der Originalseite verwendet um das Design konstant zu halten.
Kontakt
Um die Kontaktaufnahme einfacher und schneller zu gestalten wurde der Kontakt-Link vom
unteren Seitenende in das Hauptmenü auf der linken Seite verschoben (Abbildung 3.4).
Abbildung 3.4.: Alternatives Design: Kontakt
16
3.3. Hypothesen
Im Rahmen der Untersuchung sollten drei unterschiedliche Hypothesen überprüft werden. Die
Überprüfung erfolgte durch eine empirische Studie, in deren Rahmen drei unterschiedliche Aufgaben und ein Fragebogen von den Versuchspersonen bearbeitet wurden.
Im Laufe der Seitenexploration sind verschiedene Auffälligkeiten zu Tage gekommen. Ob diese
Auswirkungen auf eine schnelle Informationssuche haben, sollte in Hypothese 1 mit Hilfe des
Alternativdesigns überprüft werden. So vermuteten wir, dass sich durch eine farbliche Zusammenfassung eines Jahres (Abbildung 3.2), die Übersichtlichkeit und somit die Bearbeitungsgeschwindigkeit steigern lässt.
Hypothese 1a: Wenn in der Rubrik Ehrungen und Preise“ jeweils alle Preisträger
”
”
eines Jahres grau hinterlegt werden, steigert das die Übersichtlichkeit.“
Eine weitere Steigerung der Übersichtlichkeit und damit der Bearbeitungsgeschwindigkeit erhofften wir uns durch eine Gliederung in Unterpunkte, wie es bei dem Menüpunkt Veranstaltungen“
”
vorgenommen wurde (Abbildung 3.3).
Hypothese 1b: Wenn in der Rubrik Veranstaltungen“ nur die Jahre aufgelistet
”
”
sind, und man mit einem Klick auf das Jahr die zugehörigen Veranstaltungen sieht,
erhöht das die Übersichtlichkeit.“
Zu erwarten wäre auch eine Steigerung der Bearbeitungsgeschwindigkeit durch Abkürzungen
[SP05]. Ein zusätzlicher Kontaktknopf (Abbildung 3.4) in der Seitenleiste erhöht die Sichtbarkeit
([NL06]) und stellt so eine Abkürzung dar.
Hypothese 1c: Wenn ein Menüpunkt Kontakt“ in der linken Seitenleiste integriert
”
”
ist, erleichtert dies eine Kontaktaufnahme.“
Diese drei Subhypothesen stellen das optimierte Design dem Originaldesign in puncto Effektivität (EN ISO 9241-11 [iso]) gegenüber.
Hypothese 1: Die Geschwindigkeit bei der Aufgabenbearbeitung ist bei der ver”
besserten Version höher, als bei der Originalversion.“
Durch die kleinen Verbesserungen der Seiten und den daraus erwarteten Vorteilen (Bearbeitungsgeschwindigkeit und Übersichtlichkeit) erhofften wir einen subjektiven Zuwachs an Professionalität.
Hypothese 2: Die Professionalität der Website wird bei der verbesserten Version
”
höher bewertet, als bei der Originalversion.“
Displaygröße und Steuerung beeinflussen Bearbeitungsgeschwindigkeit und Übersichtlichkeit.
Verbesserungen in diesen Bereichen wirken sich daher umso mehr auf Geräten aus, bei denen
diese Parameter kritisch sind. Bei einem Smartphone ist dies der Fall. Sowohl Displaygröße als
auch Steuerung sind von einem Desktop-PC verschieden.
Hypothese 3: Beim Smartphone wirkt sich die verbesserte Version der Website
”
noch stärker auf die Bearbeitungszeiten und die Bewertung der Professionalität der
Website aus.“
17
In einem früheren Stadium der Versuchsplanung war angedacht Bedienung und Displaygröße
unter Verwendung von multitouchfähigen Notebooks und eines Smartphone-Emulators getrennt
von einander zu varrieren. Aufgrund der dementsprechend höheren Anforderung an Ressourcen,
welche im Rahmen des Projekts nicht aufzubringen waren, fiel die Entscheidung entgegen dieser
Betrachtungsweise aus. Eine Konfundierung der Einflussgrößen Bedienung“ und Displaygröße“
”
”
konnte in diesem Versuchsdesign nicht verhindert werden.
Zudem sollte es als vierte Aufgabe eine Fragestellung zum Home-Button“ geben. Dies wäre
”
nach Shneiderman eine Variation des Kriteriums der Umkehrung und der Abkürzung gewesen. Da es sich bei diesen Aufgaben jedoch um ein unlösbares Problem auf der Ursprungsseite
gehandelt hätte, konnte diese Idee in der vorliegenden Studie nicht umgesetzt werden.
18
4. Usability Studie
Zur Untersuchung der aufgestellten Hypothesen galt es nun möglichst Geeignete aus der in
Punkt 2.4 und 2.5 dargestellten Methodenvielfalt auszuwählen. Dabei mussten besonders die
begrenzte Zeit und das Fehlen finanzieller Ressourcen beachtet werden. Aufgrund dieser beiden Einschränkungen war schnell klar, dass weder eine theoretische Aufbereitung wie GOMS
(aufgrund der begrenzten Zeit) noch eine expertengestützte Analyse (aufgrund der begrenzten
finanziellen Möglichkeiten) in Frage kamen.
Festgelegt auf eine empirische Annäherung, fiel eine weitere Einschränkung relativ leicht.
Da eine Felduntersuchung an einer Homepage darauf angewiesen ist, dass es eine sehr klar
umrissene Zielgruppe gibt, konnten wir uns für die weiteren Überlegungen auf ein Laborsetting
konzentrieren. Um die Gewinnung der Daten innerhalb kurzer Zeit zu erreichen, wurden also
mehrere möglichst ablenkungsarme Computerarbeitsplätze vorbereitet. Eine Kombination aus
Befragung, Beobachtung und der Erhebung der Zeiten zur Lösung von Aufgaben als direktes
Maß wurde zusammengestellt, um die Nachteile der Einzelmethoden ausgleichen.
4.1. Untersuchungsdesign
Bei unserer Untersuchung handelt es sich um ein 2 X 2 Design. Alle Faktoren wurden als
Between-Subject“-Faktoren realisiert. Bei den experimentell variierten unabhängigen Variablen
”
handelte es sich um die Version der Website (original vs. optimiert), sowie um das verwendete Endgerät (Desktop vs. Handy). Die beiden Versionen der Website werden in Kapitel 3.6
ausführlich beschrieben. Die verwendeten Endgeräte werden im nächsten Abschnitt erläutert.
Beide Variablen wurden vollständig gekreuzt, das heißt es ergaben sich vier unterschiedliche
Versuchsbedingungen. Als abhängige Variable wurde die Usability der Website betrachtet. Das
umfassende Konstrukt Usability wurde mittels unterschiedlicher Variablen operationalisiert. Bei
der ersten abhängigen Variable handelt es sich um die Bearbeitungszeit, welche die Versuchsteilnehmer bei der Bearbeitung dreier unterschiedlicher Aufgaben auf der Website benötigten.
Darüber hinaus wurden unterschiedliche subjektive Urteile der Versuchsteilnehmer bezüglich
der Website mittels eines Fragebogens erfasst. Die Website wurde dabei von den Versuchspersonen auf 7-stufigen Skalen bezüglich Übersichtlichkeit, Professionalität, Einheitlichkeit, optisch
ansprechende Gestaltung und Gefallen insgesamt beurteilt.
Messung der Hypothese 1
Um Hypothese 1 ( Die Geschwindigkeit bei der Aufgabenbearbeitung ist bei der verbesserten
”
Version höher, als bei der Originalversion.“) zu testen, wurden verbesserte Versionen einiger
Unterseiten entwickelt. Dies betraf die Rubriken Ehrungen und Preise“, Veranstaltungen“ und
”
”
die Hauptseite. In der ersten Rubrik wurde die farbliche Hinterlegung konsistent zu den Jahren
verändert, in der zweiten wurden die Informationen in Unterpunkte zusammengefasst und es
19
4. Usability Studie
wurde der Hauptseite ein Kontakt-Button“ in der linken Seitenleiste hinzugefügt. So manipuliert
”
wurden nun die folgenden drei Aufgaben auf ihre Bearbeitungsgeschwindigkeit hin untersucht.
Die Aufgaben begannen jeweils auf der Startseite.
1. Finden Sie heraus, in welchem Jahr Thomas Schildhauer mit dem Designpreis ausgezeich”
net wurde.“
2. Finden Sie heraus, wo im Jahre 2005 die Mensch-Computer Messe stattgefunden hat.“
”
3. Nehmen Sie Verbindung zur Geschäftsführung auf.“
”
Bei Hypothese 2 (Die Professionalität der Website wird bei der verbesserten Version höher
bewertet, als bei der Originalversion“) ging es uns um die subjektive Einschätzung der Professionalität der beiden Seiten. Diese wurde mittels eines Fragebogens (siehe Anhang) verglichen.
Um die Hypothese 3 ( Beim Smartphone wirkt sich die verbesserte Version der Website noch
”
stärker auf die Bearbeitungszeiten und die Bewertung der Professionalität der Website aus.“) zu
testen, wurden die Aufgaben beider Seitenversionen sowohl auf einem Desktop-PC als auch auf
einem Smartphone getestet.
4.2. Technische Umsetzung der Zeiterfassung
4.2.1. Verwendete Geräte
Für diese Studie werden zwei Arten von Geräten verwendet: Destoprechner mit installiertem
Windows XP und einem 22 Zoll TFT Bildschirm, sowie Smartphones mit Android Betriebssystem und einer Bildschirmdiagonale von 9,4 cm mit einer Auflösung von 480 x 800 Pixeln.
4.2.2. Problemstellung Zeitmessung
Für die Messung der Zeit, welche die Probanden benötigen, um die Aufgaben durchzuführen, gibt
es verschiedene Vorgaben, die erfüllt werden müssen. Die Zeitmessung muss beginnen, sobald der
Proband die Aufgaben startet. Sie soll bis zum Ende der Aufgabe laufen und muss anschließend
gespeichert werden, ehe die nächste Aufgabe gestartet wird. Zudem muss die Zeitmessung im
Millisekundenbereich erfolgen, um eindeutige Ergebnisse zu liefern, sowie jedem Proband einzeln
zugeordnet werden können. Die Ergebnisse müssen für die weitere Verarbeitung und Auswertung
gespeichert werden. Dies muss sowohl für den Desktoprechner, als auch für das Smartphone
umgesetzt werden.
4.2.3. Überlegungen zur Zeitmessung
Es ist zu beachten, dass Desktoprechner und Smartphones verschiedene Betriebssysteme nutzen.
Die erste Überlegung für die Umsetzung der Zeitmessung war es, ein externes Stoppuhrprogramm
zu verwenden. Hierbei wäre eine Stoppuhr in Java implementiert worden, welche automatisch
20
4. Usability Studie
beim Starten des Browsers und nach Beenden der Aufgabe die Zeit erfasst. Es bestand das
Problem, dass mit dieser Methode nur der Start des Browsers, jedoch nicht das Beenden der
einzelnen Aufgaben registriert werden konnte. Zudem konnte dieses Verfahren nicht auf dem
Smartphone umgesetzt werden.
Eine weitere Überlegung war die Zeit mittels Keylogger zu erfassen. Die Zeit sollte vom Start
der Aufgabe bis zur richtigen Eingabe des Probanden von einem Keylogger registriert und im
Anschluss gespeichert und ausgewertet werden. Diese Umsetzung war ebenfalls auf dem Desktoprechner möglich. Das Smartphone mit dem Android Betriebssystem besitzt jedoch keinen internen Keylogger und musste somit an einen Desktoprechner mit installiertem Android SDK
angeschlossen werden. Im Debugmodus war es möglich Logs zu erfassen. Die Nutzereingaben
wurden hierbei jedoch zu ungenau geloggt.
Zur Diskussion stand, eine der oben beschriebenen Methoden für den Desktoprechner umzusetzen und das Smartphone separat mit Kamera zu erfassen, wobei die Eingaben und Aufgaben
von Hand ausgewertet werden sollten. Da dies bei einer großen Anzahl an Probanden nicht
durchführbar war, wurde dieser Gedanke jedoch wieder verworfen. Schließlich einigten wir uns
auf die Umsetzung in HTML und JavaScript, da hierbei eine korrekte Zeiterfassung und einfache
Umsetzung erfolgt.
4.2.4. Umsetzung der Zeitmessung
Es wurde eine HTML Seite entworfen, welche als
Wizard durch die Aufgaben führt. Hierfür wurde
eine JavaScript-Stoppuhr
in die Seite implementiert.
Nach dem Seitenaufruf öffnet sich ein Fenster, welches den Probanden auffordert seine Kennung für
die Aufgaben einzugeben,
um die Messergebnisse den
Fragebögen zuordnen zu
können. Nach der Eingabe
und Bestätigung wird die
Kennung gespeichert und
die erste Aufgabenstellung
eingeblendet. Wird diese
Abbildung 4.1.: Proband - Desktop
bestätigt, öffnet sich ein
IFrame, in welchem die GISeite geladen, sowie die Stoppuhr gestartet wird. Der IFrame wird benötigt um die gespeicherten
Daten wie Kennung oder Zeitmessungen, ohne Weiterreichen im Browser oder Speichern in Cookies, zu sichern.
Der IFrame, welcher erstellt wurde, erhält eine eindeutige ID. Über diese ist er in der HTMLSeite ansprechbar. Um festzustellen, wann der Proband die Aufgabe beendet hat, wurde versteckt
an der korrekten Stelle in der GI-Seite der JavaScript-Befehl zum Schließen des IFrames und
21
4. Usability Studie
Stoppen der Uhr integriert. Somit ist die korrekte Erfassung der Zeiten beim Beenden der Aufgabe gewährleistet. Folgend wird die nächste Aufgabenstellung eingeblendet und das Prozedere
wiederholt. Wurden die Aufgaben beendet, wird eine E-Mail generiert, welche die Kennung,
die verwendete Platform und die benötigte Zeit beinhaltet. Der Proband muss diese nun an
eine vorgefertigte Adresse senden. Die E-Mails werden schließlich mittels eines Java-Programms
ausgelesen und die erfassten Zeiten für die Analyse vorbereitet.
4.2.5. Vorteile und Nachteile
Die Umsetzung mit HTML und JavaScript im Browser beinhaltet viele Vorteile. Man erhält
durch HTML und JavaScript eine kompakte und mobile Anwendung. Bei zwei externen Programmen besteht die Möglichkeit der fehlerhaften Zeiterfassung, da unterschiedliche Ladezeiten
der Programme zu Ungenauigkeiten führen, sowie das Beenden der Aufgaben nicht automatisiert erfasst werden kann. Ebenso besteht die Möglichkeit leicht weitere Zusatzfunktionen mittels
JavaScript in den Wizard zu integrieren und diesen zu erweitern. Zudem werden für die Durchführung der Tests keine Mitarbeiter benötigt, da diese automatisiert abläuft. Der größte Vorteil
bei dieser Umsetzung ist jedoch die Flexibilität der Anwendung. Die Umsetzung funktioniert sowohl auf dem Desktoprechner, als auch auf dem Smartphone, ohne Anpassungen für das jeweilige
Betriebssystem vornehmen zu müssen. Es ist jedoch auch zu beachten, dass Browser nicht, beziehungsweise nur schwer, erlauben Daten auf den Geräten abzuspeichern. Somit musste das
Mailverfahren angewendet werden, um die gewonnenen Daten zu sichern.
4.3. Fragebogen
Im Anschluss an den praktischen Teil des Experiments sollten verschiedene Informationen mithilfe eines Fragebogens erfasst werden, unter anderem demographische Daten, sowie subjektive
Ratings bezüglich der untersuchten Website. Der Fragebogen wurde als Webfragebogen implementiert. Im ersten Abschnitt des Fragebogens werden die Teilnehmer um allgemeine Angaben
zur Person gebeten. Erfasst wird dabei Geschlecht, Alter, höchste abgeschlossene Ausbildung
und momentan ausgeübter Beruf/Studiengang des Versuchsteilnehmers. Außerdem wird erfasst,
ob von der Versuchsperson im Alltag eine Sehhilfe benutzt wird, sowie um eine Selbsteinschätzung der Sehschärfe, gegebenenfalls mit Sehhilfe, gebeten. Im nächsten Abschnitt werden die
Versuchsteilnehmer gebeten anzugeben, wie viele Stunden sie an einem typischen Tag am PC
und im Internet verbringen und ob die Teilnehmer in der Vergangenheit aktiv an der Gestaltung
einer Website mitgewirkt haben. Darüber hinaus wird nach Vorerfahrungen im Umgang mit
touchfähigen Geräten (Smartphones, MP3-Player . . . ) gefragt. Im dritten Teil des Fragebogens
sollen die Versuchsteilnehmer die Website anhand von Ratingskalen bewerten. Die siebenstufigen Skalen erfassen die Dimensionen Übersichtlichkeit, Professionalität, Einheitlichkeit, optisch
ansprechende Gestaltung und Gefallen insgesamt. Im Anschluss wird um die Benennung der
leichtesten und schwersten Aufgabe aus dem experimentellen Teil des Versuchs gebeten, inklusive einer kurzen Begründung. Im letzten Teil des Fragebogens, wurden die Versuchsteilnehmer
gebeten Verbesserungsvorschläge bezüglich der Website zu machen und zwar anhand der Kategorien Gestaltung des Layouts, Effizienz bei der Benutzung, sowie einer Kategorie Sonstiges. Auf
freiwilliger Basis können die Versuchsteilnehmer nun abschließend ihre Emailadresse angeben,
22
4. Usability Studie
um über die Ergebnisse des Experiments informiert zu werden. Die Beantwortung des gesamten
Fragebogens nimmt etwa 5-10 Minuten in Anspruch.
4.4. Beschreibung der Stichprobe
An der Studie nahmen insgesamt 60 Personen, größtenteils Studierende der eigenen Universität,
teil. Es handelte sich um 25 Männer und 35 Frauen im Alter von 19 bis 36 Jahren (M= 24.5,
SD = 3.4). Alle Versuchsteilnehmer nahmen freiwillig an der Untersuchung teil. Psychologiestudierende erhielten für die Teilnahme an dem Versuch 0.5 Versuchspersonenstunden gutgeschrieben.
4.5. Untersuchungsablauf
Jeder Proband wurde einzeln getestet. Zunächst erhielten die Teilnehmer eine kurze
mündliche Erläuterung, in der ihnen mitgeteilt wurde, dass es sich um eine Studie der
Usability einer Website handelt. Danach wurden sie gebeten, die Versuchsanleitung (siehe
Appendix) durchzulesen. Android-Probanden
erhielten außerdem eine kurze Demonstration
der Gestenkontrolle eines Smartphonebrowsers (Multitouch-Zoom, Scrollen durch Wischen des Fingersüber den Display, sowie kli”
cken“ von Inhalten) an einer Beispielwebsite. Vor dem Beginn der eigentlichen Untersuchung konnte sich die Probanden mit der
Website vertraut machen, indem sie eine Beispielaufgabe Finden Sie das Mitteilungsblatt,
”
Ergonomie und Informatik“ bearbeiteten. Danach sollten sie die Testaufgaben (siehe Abschnitt 4.1) bearbeiten. Durch das Klicken auf
die Lösung einer Aufgabe wurde die jeweils
Abbildung 4.2.: Proband - Android
nächste Aufgabenstellung aufgerufen (siehe
Abschnitt 4.2.4). Nach der Lösung der dritten
Aufgabe füllten alle Probanden einen Fragebogen zur Beurteilung der Website(siehe Abschnitt
4.3, Appendix) an einem Desktop-PC aus. Jeder Proband bekam außerdem einen Versuchspersonencode, mit denen es möglich war, seine Bearbeitungszeiten und Fragebogendaten eindeutig
einander zuzuordnen.
23
4. Usability Studie
4.6. Ergebnisse
4.6.1. Qualitative Ergebnisse
Versuchsleiterprotokolle
Während der Durchführung der Studie haben wir als Versuchsleiter verschiedene Beobachtungen über die von den Probanden verwendeten Suchstrategien gemacht. Android-Probanden verwendeten mehr Suchmechanismen als Desktop-Nutzer, um die fehlende Übersichtlichkeit eines
kleinen Smartphone-Bildschirms zu kompensieren. Die Mühe- und Zeitkosten für das Zoomen
und Scrollen an einem Smartphone sind größer, als an einem Desktop-PC. Teilweise muss um ein
Vielfaches öfter gezoomt und gescrollt werden, als bei der gleichen Aufgabe am Desktop. Die Probanden versuchten daher, das Gesuchte einer Oberkategorie zuzuordnen, um dann nach dieser
auf der Website zu suchen, anstelle sich den gesamten Inhalt der Seite durchzulesen. So wurde bei den Android-Probanden trotz mündlicher Erläuterung, die Lösung einer Aufgabe müsse
nicht wie ein als Link gekennzeichneter Text aussehen, bei der Beispielaufgabe nach einem PDFDokument oder einem Link, anstelle nach dem reinen Text Mitteilungsblatt, Ergonomie und
”
Informatik“, gesucht. Manche Probanden klickten sogar auf Dokumente oder Links mit ähnlichen Namen, da diese für sie zu der gleichen Lösungskategorie gehörten. Die Desktop-Probanden
fanden hingegen die Lösung der Aufgabe schneller und mit weniger Fehlklicks.
Nutzermeinugen
Als qualitative Auswertung haben wir auch die Nutzer gefragt, was sie in den Bereichen Gestaltung und Effizienz ändern würden. So wurde bei beiden Versionstypen die farbliche Gestaltung
bemängelt und nach mehr Veranschaulichungen verlangt. Die Seiten wurden mehrfach als ste”
ril“, bieder“ , altmodisch“ oder langweilig“ empfunden. In der optimierten Seitenversion wurde
”
”
”
sehr häufig der Wunsch geäußert, den Menüpunkt Ehrungen und Preise“ (Aufgabe 1) genauso
”
zu untergliedern, wie es bei Veranstaltungen“ (Aufgabe 2) der Fall gewesen war.
”
In puncto Effizienz fiel die Textlastigkeit auch den Nutzern auf und wurde häufig bemängelt.
Die optimierte Seite wurde häufig als logisch“ und professionell“ bezeichnet, wobei diese Be”
”
zeichnungen auch zweimal bei der Originalversion verwendet wurden. Eine Untergliederung in
übersichtlichere Kategorien wäre ebenso wünschenswert gewesen, wie ein Navigationspfad um
den aktuellen Aufenthaltsort auf der Seite besser bestimmen zu können. Abschließend noch die
Positionen einiger Nutzer über die Lage des Kontaktbuttons, wobei sich hier die Standpunkte
Gewohnheit und Effizienz gegenübertreten. Einige Nutzer waren der Meinung, dass man den
Kontaktbutton immer in der Bodenleiste erwarten würde, da dies so üblich sei, wohingegen eine
andere Position lautete:
Der Kontakt“-Button war am unteren Rand der Seite platziert, was meiner Meinung nach
”
”
ungünstig ist, da man zunächst auf die Leiste auf der linken Seite der Startseite schaut [...].“
24
4. Usability Studie
4.6.2. Quantitative Ergebnisse
Auswertung der Ratingskalen
Da die Ergebnisse der Ratingskalen nur ordinal vorlagen, mussten die Daten mit einem nichtparametrischen Test ausgewertet werden. Verwendet wurde der Mann-Whitney-U-Test. Die Mediane
geben hierbei die Richtung der Effekte an, während das Ergebnis des U-Tests anzeigt, ob der
Unterschied signifikant ist.
Ergebnisse Gesamtstichprobe:
Übersichtlich
Professionell
Einheitlich
Ansprechend
Gesamteindruck
Summe mit Gesamt.
Summe ohne Gesamt.
Original (N = 30)
Optimiert (N=30)
U-Test (einseitig)
3
3,5
4
3
3
16,5
13
4
4
4
3
3,5
19
15
0.008*
0.031*
0.087+
0.291
0.145
0.061+
0.044*
Tabelle 4.1.: Ergebnisse Gesamtstichprobe
Die Bewertung der Übersichtlichkeit und der Professionalität fielen über die gesamte Stichprobe bei der optimierten Variante signifikant höher aus. Unter den weiteren Rating-Skalen
fällt lediglich noch die Einschätzung der einheitlichen Gestaltung auf, die über die Gesamtstichprobe tendenziell höher eingestuft wird. Nimmt man die Summe aller Ratingskalen,
findet man ohne die sehr allgemeine Frage nach dem Gesamteindruck ebenfalls einen signifikanten Unterschied; nimmt man diese Variable hinzu, entschwindet der Effekt in den
Bereich des Tendenziellen.
Ergebnisse Desktop:
Übersichtlich
Professionell
Einheitlich
Ansprechend
Gesamteindruck
Summe mit Gesamt.
Summe ohne Gesamt.
Original (N = 15)
Optimiert (N=16)
U-Test (einseitig)
3
4
4
2
4
17
13
4
4
4
3
4
19,5
15,5
0.034*
0.046*
0.436
0.065+
0.208
0.102
0.088+
Tabelle 4.2.: Ergebnisse Desktop
25
4. Usability Studie
Ergebnisse Android:
Übersichtlich
Professionell
Einheitlich
Ansprechend
Gesamteindruck
Summe mit Gesamt.
Summe ohne Gesamt.
Original (N = 15)
Optimiert (N=14)
U-Test (einseitig)
2
3
3
3
3
15
2
4
4
4
2(!)
3
18,5
14,5
0.079+
0.206
0.041*
0.015*
0.260
0.261
0.221
Tabelle 4.3.: Ergebnisse Android
Betrachtet man die Medien einzeln, findet man die Befunde aus der Gesamtstichprobe auf
dem Desktop bestätigt. Auf den mobilen Geräten findet sich ein tendenzieller Unterschied
hinsichtlich der Bewertung der Übersichtlichkeit. Diametral gehen die Ergebnisse für die
Bewertung der optisch ansprechenden Gestaltung auseinander. Während sich innerhalb
der Teilstichprobe Desktop“ eine mit der Optimierung tendenziell steigende Bewertung
”
findet, sinkt die Bewertung auf den Mobiltelefonen sogar signifikant ab. Der in der Gesamtstichprobe nur als tendenziell gefundene Vorsprung der optimierten Version hinsichtlich der
Bewertung als einheitlich, tritt in der Android-Variante signifikant zu Tage.
Auswertung der Zeitmessungen
Die Ergebnisse der Zeitmessung liegen metrisch skaliert vor, weshalb zum Vergleich der Mittelwerte (Abbildung 4.3) ein T-Test herangezogen werden konnte.
Ergebnisse Gesamtstichprobe (N=60 bzw. 59, 30 vs. 30 bzw. 29)1 :
Aufgabe 1
Aufgabe 2
Aufgabe 3
µ1
µ2
T
df
Sig.
115,816
50,485
73,178
74,470
20,420
29,847
2,270
3,187
3,470
58
35,257
50,597
0,027*
0,003**
0,001***
Tabelle 4.4.: Zeitmessungen - Ergebnisse Gesamtstichprobe
1
Bei einer Versuchsperson kam es bei der Zeitmessung bei Aufgabe 3 zu einem technischen Fehler.
26
4. Usability Studie
Ergebnisse Desktop (N=31, 15 vs. 16):
Aufgabe 1
Aufgabe 2
Aufgabe 3
µ1
µ2
T
df
Sig.
78,364
21,047
44,427
43,908
11,468
9,513
3,919
2,323
3,079
19,904
29
16,153
0,001***
0,034*
0,007**
Tabelle 4.5.: Zeitmessungen - Ergebnisse Desktop
Ergebnisse Android (N=29 bzw. 28, 15 vs. 14 bzw. 13 vgl. Fußnote 1):
Aufgabe 1
Aufgabe 2
Aufgabe 3
µ1
µ2
T
df
Sig.
153,268
79,923
101,929
118,465
32,535
54,874
1,338
3,432
2,465
27
16,930
26
0,192
0,003**
0,021*
Tabelle 4.6.: Zeitmessungen - Ergebnisse Android
Sowohl in der Gesamtstichprobe als auch in der Desktopstichprobe fand sich über alle Aufgaben
hinweg eine signifikante Steigerung der Lösungsgeschwindigkeit. In der Teilstichprobe zeigte sich
dieses Ergebnis für die Aufgaben 2 und 3. Die Suche nach dem Auszeichnungsjahr von Thomas
Schildhauer wurde in beiden Designs in einer vergleichbaren Geschwindigkeit gelöst.
Schließlich untersuchten wir in einer Varianzanalyse den Einfluss von Endgerät und Design und
die Stärke der Wechselwirkung der beiden Faktoren in Bezug auf die Lösungsgeschwindigkeit.
27
4. Usability Studie
Ergebnisse ANOVA:
Sig.
part. Eta2
Aufgabe 1
Aufgabe 2
Aufgabe 3
0,000***
0,000***
0,000***
0,359°°°
0,354°°°
0,294°°
Aufgabe 1
Aufgabe 2
Aufgabe 3
0,012*
0,000***
0,157
0,108°
0,218°°
0,209°°
Aufgabe 1
Aufgabe 2
Aufgabe 3
0,990
0,011*
0,602
0,000
0,109°
0,006
Endgerät
Design
Endgerät * Design
Tabelle 4.7.: Zeitmessungen - Ergebnisse ANOVA
Wie man an den Werten sehen kann, hatte das Endgerät einen sowohl höchstsignifikanten,
als auch starken Effekt auf die Bearbeitungszeit aller Aufgaben (bei Aufgabe 3 im Grenzbereich
zwischen mittlerer und hoher Effektstärke). Auch für das Design konnten nennenswerte Effektstärken nachgewiesen werden, wobei der Effekt auf Aufgabe 3 nicht signifikant ist. Aufgabe
1 weist einen, wenn auch kleinen, so doch signifikanten Effekt auf, während der höchstsignifikante Effekt des Designs auf die Lösungsgeschwindigkeit von Aufgabe 2 im mittleren Bereich
angesiedelt ist.
2
°°°hohe, °°
mittlere,° kleine Effektstärke
28
4. Usability Studie
Abbildung 4.3.: Vergleich der Mittelwerte der Bearbeitungszeiten
Einflüsse von weiteren erhobenen Faktoren und Einschränkungen für Teilgruppen
Neben den unmittelbar zur Hypothesenprüfung notwendigen wurden noch weitere Faktoren
erhoben. Bei einer Überprüfung der Varianzaufklärung konnte ein Einfluss von SmartphoneErfahrung, dem Tragen einer Brille und der täglichen Internetnutzungsdauer festgestellt werden.
Aufgrund der geringen Stichprobengröße waren detaillierte und methodisch vertretbare Analysen der Teilstichproben jedoch fast nicht möglich. Wo zumindest Tendenzen ermittelt werden
konnten, stellten die Einflussfaktoren aufgrund der zufälligen Verteilung der Probanden über die
4 Versuchsbedingungen die Ergebnisse der Studie jedoch nicht in Frage. Geschlecht, Sehkraft, Alter, tägliche PC-Nutzungsdauer und Erfahrungen der Teilnehmer im Bereich Webdesign hatten
keinen relevanten Einfluss auf das Abschneiden der Teilnehmer in unserer Untersuchung.
29
4. Usability Studie
4.7. Interpretation und Bewertung
Im Folgenden sollen die gewonnenen Ergebnisse herangezogen werden, um die in Punkt 3.3
beschriebenen Hypothesen zuüberprüfen.
Hypothese 1a: Wenn in der Rubrik Ehrungen und Preise“ jeweils alle Preisträger
”
”
eines Jahres grau hinterlegt werden, steigert das die Übersichtlichkeit.“
Hypothese 1b: Wenn in der Rubrik Veranstaltungen“ nur die Jahre aufgelistet
”
”
sind, und man mit einem Klick auf das Jahr die zugehörigen Veranstaltungen sieht,
erhöht das die Übersichtlichkeit.“
Hypothese 1c: Wenn ein Menüpunkt Kontakt“ in der linken Seitenleiste integriert
”
”
ist, erleichtert dies eine Kontaktaufnahme.“
Die erste Hypothese lautet zusammengefasst:
Hypothese 1: Die Geschwindigkeit bei der Aufgabenbearbeitung ist bei der ver”
besserten Version höher, als bei der Originalversion.“
Die gewonnenen Daten bestätigen Hypothese 1. In der Gesamtstichprobe zeigen sich signifikante
Unterschiede in den Mittelwerten aller drei Aufgaben, wobei in allen drei Fällen die Probanden,
die mit der optimierten Version der Website gearbeitet haben, die Aufgaben in kürzerer Zeit
gelöst haben. Die Varianzanalyse zeigt zudem, dass die Kontrolle des Endgerätes bei Aufgabe
1 und 2 einen bedeutsamen Anteil der Varianz aufklärt, sowie einen in dieser Stichprobe nicht
signifikanten Aufklärungsanteil auch bei Aufgabe 3 vermuten lässt.
Hypothese 2: Die Professionalität der Website wird bei der verbesserten Version
”
höher bewertet, als bei der Originalversion.“
Hypothese 2 kann anhand der vorliegenden Ergebnisse ebenfalls als bestätigt angesehen werden.
Die Professionalität wurde in der optimierten Version durch die Versuchspersonen signifikant
besser bewertet.
Hypothese 3: Beim Smartphone wirkt sich die verbesserte Version der Website
”
noch stärker auf die Bearbeitungszeiten und die Bewertung der Professionalität der
Website aus.“
Überraschenderweise blieben die Belege für Hypothese 3 aus. Während sich beim Betrachten der
Ergebnisse der Ratingskalen sowohl in der Gesamtstichprobe, als auch in der am Desktop durchgeführten Teilstichprobe signifikante Zuwächse feststellen lassen, ist der Zuwachs am Median
bemessen in der Android-Stichprobe zwar größer, jedoch nicht signifikant. Betrachtet man die
Lösungszeiten für die Aufgabenbearbeitung, zeigen sich tatsächlich enorme Geschwindigkeitszuwächse, diese finden sich aber ebenso stark in der Desktop-Stichprobe. Die in Aufgabe 1 signifikant ausfallende Differenz, blieb auf dem Mobiltelefon im nichtsignifikanten Bereich. Einzig bei
Aufgabe 2 ließe sich ein leichter Vorsprung für das Android-basierte Versuchsdesign vermuten,
da die gefundenen Unterschiede dort etwas größer ausfallen (59,3% Geschwindigkeitszuwachs im
Vergleich zu 45,5% in der Desktopvariante) und sie auch ein höheres Signifikanzniveau erreichen
(0,003 im Vergleich zu 0,034).
30
5. Ausblick
Basierend auf einer Analyse der Seiten der Fachgruppe MCI haben wir für drei ausgewählte Aspekte alternative Gestaltungsvorschläge entwickelt. Die neu gestalteten Seiten sollten die
Übersichtlichkeit erhöhen, Abkürzungen erlauben und die Sichtbarkeit relevanter Information
erhöhen.
Mit unserer empirischen Studie konnten wir exemplarisch zeigen, dass bereits die vorgenommenen minimalen Änderungen im Design der Seiten der Fachgruppe zu signifikant schnelleren
Bearbeitungszeiten bei verschiedenen Suchaufgaben führen können. Dieser Effekt zeigt sich sowohl für die Interaktion am Desktop, als auch – noch deutlicher – für die Interaktion mit einem
Smartphone. Gleichzeitig wurden die neu gestalteten Seiten als professioneller wahrgenommen.
Allerdings scheint es uns nicht unbedingt sinnvoll, das Design der Seiten der Fachgruppe
isoliert von den Seiten der GI und der übrigen Fachgruppen zu optimieren. Damit alle Fachgruppen sich auf vergleichbare Art präsentieren können, wäre es unserer Meinung nach besser,
auf ein übergreifendes Content Management System umzusteigen. Damit wäre die Konsistenz
der Webauftritte gewährleistet.
31
Abbildungsverzeichnis
3.1.
3.2.
3.3.
3.4.
Startseite des Fachbereichs MCI . . . . .
Alternatives Design: Ehrungen und Preise
Alternatives Design: Veranstaltungen . . .
Alternatives Design: Kontakt . . . . . . .
.
.
.
.
11
15
16
16
4.1. Proband - Desktop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Proband - Android . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3. Vergleich der Mittelwerte der Bearbeitungszeiten . . . . . . . . . . . . . . . . . .
21
23
29
32
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Tabellenverzeichnis
3.1. gefundene Auffälligkeiten im Überblick . . . . . . . . . . . . . . . . . . . . . . . .
14
4.1.
4.2.
4.3.
4.4.
4.5.
4.6.
4.7.
25
25
26
26
27
27
28
Ergebnisse Gesamtstichprobe . . . . . . . . .
Ergebnisse Desktop . . . . . . . . . . . . . . .
Ergebnisse Android . . . . . . . . . . . . . . .
Zeitmessungen - Ergebnisse Gesamtstichprobe
Zeitmessungen - Ergebnisse Desktop . . . . .
Zeitmessungen - Ergebnisse Android . . . . .
Zeitmessungen - Ergebnisse ANOVA . . . . .
33
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Literaturverzeichnis
[Bei02]
Beier, Markus: Usability. Nutzerfreundliches Web-Design. Springer (X.media.press),
2002
[GS08]
Göritz, Anja ; Stieger, Stefan: The high-hurdle technique put to the test: Failure
to find evidence that increasing loading times enhances data quality in Web-based
studies. In: Behavior Research Methods 40 (2008), S. 322–327
[iso]
http://de.wikipedia.org/wiki/ISO_9241
[KPR04] Kappel, Gerti ; Pröll, Birgit ; Reich, Siegfried: Web Engineering - Systematische
Entwicklung von Web-Anwendungen. 1. Auflage. Heidelberg : dpunkt.verlag GmbH,
2004
[NL06]
Nielson, Jakob ; Loranger, Hoa: Web Usability. Addiso, 2006
[Pus09]
Puscher, Frank: Web-Usability. Strategien, Werkzeuge und Tipps für mehr Benutzerfreundlichkeit. Bd. 1. Aufl. Heidelberg : dpunkt-Verl., 2009
[SP05]
Shneiderman, Ben ; Plaisant, Catherine: Designing the user interface. Pearson
Education, 2005
[Sto06]
Stowasser, Sascha: Methodische Grundlagen der softwareergonomischen Evaluationsforschung / Universität Karlsruhe. 2006. – Forschungsbericht
[Tul08]
Tullis, Bill Tom; A. Tom; Albert: Measuring the user experience. Collecting, analyzing, and presenting usability metrics. Amsterdam : Elsevier/Morgan Kaufmann,
2008
[usa]
http://www.usereffect.com/topic/25-point-website-usability-checklist
[w3c]
http://www.w3.org/TR/2008/REC-mobile-bp-20080729
[wik]
http://wiki.infowiss.net/Interface_Design
34
35
Liebe Teilnehmerin, lieber Teilnehmer,
im Rahmen der Veranstaltung „Mensch-Computer-Interaktion: Usability-Studie“ beschäftigen wir uns mit der Frage
der Benutzerfreundlichkeit von Programmen, Geräten und Websites. Aus diesem Grund möchten wir Sie bitten, an
einem kleinen Experiment teilzunehmen. Die Teilnahme dauert in etwa 10 - 15 Minuten.
Ziel dieser Untersuchung ist es, eine Website zu beurteilen und konkrete Verbesserungsvorschläge zu entwickeln.
Zu diesem Zwecke möchten wir Sie bitten, zunächst drei kleine Aufgaben auf dieser Website zu erledigen. Für die
Aufgabenbearbeitung benötigen Sie keine besonderen Computer-Kenntnisse. Anschließend werden wir Sie bitten,
die Website auf einem Fragebogen bezüglich verschiedener Kriterien zu bewerten.
Ihre Rechte:
Sämtliche ihre Person betreffenden Daten werden getrennt von den erhobenen Daten aufbewahrt, sodass lhre
Anonymität gewahrt bleibt. Sie können die Untersuchung jederzeit, auch ohne Angabe von Gründen, von sich aus
abbrechen. Gerne werden Sie nach Ende der Studie über die Ergebnisse der Untersuchung informiert. Bei Fragen
und Unklarheiten wenden Sie sich bitte jederzeit an den Versuchsleiter.
Ablauf:
1.
Zunächst bilden Sie bitte Ihren persönlichen Versuchspersonencode, der zur anonymisierten
Weiterverarbeitung der Daten dient. Er setzt sich folgendermaßen zusammen:
Anfangsbuchstabe
Ihres Geburtsorts
2.
Letzter Buchstabe
Ihres eigenen
Vornamens
Anfangsbuchstabe
des Vornamens der
Mutter
Endbuchstabe des
Vornamens der
Mutter
Das eigentliche Experiment beginnt mit einer Beispielaufgabe. Nach dieser Beispielaufgabe werden
sie gebeten, nacheinander drei unterschiedliche Aufgaben zu bearbeiten. Bitte beachten Sie bei der
Aufgabenbearbeitung folgende Punkte:
 Bitte versuchen Sie, die Aufgaben in möglichst kurzer Zeit abzuschließen. Die Messung der
Bearbeitungszeit beginnt, wenn Sie das Fenster mit der Aufgabenstellung gelesen haben und dies mit
einem Mausklick auf den OK-Button bestätigen. Die Zeitmessung endet, wenn sie mit der Maus auf die
richtige Antwort klicken.
 Benutzen Sie bei der Bearbeitung der Aufgaben bitte NUR die Maus. Die Browser-Suchfunktion steht Ihnen
bei der Aufgabenbearbeitung NICHT zur Verfügung.
 Sollten Sie während der Bearbeitung die Aufgabenstellung vergessen haben, fragen Sie einfach den
Versuchsleiter. Er/Sie wird Ihnen gerne weiterhelfen.
 Nach der Bearbeitung der Aufgaben erscheint ein E-Mail-Fenster mit allen Messwerten. Diese E-Mail wird
der Versuchsleiter absenden.
3.
Anschließend bewerten Sie bitte die Website anhand unseres Online-Fragebogens.
Vielen Dank für Ihre Teilnahme!
36
37
Leitfaden
1) Versuchspersonenrekruitierung
 Psychologiestudenten erhalten für die Teilnahme 0.5 Versuchspersonenstunden. Die
Stunden werden online im VPMS gutgeschrieben (falls Studenten dort Mitglied sind, wenn
nicht, bitte extra notieren!). Die Stunden können nach frühestens 2 Wochen im Sekretariat
bei Frau Musterfrau (anonymisiert) (Allgemeine Psychologie) abgeholt werden.
 Vorabinformation für Versuchspersonen (z.B. für Email): „Im Rahmen der Veranstaltung
„Mensch-Computer-Interaktion: Usability-Studie“ beschäftigen wir uns mit der Frage der
Benutzerfreundlichkeit von Programmen, Geräten und Websites. Aus diesem Grund möchten
wir Sie bitten, an einem kleinen Experiment teilzunehmen. Ziel dieser Untersuchung ist es,
eine Website zu beurteilen und konkrete Verbesserungsvorschläge für diese Website zu
entwickeln. Die Teilnahme dauert in etwa 10 - 15 Minuten.“
 Mögliche Räume:
o
Musterraum (anonymisiert)
o
Musterraum (anonymisiert)
2) Vorbereitung (ca. 10 – 15 Minuten vor Eintreffen der Versuchsperson)
 PC auswählen (möglichst „ruhiges Eck“)
 Funktionsfähigkeit der Maus überprüfen
 ZIP-Ordner auf Desktop speichern und entpacken
 „Originalversion“ und „verbesserte Version“ auf Funktion überprüfen
 Fenster für den Fragebogen öffnen
 Fenster mit korrekter Version öffnen („Originalversion“ versus „verbesserte Version“)
 Instruktion und Stift bereitlegen
3) Durchführung
 Teilnehmer begrüßen und für Teilnahme danken
 Teilnehmer bitten, die Instruktion zu lesen und Versuchspersonencode einzutragen
 Falls nötig bei Beispielaufgabe helfen
 Versuchsdurchlauf beobachten, Besonderheiten notieren
 Email absenden
 Fenster mit Fragebogen öffnen; auf Nachfrage erklären, dass Website aufgrund „Ersten
Eindrucks“ bewertet werden soll und wir kein fundiertes „Globalurteil“ erwarten
 Teilnehmer danken und verabschieden
4) Nachbereitung
 Auf Instruktion Datum und verwendete Version („Originalversion“ versus „verbesserte
Version“) eintragen
 Instruktion zusammen abheften mit eventuellen Notizen zu Besonderheiten bei
Untersuchungsablauf
 Information an Kommilitonen, wie viele Personen bereits unter welcher Bedingung getestet
wurden
38
C. Fragebogen
39
C. Fragebogen
40
C. Fragebogen
41
C. Fragebogen
42
C. Fragebogen
43
C. Fragebogen
44

Einreichung zur Usability Evaluation Challenge 2010 / 2011

Transcrição

Documentos relacionados

Steckbrief: Ambient Assisted Living

( PDF: 167,6 KB )

Marketing Guide

Aktueller Kursflyer - Food

Eklat im Leinwiger Rat - Leuphana Universität Lüneburg

Testing Web Usability - Informationswissenschaft

CPUX-‐F – Zertifizierungsprozess CPUX-F

Videoschnitt-Software: ein Vortrag im Rahmen des Seminars

Aufgaben

Leidenschaft auf dem Parkett - Niemann

Usability-Kriterien für Suchmaschinen

gcu_titel_2008 18.08.2008 16:32 Uhr Seite 1

Das Wesen der modernen russisch-ukrainischen Theorie der tiefen