Evaluation sich ver Bildschirmober valuation sich verändernder

Evaluation sich verändernder
Bildschirmoberflächen
Eyetracking beweglicher AOI‘s
Autoren:
Prof. Dr. Andrea Kienle
Philipp Schlieker-Steens
Christian Schlösser
WWW:
inka.fh-dortmund.de
Inhaltsverzeichnis
1.
Einleitung .................................................................................................. 3
1.1
Evaluation mittels Eyetracking .................................................................. 3
1.2
Einschränkungen ..................................................................................... 3
2.
Lösungsoptionen ........................................................................................ 4
2.1
2.1.1
Remote Desktop Protokoll ................................................................... 4
2.1.2
Auslesen der Grafikkartentreiber durch interpretieren der Signale ............ 5
2.1.3
Mitlesen der Pakete von “Video over LAN” Programmen (MaxiVista) ......... 5
2.2
Umsetzbare Lösungsoptionen .................................................................... 5
2.2.1
AOI im Ganzen betrachten .................................................................. 6
2.2.2
Nachspielen der Probandensicht ........................................................... 6
2.2.3
Screenshot Slider ............................................................................... 7
3.
4.
Verworfene Auswertungsmöglichkeiten ...................................................... 4
Praxisbeispiel - Umsetzung am INKA Chat ..................................................... 7
3.1
Versuchsaufbau ....................................................................................... 7
3.2
Technische Voraussetzungen für die Auswertung ......................................... 8
3.3
Durchführung.......................................................................................... 8
3.3.1
INKA Chat Analytics – AOI im Ganzen betrachten .................................. 9
3.3.1
INKA Chat Slider – Nachspielen der Probandensicht ............................... 9
3.3.1
INKA Screenshot Slider ......................................................................10
Zusammenfassung und Ausblick..................................................................11
-2-
1. Einleitung
1.1 Evaluation mittels Eyetracking
Das Eyetracking (dt. Blickbewegungsregistrierung) beschreibt das Aufzeichnen von
Blickbewegungen einer Person. Dabei wird die Blickbewegung durch einen sogenannten
Eye Tracker, im INKA-Labor ein Tobii x120, verfolgt und an einen Auswertungs-PC
weitergeleitet. Zur Verfolgung der Blickbewegungen sendet der Eye Tracker
Infrarotsignale aus, die von der Iris des Auges reflektiert werden und dieser somit die
Augen erkennen und verfolgen kann.
Dieses Verfahren gestattet es, selbst Bewegungen der Augen in vollständiger
Dunkelheit aufzuzeichnen. Durch eine Streuung der Signale ermöglicht es der Eye
Tracker, dass das Bewegen des Kopfes während der Aufzeichnung möglich ist und
somit der Proband nicht durch die Analyse in seiner gewohnten Arbeitsweise
beeinflusst bzw. beeinträchtigt wird. Durch verschiedenste
Positionierungsmöglichkeiten des Eye Trackers können auch mobile Endgeräte oder
feste Objekte analysiert werden.
1.2 Einschränkungen
Die Auswertungsmöglichkeiten, die die mitgelieferte Eye-Tracking Software bietet,
beschränken sich in ihrer Anwendung in der Regel auf statische Inhalte, wie zum
Beispiel Bilder (z.B. Werbeanzeigen), Webseiten oder Programme. Diese statischen
Inhalte sind für alle Probanden gleich positioniert und können somit leicht verglichen
werden. Die entsprechenden Eye-Tracking Anwendungen liefern zu diesem Zweck
verschiedene Darstellungsmöglichkeiten und etwaige Ergebnisse können leicht
dokumentiert werden.
Zur Verdeutlichung sei dieses Beispiel genannt: Auf einer Webseite ist das Firmenlogo
oben links platziert. Ziel einer Eye-Tracking Studie ist es, herauszufinden, wie viele
Probanden dieses Logo wahrnehmen. Dazu wird der Interessensbereich („Area of
Interest“) um dieses Logo herum definiert und die Software kann automatisch jeden
Blick, der in diesen Interessensbereich trifft, erkennen und summieren. Der daraus
resultierende Wert ist aussagekräftig und eindeutig.
Was ist jedoch, wenn dieser Interessensbereich nicht statisch ist, er seinen Inhalt also
verändert? Dies ist insbesondere in kooperativen Anwendungen wie Chats, Blogs etc.
der Fall. Hier besteht insbesondere die Schwierigkeit, dass man den Zeitpunkt und die
Veränderung der Positionen der Inhalte nicht vorhersehen kann, da sich der Inhalt
durch Nutzereingaben (neuer Chatbeitrag oder Blogeintrag, Verwendung des
Scrollbalkens) permanent verändern kann. Die Dynamik der Area of Interest in solchen
Anwendungen kann also nicht vorhergesagt werden - eine Auswertung ist schwierig.
An diesem Punkt bleibt bislang als einzige Auswertungstechnik die Videoanalyse. Eine
automatische und probandenvergleichende Auswertung ist schwierig, da
Versuchsabläufe vollständig dynamisch ablaufen und Ereignisse in kooperativen
-3-
Anwendungen nicht vorhersagbar sind. (Wann wird ein neuer Beitrag sichtbar? Wie ist
er gestaltet? Wie verändert sich dadurch der Interessensbereich?). Mit einem Video
können natürlich einzelne Durchläufe analysiert werden - die Stellen jedoch, an denen
eine Verändung eingetreten ist, sind nicht speziell markiert und müssen immer manuell
im Video angesteuert werden. Die Auswertung mehrerer Probanden ist auf diese Art
sehr aufwändig und Ergebnisse der Videoauswertung lassen sich nur schwer darstellen.
Mittel und Wege zu finden, dieser Problematik zu umgehen, ist Motivation des
vorliegenden Whitepapers. Zunächst wurden dazu verschiedene Lösungsoptionen
verglichen und auf ihre Machbarkeit hin überprüft. In dem folgenden Kapitel 2 werden
zunächst verworfene Auswertungsmöglichkeiten vorgestellt (Abschnitt 2.1), bevor in
Abschnitt 2.2 genauer auf die als praktikabel eingestuften Lösungsansätze eingegangen
wird. In Kapitel 3 wird eine Umsetzung der Lösungsansätze aus 2.2 vorgestellt. Das
Papier endet mit Zusammenfassung und Ausblick.
2. Lösungsoptionen
Die Lösungsoptionen können allgemein in zwei Kategorien eingeteilt werden. Entweder
klinkt sich die Lösung als eigenständiges Programm zwischen Auswertungsumgebung
und zu betrachtendem Programm und ist generell einsetzbar (1. Kategorie) oder aber
das zu betrachtende Programm wird dahingehend bearbeitet, dass es die im
nachfolgenden (siehe 2.2) benötigten Informationen liefern kann (2. Kategorie).
Unabhängig von diesen beiden Kategorien muss noch eine Auswertungskomponente
existieren, die entweder selbst entwickelt wird oder aber die bestehende
Auswertungsumgebung (teilweise) nutzt oder ergänzt.
Die in 2.1 beschriebenen verworfenen Auswertungsmöglichkeiten gehören alle zur
ersten Kategorie, was jedoch eine mögliche Lösung in dieser Kategorie nicht
ausschließen soll. Der Aufwand und die Kosten sind hier schwer abzuschätzen und sind
für die hier beschriebenen Ansätze auch nicht erforderlich. Ansich ist jedoch eine
Lösung in dieser ersten Kategorie empfehlenswert, da sie flexibel eingesetzt werden
könnte.
Die hier als umsetzbare Lösungsoptionen (2.2) beschriebenen Ansätze gehören alle zur
zweiten Kategorie. Sie lassen sich also nicht auf beliebige Problemstellungen
übertragen.
2.1 Verworfene Auswertungsmöglichkeiten
2.1.1 Remote Desktop Protokoll
Es wurde in Betracht gezogen, das Microsoft Remote Desktop Protokoll zu verwenden.
Dieses sollte es ermöglichen, Verschiebungen von AOI's aufzuzeichnen, da es im
Vergleich zu anderen Remote Desktop Protokollen keine gesamt Bilder überträgt,
sondern nur die Verschiebedaten der einzelnen Desktopbausteine. Allerdings ist diese
Anwendung nicht quelloffen. Damit ist es nicht möglich, diese Daten abzufangen. Des
-4-
Weiteren ist die Verbindung vom Client zum Server verschlüsselt. Dies bedeutet, dass
die Daten auch auf dem Weg des Mitlesens der Pakete unmöglich ist.
2.1.2 Auslesen der Grafikkartentreiber durch interpretieren der Signale
Im Bereich der maschinennahen Programmierung entstand die Überlegung, eine
Erweiterung des Grafikkartentreibers zu schreiben, die es ermöglicht, Signale die von
der Grafikkarte versandt werden, aufzuzeichnen und auszuwerten. Im Vergleich zu den
anderweitig gegebenen Mitteln erschien diese Möglichkeit als zu aufwändig und wurde
daher verworfen.
2.1.3 Mitlesen der Pakete von “Video over LAN” Programmen (MaxiVista)
Tools wie MaxiVista ermöglichen es, Monitore anderer Rechner über LAN zu betreiben.
Hierzu werden die Signale der Grafikkarte direkt via LAN versendet und auf dem
Zielrechner interpretiert. Zur Lösung der Problemstellung war vorgesehen, diesen
Datenaustausch mitzuschneiden und eigenhändig auszuwerten. Allerdings gibt es auf
dem Markt keinerlei vergleichbare Tools, dessen Sourcen öffentlich sind und hätten
erweitert werden können. In diesem Zuge bot sich weiterhin die Möglichkeit, die
versandten Pakete mit so genannten Sniffingtools (Programme zum Mitlesen von
Paketen, die über ein Netzwerk versandt werden), wie zum Beispiel Wireshark,
aufzuzeichnen. Allerdings hätte zur Interpretierung dieser Informationen eine extra
Anwendung entstehen müssen.
2.2 Umsetzbare Lösungsoptionen
Jede hier vorgestellte Auswertungstechnik erfordert ein technisches Eingreifen in den
Stimulus1, ist also nicht ohne Weiteres auf jede Aufgabenstellung zu übertragen.
Folgende Einschränkungen gelten für die Area of Interest:
Der Stimulus darf sich nicht komplett verändern (hier wäre eine normale Auswertung
mit Bordmitteln möglich, z.B. eine Diashow) und er muss wie durch ein Fenster
beobachtet werden (Beispiel: Chat oder Newsticker).
Der definierte Interessensbereich muss um eine sogenannte Logging- oder
Protokollierungsfunktionalität erweitert werden, da die Eye-Tracking Software nicht die
Möglichkeiten bietet diese von außerhalb zu realisieren, bzw. oft auch technische
Grenzen gesetzt sind. Hauptgrund ist jedoch, dass die Rahmenbedingungen in Bezug
auf wechselnde AOI's sehr unterschiedlich ausfallen und so die
Protokollierungsfunktionalität immer für den vorliegenden Fall eingerichtet werden
muss. Im Detail bedeutet das, dass folgende Daten während des Eye-Trackings erfasst
werden müssen:
In welche Richtung hat sich der Stimulus vergrößert oder verschoben (Angabe in
Pixeln) und zu welchem Zeitpunkt ist dies geschehen (Angabe als Zeitstempel mit
1
Stimulus: Reiz, der zu betrachtende Gegenstand
-5-
Angabe von Millisekunden). Eine Verkleinerung der AOI darf nicht vorkommen. (Diese
Daten werden im weiteren Verlauf „Versatzdaten” genannt.)
Am Ende der Aufzeichnung muss ein Screenshot der gesamten AOI erstellt werden,
sozusagen muss das Fenster, durch welches die AOI betrachtet wurde weggelassen
werden.
Wurde die AOI diesbezüglich modifiziert, so sind die folgenden drei Darstellungsarten
realisierbar. Jede Darstellungsart beantwortet eine andere Fragestellung, sind also in
Kombination zu verwenden:
Unterpunkt 2.2.1: Wie sieht der Blickverlauf auf der gesamten AOI aus, ohne
Scrollbalken oder sonstige verdeckende Bereiche?
Unterpunkt 2.2.2:Welche Bereiche der AOI hat der Proband zu welcher Zeit gesehen?
Über einen Zeitstrahl kann hier zu den wichtigen Ereignissen gesprungen werden. Alles
außerhalb der AOI wird hier vernachlässigt.
Unterpunkt 2.2.3: Ähnlich wie 2.2.2, jedoch wird der gesamte Stimulus (also z.B. alles
was auf dem Monitor zu sehen war) gezeigt.
2.2.1 AOI im Ganzen betrachten
Für diese Darstellung wird der Screenshot, der nach der Aufzeichnung von dem
gesamten Interessensbereich erstellt wurde, mit Blickbewegungsdaten gefüllt. Dazu
benötigt man einen Export der Blickbewegungsdaten aus der entsprechenden EyeTracking Anwendung (d.h. Zeitstempel, Fixationsdauer und X/Y-Koordinaten) und die
erstellten Versatzdaten.
Die exportierten Daten werden mit den Versatzdaten zusammengerechnet und auf den
Screenshot als Gaze-Plot (Bewegung und Verweildauer auf einem Objekt im zeitlichen
Verlauf) eingezeichnet.
Die Umwelt der zu überprüfenden AOI kann in dieser Auswertungsmethode natürlich
nicht betrachtet werden. Fixationen außerhalb der AOI werden mit einem Pfeil zum
Screenshot-Rand dargestellt.
Es wird die AOI als Ganzes aufgeschlüsselt. Ändert sich die AOI zu festgelegten Zeiten
mit festgelegtem Inhalt, so können mehrere Probanden eingezeichnet werden.
2.2.2 Nachspielen der Probandensicht
Diese Möglichkeit der Auswertung bildet eine Ansicht, die als Schnittmenge der
Auswertungsmöglichkeiten 2.2.1 und 2.2.3 angesiedelt werden kann. Hierbei wird, wie
in 2.2.1 beschrieben, ein Mitschnitt der Probandensicht mit Blick- und Verschiebedaten
zu einem Screenshot zusammengefügt und in die zeitliche Abfolge der Probandensicht
eingefügt. Somit wird es möglich, den Bildausschnitt einer bestimmten Zeit
auszuwerten und dabei nur die Sicht anzuzeigen, die der Proband zu dieser Zeit sehen
konnte.
-6-
2.2.3 Screenshot Slider
Zur Darstellung dieser Methode ist es ein aufgezeichneter Track eines Probanden im
Tobii Studio notwendig. Desweiteren wird ein Mitschnitt der Zeiten benötigt, in der sich
die AOI verändert hat. Mithilfe dieser Zeiten wird der aufgezeichneten Track in einzelne
Segmente unterteilt. Die Segmente wiederum werden in Szenen umgewandelt, mit
denen es möglich ist, verschiedene Visualisierungen darzustellen.
Aus den erstellten Szenen lassen sich die Blickbewegungen des Probanden durch
Gazeplots, Heatmaps und Cluster darstellen. Diese Bilder lassen sich exportieren und in
den Szenen-Slider einfügen. Dadurch wird ermöglicht, die einzelnen Bilder im Ablauf zu
betrachten.
Durch diese Art der Auswertung lässt sich die gesamte AOI in Verbindung mit dem
Hintergrund darstellen. Desweiteren ist es möglich, Probanden untereinander zu
vergleichen - sei es durch die Heatmap- oder Clusterdarstellung.
3. Praxisbeispiel - Umsetzung am INKA Chat
Zur Evaluation der oben genannten Techniken wurde ein Chat Szenario ausgewählt und
nach den daraus resultierenden Vorgaben (siehe 2.2) entsprechend erstellt. Der Chat
stellt ein ideales Beispiel einer sich verändernden und bewegenden AOI dar. Es wurde
ein neues Chatsystem entwickelt, welches die Voraussetzungen einfach erfüllen kann,
bzw. dementsprechend leicht angepasst werden kann.
3.1 Versuchsaufbau
Als Eye-Tracking Gerät kam der mobile x120 Eye-Tracker von Tobii zum Einsatz. Als
Auswertungsplattform wurde Tobii Studio 2.2 verwendet.
Der Chat wurde mit einem PHP5-Server realisiert, der auf einer lokalen ApacheInstallation läuft. Als Datenspeicher dient eine SQlite Datenbank. Die Probanden
greifen mit einem sich ebenfalls auf dem Server befindlichen Client auf die ChatServer-Schnittstelle zu. Der Funktionalität des Client wurde mittels jQuery 1.4
realisiert. Die hier eingesetzt Pull-Methode eignet sich nur für den lokalen Betrieb. Als
Browser kam FireFox 4 zum Einsatz. Abbildung 1 zeigt einen laufenden Chat.
-7-
Abbildung 1 INKA Chat
3.2 Technische Voraussetzungen für die Auswertung
Die aus Abschnitt 3.1 abgeleiteten Vorgaben wurden umgesetzt, indem die
d benötigten
Versatzdaten während des Chats mittels
mi
JavaScript aufgezeichnet werden.
werden Dies gibt
Antwort auf die Frage, wann sich die AOI um wie viele Pixel vergrößert hat.
Nach Beendigung eines Probanden-Chats
Probanden Chats bietet der Client eine Export-Funktion,
Export
um
diese Daten in einer Textdatei abzuspeichern. Desweiteren kann er vollautomatisch
eine HTML-Datei mit
it dem gesamten Chat erstellen, der dann mittels GD-Library
GD
und
Internet Explorer COM-Schnittstelle
Schnittstelle als Bild, also dem benötigten Screenshot,
abgespeichert wird. Damit liegen die benötigten Daten für die Durchführung der
Analyse (vgl. Abschnitt 3.3) automatisch
automa
vor.
Das Chat Szenario weistt keine Besonderheiten auf, die weitere Anpassung nötig
machen würden. Das Scrollen innerhalb des Chats wurde vorerst vernachlässigt.
3.3 Durchführung
Zur Durchführung
rung aller drei Analysemethoden, die konzeptionell in 2.2 beschrieben
beschr
wurden, kam Tobii Studio zum Einsatz.
Einsatz. Es liefert die Blickdaten der aktuellen Aufnahme
und ist somit die Datenbasis für nachfolgende Auswertungen. Der Interessensbereich
Interessensb
(AOI), den es zu untersuchen gilt, wird als Test im Tobii Studio gestaltet.
gestaltet Dieser
erstellte Test wird mit den Probanden durchgegangen und die Aufzeichnungen des EyeEye
-8-
Trackers werden gespeichert. Während des Tests sind zusätzlich die Versatzdaten
(beschrieben im Abschnitt 2.2 "Umsetzbare Lösungsoptionen") der AOIs zu den
Blickdaten abzulegen, welche für die nachträgliche Verbindung dieser Ereignisse
benötigt werden. Die Versatzdaten werden automatisch durch das zu untersuchende
Objekt generiert. Auff Basis dieser erstellten Daten und den dazugehörigen Screenshots
Scree
lassen sich nachfolgende Beschreibungen durchführen.
3.3.1 INKA Chat Analytics
nalytics – AOI im Ganzen betrachten
Zur Verwendung des
es INKA Chat Analytics
A
Programms werden die aus Punkt 2.2.1 "AOI
im Ganzen betrachten" gesammelten Daten eingefügt.
efügt. Das Tool verrechnet die
aufgezeichneten
ufgezeichneten Blickdaten mit den Versatzdaten und stellt diese Verbindung
Ve
als so
genannte Gaze-Plots
Plots auf dem erstellten Screenshot dar (siehe Abbildung 2). Diese
erstellte Gesamtansicht der aufgezeichneten AOI lässt sich weiter analysieren
ana
und
bietet durch eine statische Verbindung die Möglichkeit des Drucks etc.
Abbildung 2: Chat Analytics – eingezeichneter
ingezeichneter Gazeplot
3.3.1 INKA Chat Slider – Nachspielen der Probandensicht
Wie in Abbildung 3 zu sehen, basiert der INKA Chat Slider auf der Ausgabe des INKA
Chat Analytics Tools. Gesammelte Daten können anhand der Versatzdaten in die so
genannte Probandensicht gebracht werden. Dies bedeutet, dass die mitgeschnittene
Szene so nachgespielt werden kann, wie sie der Proband zu sehen bekommen hat. Dies
ist über den Scrollbalken am unteren Bildschirm zu steuern. Diese Ansicht findet
Verwendung, da im "INKA Chat Analytics" nicht
nicht klar wird, warum oder warum nicht auf
bestimmte Bereiche geblickt wurde. Der INKA Chat Slider macht deutlich, was zu
welchem Zeitpunkt sichtbar war.
-9-
Abbildung 3 Chat Slider: Probandensicht
3.3.1 INKA
NKA Screenshot Slider
Der INKA Screenshot Slider verwendet die Auswertungsmöglichkeiten des Tobii Studios
zur Visualisierung der Blickbewegungen.
Blickbewegungen. Zur Nutzung dieser Methode werden anhand
der
er mitgeschnittenen Versatzdaten einzelne Szenen aus der Gesamtaufzeichnung
generiert und zu Segmenten
ten konvertiert. Diese Segmente bieten die Möglichkeit, Tobii
Visualisierungen anzuwenden, wie zum Beispiel Gaze-Plots,
Gaze
Heat-Maps
Maps usw. Diese
Segmente werden nach
h der Visualisierung exportiert und dem INKA Screenshot Slider
zugeführt. Das Tool verbindet die Daten für jeden Probanden, um eine Gesamtheit der
aufgezeichneten Daten in einer Ansicht darzustellen und in eine zeitliche Abfolge zu
bringen (siehe Abbildung 4). Wie bereits in Abschnitt 2.2 erwähnt, ist diese Ansicht
dem Chat Slider ähnlich, zeigt aber zusätzlich
zusätzlich auch die Bereiche außerhalb der AOI an.
Der INKA Chat Slider ist mit erheblich geringerem Aufwand realisierbar - reicht also die
Probandensicht, die auf die AOI beschränkt ist, aus, so kann der Screenshot Slider
vernachlässigt werden. Der höhere Aufwand
Aufwand für den Screenshot Slider ermöglicht
jedoch, wie bereits beschrieben, auch die Verwendungen von weiteren
Visualisierungstechniken aus Tobii Studio.
- 10 -
Abbildung 4: INKA Screenshot Slider
4. Zusammenfassung und Ausblick
Die hier beschriebenen Ansätze sind eine gute Ergänzung zur Videoanalyse von sich
bewegenden AOI’s,, da hier eine detailliertere Analyse möglich ist, die teilweise
automatisiert werden kann. Desweiteren können die erstellten Grafiken auch für
Dokumente verwendet werden, die im Gegensatz zu Screenshots aus Videos einen
Mehrwert darstellen (z.B.: Wie lange wurde die AOI in diesem Zustand so angezeigt?
Wie sah der Blickverlauf auf der gesamten AOI aus?).
Die Komplexität der Einrichtung und Auswertung wie in Abschnitt 3.1
.1 und 3.2 lohnt
sich in der Regel jedoch nur dann, wenn die sich die bewegende AOI im Fokus der
Untersuchung liegt. Dies ist immer dann der Fall, wenn kooperative Anwendungen
evaluiert werden sollen, da hier mehrheitlich ändernde Inhaltsbereiche als zentrales
Merkmal gelten.
Mit den INKA AOI Test-Tools
Tools steht nun ein Instrumentarium zur Verfügung, das die
Demophase erfolgreich bestanden hat. Im weiteren Forschungsschritt wird dieses
Instrumentarium an Hand einer Studie, die eine kooperative Anwendung in den Blick
nimmt, auf seine Einsatztauglichkeit hin überprüft.
- 11 -