H f G Hochschule für Gestaltung Schwäbisch Gmünd Invention

H
f G
Hochschule für Gestaltung
Schwäbisch Gmünd
Invention Design
Jakob Bolay, Johannes Preibisch,
Julia Kurz, Marlène Menk, Sandra
Holbeck
Interaktionsgestaltung III
Sommersemester 2012
Prof. Hartmut Bohnacker
Prof. Jörg Beck
Inhalt
Projektbeschreibung04
Allgemeine Definition06
Definition auf Usecase bezogen
08
Recherche10
Heutiger Stand12
Timeline18
Mögliche Anwendungen22
Gestenanalyse24
Gestenscribbles26
Gestenmatrix30
Semantische Animationsentwürfe
34
Gestenkatalog46
Usecase48
Persona49
Storyboard50
Programmdefinition52
Ablaufplan53
3
Projektbeschreibung
Diese Arbeit befasst sich allgemein mit
Hologrammen. Wir Untersuchen die
zukünftigen Möglichkeiten, wie man mit Hologrammen interagieren kann. Dabei geht uns
vornehmlich darum, wie die steuerung mit
den Händen in Kombination mit 3
dimensionalen Obejekten geschehen kann.
Unser Hauptagenmerk lag dabei darauf, wie
die Gesten der Hände sich auf die Objekte
auswirken. Um den Rahmen des Projektes
besser eingerenzen zu können, beschränkten
wir uns in unserer Untersuchung darauf, die
Interaktionen zwischen Gesten und Menus zu
analysieren.
4
Allgemeine Definition
Der Begriff „Hologramm“ wurde 1947 von
dem ungarischen Forscher Dennis Gábor
geprägt und wird seitdem verwendet. Dabei
handelt es sich um ein dreidimensionales
Bild, das in einem speziellen Material bei
einer bestimmten Bestrahlung entsteht. Das
entstandene Hologramm lässt sich dann, wie
ein räumlicher Körper, aus den verschiedensten Blickwinkeln bertrachten. So kann man
zum Beispiel von einem Würfel nicht nur eine
Seite sehen, sondern je nach Perspektive alle
oder mehrere Seitenflächen.
6
Definition auf unseren Usecase bezogen
Wir gehen davon aus, dass es zu einem
späteren Zeitpunkt möglich sein
wird, Hologramme dreidimensional darstellen
zu können. Zudem soll eine direkte Manipulation von dreidimensionalen Objekten möglich
sein. Die Projektionen werden sich durchfassen und durchschreiten lassen. Außerdem
lassen sich die Hologramme von allein Seiten
begehen und manipulieren. Das Sichtbarkeitsspektrum der einzelnen Objekte reicht von unsichtbar bis komplett sichtbar. Auf Grund der
neuen Möglichkeiten des dreidimensionalen
Raumes, sind die bisherigen Ansätze Objekte
nur zweidimensional darzustellen hinfällig.
8
Recherche
Um grunsätzlich den Rahmen unseres
Projektes abzugrenzen wurden umfassende
Recherchemaßnahmen ergriffen. Dabei galt
zu klären, welche Vorstellungen wir an unser
Projekt haben, wie weit der aktuelle Stand der
Forschung zur Holografie ist und in welchem
zeitlichen Rahmen unser Projekt angesiedelt
wird.
10
Heutiger Stand
Choachella Festival April 2012
Beim Choachella Festival überraschte der
Rapper Snoop Dogg die Zuschauer mit einer
Hologrammprojektion von 2Pac.
12
Dabei wird mit einem HD Projektor ein Bild
auf eine Spiegelfläche projiziert, welche dann
auf einer speziellen PE- Folie abgebildet wird.
Durch den 45° Winkel entsteht von dem Betrachter aus ein dreidimensionales Bild.
13
Siggraph 2009
Weemote
Taktiles ultraschall display
Weemote
konkaver Spiegel
Beispiel:
Taktiles ultraschall
display
Auf dem konkaven Spiegel werden fallen-
Bei der Siggraph stellte ein japanisches Forschungsteam Hologramme mit haptischem
Feedback vor.
Das Prinzip der anfassbaren Hologramme
funktioniert folgendermaßen:
Oben sind zwei Wiimote angebracht, die die
Handbewegung des Users tracken. Diese sind
gekoppelt mit einem Ultraschalldisplay und
einem konkaven Spiegel.
Geht der User mit seiner Hand in einen
festgelegten Bereich wird seine Hand von
den Wiimotes getrackt und das Hologramm
reagiert wie zuvor programmiert. Durch das
Ultraschalldisplay ist es möglich, dem User
ein haptisches Feedback der Projektion anzuzeigen.
de Regentropfen dargestellt. Befinden sich
diese an der Y- Position der Hand des Nutzers
zerplatzen diese.
konkaver Spiegel
14
15
CeBIT 2010
Bei diesem Hologramm wird Licht auf alle
vier Seiten des Prismas projiziert. Dadurch
entsteht ein von allen Seiten betrachtbares
Hologramm.
16
Timeline
Nachdem die Recherchephase abgeschlossen
war, und uns bekannt gewesen ist, auf welchen technischen Stand wir heute sind, war es
möglich die Zeit unseres eigenen
Projektes festzulegen. Dabei war es wichtig
mit einzubeziehen wie schnell sich die Technik
weiterentwickeln kann.
Der Untersuchungszeitraum wurde dabei auf
knapp 30 Jahre festgelegt. Die Zeiträume die
wir dabei betrachtet haben liegen 10 Jahre
auseinander. Bei der anstellung unsere Hypothesen, wurde dabei sowohl die kommerzielle
Nutzung als auch die der early adapter mit
einbegriffen.
18
Timeline
2012
2022
• simulierte Darstellung von 3D
Objekten
• Interaktion mit der Wiimote
• Interaktion mit der Microsoft Kinect
• es ist möglich Hologramme
darzustellen
• Hologramme sind nur mit hohem
technischen Aufwand darzustellen
• 10 Bilder pro Sekunde
• keine portable Technik
• Nutzung durch early adapters und
Firmen
20
• mobile Technologie
• keine highend Technologie
• es ist nicht möglich mit dem
Hologramm zu interagieren
• transparente PET - Projektionsfolie
-
2032
-
2038
• portable Geräte für
kommerziellen Nutzen
• Produnkte in highend Qualität
-
21
Mögliche Anwendungen
Betrachtet man das Hologramm unter dem
Aspekt unserer Definition, so ermöglicht es
vielfältige Anwendungsmöglichkeiten.
Bevor wir uns auf unser endgültiges Projekt
festlegten, begannen wir folgende Anwendungsszenarien zu durchdenken.
• Architekt
• Orte an denen man Blind ist ( die Hände erledigen die Arbeit)
• Spoort
• Simulationen
• Leitsystem (Autobahn, komplexe Gebäude)
• Kinofilme ( mehr als nur 3 D)
• Idear sharing
• Atmosphäre erzeugen
• Untericht
• Clubs
• Kino
• Heim
• Krisengebiete
• Gefahrenzonen simulieren
• Darstellen von Gebäuden
• rapid prototyping
• Medizin
•OP Simulation
• Darstellung von Anatomie
• Übungen an Hologammen
• Informationsvermittlung
• Spiele
22
23
Gestenanalyse
Bei der Untersuchung zwischen der
Interaktion mit Menu und der Geste des Users
haben wir uns zur Analyse folgende Fragen
gestellt:
• Wie wirkt sich die Geste des Users auf die
Art des Menus aus?
• Wie lässt sich der 3 dimensionale Raum in die Interaktion mit einbeziehen?
• Was für semantisch korrekte Animationen bzw. Transformationen sind für das Menu nutzbar?
• Welche Gestenart ist für den User einerseits verständlich, und welche Geste ist anderer-
seits auch ausführbar?
Der Katalog enthält außerdem eine
Benamung von diversen Grundfunktionen die
in der Anwendung von Programmen wichtig
sind. Für viele der ausführbaren Aktionen sind
ähnliche oder gleiche Gesten entstanden.
Dies liegt daran, das es uns im Anlegen
des Gestenkataloges nicht wichtig war, das
die Gesten in einem gesonderten Usecase
angewendet werden können. Uns war die allgemeine Interaktion mit den Menus wichtig.
Eine speziellere Anwendung der Gesten fand
erst später in unserem Usecase statt.
Neben den Gesten die es zu untersuchen gab,
gingen wir zudem in unserer Analyse darauf
ein, welche Metaphern man für die Steuerung
eines Hologrammes verwenden kann. Dabei
versuchten wir sowohl Analaogien aus dem
Alltag zu untersuchen, als auch schon
bekannte Elemente aus bestehenden Programmen zu verwenden.
Zudem galt für uns in der Analyse zu klären
mit welchen Hilfsmitteln man Hologrammen
bedienen kann.
• etwas zusammenknüllen und wegwerfen
• Händen, Armen, Beinen, Kopfhaltung, Füßen
• etwas auseinandereißen
• Position des Körpers
• Geschwindigkeit des Körpers
• Augen, Blickrichtung
Aus diesen Fragestellungen heraus
entwickelten wir erst einen Katalog an Gestenkatalog. In diesem Katalog sind in einer
Matrix die verschiedenen Menus als grobe
Form definiert. Um den Katalog etwas eingrenzen zu können, da die Varianz sehr groß
ist, beschränkten wir uns darauf Ein- Zweihandgesten zu untersuchen.
24
Dabei kamen wir wie bei den Gesten auch auf
diverse Möglichkeiten.
• etwas zusammendrücken
• etwas zerschneiden
• etwas einfangen
• etwas verwischen
• Akustische Steuerung
25
Gestenscribbles
26
27
Gestenscribbles
28
29
Gestenmatrix
Aktion
Gestenart
schließen
2H_007
Bewegung
Bewegung
Transition
Bewegung
Transition
>
>
>
>
>
>
2H_001
>
Menu aufrufen
Bewegung
>
Gestenart
>
Aktion
2H_008
2H_002
>
>
>
>
1H_005
>
1H_001
>
>
2H_003
2H_009
>
>
>
>
>
>
>
>
>
>
1H_006
>
>
>
>
2H_010
>
öffnen
>
>
>
>
>
2H_004
>
>
>
1H_002
>
>
2H_006
1H_004
30
öffnen (event)
>
>
>
1H_008
>
1H_009
snipp
>
>
1H_007
>
1H_003
>
2H_005
>
>
>
31
Gestenart
Bewegung
neues Objekt
erstellen
1H_010
snipp
Bewegung
Transition
>
>
Aktion
>
1H_011
speichern
32
2H_011
>
>
1H_013
>
>
>
>
>
1H_012
umschließende Geste
33
Durch Antippen eines Icons wird es
ausgewählt...
...und das Auswahlmenü öffnet sich.
Um z.B. ein Möbel auszuwählen, packt man es
einfach....
...und „wirft“ es auf die Grundrissfläche.
Semantische Animationsentwürfe
Durch Berühren des Multitouch erscheint ein
Kreis um den Finger, der signalisiert, dass das
Menü aktiviert wird.
Das Menü fährt aus.
Im Menü befinden sich Icons der verschiedenen Bereiche wie z.B.: Grundriss, Datei öffnen,
Möbelauswahl, Farbauswahl, Speichern
Durch Antippen eines Icons wird es
ausgewählt...
...und das Auswahlmenü öffnet sich.
34
35
Reinzoomen:
Hände werden von innen nach außen bewegt,
bis die gewünschte Vergrößerung erreicht ist.
Rotieren/Drehen:
Objekt anfassen und nach Belieben drehen.
36
Rauszoomen:
Hände werden von außen nach innen bewegt,
bis die gewünschte Verkleinerung erreicht ist.
Reinzoomen:
Hände werden von innen nach außen bewegt,
bis die gewünschte Vergrößerung erreicht ist.
Rotieren/Drehen:
Rauszoomen:
Objekt
drehen.
Händeanfassen
werden und
von nach
außenBelieben
nach innen
bewegt,
bis die gewünschte Verkleinerung erreicht ist.
Rotieren/Drehen:
Objekt anfassen und nach Belieben drehen.
Verschieben:
Objekt anfassen und nach Belieben verschieben.
Verschieben:
Objekt anfassen und nach Belieben verschieben.
37
Semantische Animationsentwürfe
1
1
EinmalEinmal
kurz inkurz
die in
Hände
die Hände
klatschen.
klatschen.
(links)(links)
-> Menü
-> Menü
wird aktiviert
wird aktiviert
38
2
2
3
3
Die rechte
Die rechte
Hand Hand
nach rechts
nach rechts MenüMenü
fährt zwischen
fährt zwischen
beidenbeiden
öffnen.
öffnen.
Händen
Händen
aus. aus.
-> Menü
-> Menü
aufziehen
aufziehen
4
4
5
5
Menüpunkt
Menüpunkt
durchdurch
kurzeskurzes
...und ...und
rückt dann
rückt in
dann
deninVorderden VorderAntippen
Antippen
auswählen
auswählen
grundgrund
-> Menüpunkt
-> Menüpunkt
pulsiert
pulsiert
kurz auf...
kurz auf...
39
1
1
2
2
3
3
Kreisförmige
Bewegung
mit der
KugelKugel
ploppt
auf. auf.
...ploppen
die Menüpunkte
auf. auf.
Kreisförmige
Bewegung
mit der
ploppt
...ploppen
die Menüpunkte
Hand Hand
ausführen
Durch
antippen
der
Kugel...
ausführen
Durch antippen der Kugel...
40
4
4
5
5
WennWenn
man dann
eineneinen
Menü-Menü-...dreht
sich die
Kugel
so... so...
man dann
...dreht
sich
die Kugel
punktpunkt
antippt...
antippt...
6
6
...dass...dass
der ausgewählte
Menü-Menüder ausgewählte
punktpunkt
in deninVordergrund
liegt. liegt.
den Vordergrund
41
1
1
2
2
3
3
Kreisförmige
Kreisförmige
Bewegung Bewegung
mit der Sechstel
mit der ploppen
Sechstel
nacheinander
ploppen nacheinander
...bis alle 6 Stück
...bis alle
den6Kreis
Stück den Kreis
Hand ausführen
Hand ausführen
auf...
auf...
vollständigvollständig
machen. machen.
4
4
5
5
6
6
7
7
8
8
Durch Antippen
Durchwählt
Antippen
man wählt
einen man
Dereinen
in Sechstel
Der in
unterteilte
Sechstel unterteilte
Kreis
Das
Kreis
ausgewählte
Das ausgewählte
Sechstel Sechstel
Die anderenDie
Sechstel
anderen
rücken
Sechstel rücken
Die Auswahl
Die
fährt
Auswahl
aus. fährt aus.
MenüpunktMenüpunkt
aus.
aus.
dreht sich daraufhin
dreht sichim
daraufhin
Uhrzei- im Uhrzeipulsiert kurz
pulsiert
auf, fährt
kurzleicht
auf, fährt
nach leicht nach
dabei in den
dabei
Hintergrund.
in den Hintergrund.
gersinn bis gersinn
sich dasbis
ausgewählte
sich das ausgewählte
rechts aus und
rechts
vergrößert
aus und vergrößert
sich
sich
Sechstel aufSechstel
der rechten
auf der
Seite
rechtendabei.
Seite
dabei.
42
befindet. befindet.
43
44
45
Gestenkatalog
46
47
Usecase
Persona
Nora Hansen
Da viele unserer angedachten Szenarien sich
damit auseinandersetzen, wie man innerhalb
einer 3 dimensionalen Raumansicht agieren kann, beschlossen wir uns dazu, einen
Usecase entwerfen, das sich besonders mit
der Anordnung von 3 dimensionalen
Obejekten auseinandersetzt.
Unser Usecase ist eine Anwendung für
Raumgestalter. Angedacht ist ein Programm,
mit dem die Raumgestaltung in einem neuem
Rahmen stattfinden kann. Der Architekt ist in
der Lage Grundrisse von den zu gestaltenden
Räumen zu laden. Aus einem vielfältigen
Katalog kann er Objekte, die er für die Einrichtung eines Raumes benötigt hinzufügen.
Zudem ist durch die direkte Interaktion mit
den Objekten eine Manipulation ihrer Position
möglich. In unserem Anwendungsfall fanden
die vorher in der Gestenanalyse untersuchten
Gesten ihre Anwendung. Das Usecase als
Szenario wurde zwar vor der Analyse der
Gesten zusammengestellt, seine Umsetzung
fand aber erst nach der gründlichen Analyse
der Gesten durch die Matrix statt.
48
Nora Hansen ist eine 32 jährige Innenarchitektin und Lebt in einem Hamburger Szeneviertel. Sie ist eine alleinstehende
Freelancerin, mit wechselndem Einkommen.
Besonderen Wert legt sie auf ihr Äußeres. Sie
hat dunkle längere Haare ist sportlich und
schlank.
Im Bezug auf ihre Arbeit ist sie sehr genau.
Es ist ihr sehr wichtig immer zu wissen was
für neue Software gerade auf dem Markt ist
und diese auch zu beherrschen. Zudem ist
es ihr ebenfalls wichtig immer technisch das
Neueste Modell zu besitzen weil sie sich auch
Privat für Technik interessiert.
Da sie Arbeit und Soziales sehr streng trennt,
hat sie ein Büro in dem sie arbeiten kann.
Dort steht ihr Projektionstisch, zudem verfügt
sie über ein mobiles Präsentationssystem
49
Storyboard
50
51
Programmdefinition
Ablaufplan
• Fertige Grundrisse hochladen
Farbe
• Direkte Positionsmanipulation (X,Y,Z Achse)
Objekt anwählen => Farbe aufrufen => Farbe definieren => Farbe bestätigen => Objekt abwählen
• Drehen des Gesamtraumes
• Farb und Materialauswahl
• Hinzuladen von Möbeln
• Einfügen von Dekorationsartikeln
Objekt verschieben
Objekt anwählen => position Ändern => Position bestätigen => Objekt abwählen
• Zoom aller Elemente
Skalieren
Das Raumbearbeitungsprogramm ist nur in
sehr einfachen Funktionen definiert. Uns ging
es beim Entwurf dieses Szenarios darum, die
Gestenanalyse die wir im Vorfeld angelegt
haben, auch anwenden zu können.
Bevor wir den Usecase umsetzten konnten
begannen wir damit ein Storryboard über den
Ablauf zu definieren. Sowohl die Interaktionen wurden mit den Gesten definiert, als
auch der komplette Ablaufplan geschrieben,
welche Aktionen auszuführen sind, um an das
gewünschte Ziel zu gelangen.
Sowohl der Usecase als auch der
Gestenkatalog wurden später zum besseren
Verständnis in Filmen umgesetzt.
52
Objekt anwählen => skalieren => Größe Bestätigen => Objekt abwählen
Grundriss laden
Hauptmenu => Daten importieren => Datei auswählen => Dokument bestätigen
53