Embodied Conversational Agents REA œ Ein ‚Real Estate Agent

UniversitŠt Bielefeld
UniversitŠt Bielefeld
Embodied Conversational Agents
(nach Cassell, Sullivan, Prevost & Churchill 2000)
u Computer-generierte Figuren, die ähnliche Eigenschaften
wie Menschen in „face-to-face“-Konversationen aufweisen,
inkl. Fähigkeiten verbaler und nonverbaler Kommunikation.
9 Ausgewählte Themen
27. Vorlesung: Embodied Conversational Agents
(und erste eigene Arbeiten)
u Sie können gesehen werden als
l
Methoden der KŸnstlichen Intelligenz
Ipke Wachsmuth
l
ÊWS 2000/2001
l
multimodales Interface mit natürlichen Modalitäten wie gesprochener Sprache, Gesichtsausdrücken, Handgesten und Körperhaltung
Software-Agenten, indem sie den Computer in der Interaktion mit
einem Menschen repäsentieren oder ihre menschlichen Benutzer in
einer virtuellen Umgebung (z.B. als Avatare) verkörpern
Dialog-Systeme, wobei sowohl verbale als auch nichtverbale
Komponenten den Mensch-Maschine-Dialog abwickeln.
27. Vorlesung
UniversitŠt Bielefeld
Methoden der KŸnstlichen Intelligenz
2
UniversitŠt Bielefeld
REA Ð Ein ãReal Estate AgentÒ
Architektur des REA-Systems
(Beispiel eines Embodied Conversational Agent am MIT Media Lab)
Hardwired Reaction
u Abwicklung eines Dialogs zwischen Wohnungsmaklerin REA und Benutzer
Deliberative Module
Knowledge
Base
Discourse
Model
Decision Module
Input
Devices
Interactional
Processing
Input
Manager
Speech
Gaze
Gesture
Body Position
...
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
3
27. Vorlesung
Understanding
Module
Propositional
Processing
Generation
Module
speech &
gesture
generation
Response
Planner
Methoden der KŸnstlichen Intelligenz
Action
Scheduler
Output
Devices
Speech
Gaze
Gesture
Body Position
...
4
UniversitŠt Bielefeld
UniversitŠt Bielefeld
Conversational Agents: Aspekte
Metapher der face-to-face
Konversation im InterfaceDesign:
u „mixed initiative“-Dialog
u auch nichtverbale
Kommunikation
u körperliche Anwesenheit
u Regeln für den
Kontrolltransfer
27. Vorlesung
Instrukteur-Konstrukteur-Dialog
Einzelgesichtspunkte:
u Persönlichkeit
l
l
l
Expertisegebiet
Interessenprofil
audiovisuelle Erscheinung
u Performative
u konversationale
Funktionen
u Emotion
Methoden der KŸnstlichen Intelligenz
5
UniversitŠt Bielefeld
Kooperation beim
gemeinsamen Bau
eines Flugzeugmodells
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
6
UniversitŠt Bielefeld
Zeigegesten, erste Versuche...
Artikulierter Kommunikator
Arbeiten mit Stefan Kopp
Kinematisches Skelett mit 43
degrees of freedom (DOF) in
29 Gelenken für den Körper
und 20 DOF für jede Hand.
Der Arm wird zum Zeigen gehoben;
der eigentliche Gestenschlag erfolgt
abwärts gerichtet.
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
7
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
8
UniversitŠt Bielefeld
UniversitŠt Bielefeld
Generierung natŸrlicher Gesten
Sprechrhythmus (stress timing)
Arbeiten mit Stefan Kopp,
Artikulierter Kommunikator
(in germanischen Sprachen)
• Betonung ("stress") durch zeitliche Dehnung
einzelner – und Verdichtung anderer – Silben:
Beschreibung einer Geste des Greifens
oder Heranwinkens in einer um Zeitconstraints erweiterten HamNoSys-Notation
–––––––––––––––––––––––––––––––––––––––––
Der
Die
Die
Der Inter-
Z ug
nach
Z ü-ge nach BerE i - s e n -b a h n n a c h
C i-ty nach B ad
Köln
lin
Altona
S egeberg
–––––––––––––––––––––––––––––––––––––––––
=> relativ konstante Dauer zwischen betonten
Silben, unabhängig von Silbenanzahl
(beim gleichen Sprecher unter gleichen Bedingungen)
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
9
UniversitŠt Bielefeld
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
10
Methoden der KŸnstlichen Intelligenz
12
UniversitŠt Bielefeld
Zeitliche Kopplung
bei Sprache und Gestik
Diplomarbeit
Dirk Stößel
u Der oft zu beobachtende abrupte Stopp im
„Gesten-Schlag“ sprachbegleitender Gesten
korreliert mit betonten Silben im Sprechen.
u Das „Zwischenbetonungsintervall“ (interstress interval:
Zeit zwischen aufeinanderfolgenden betonten Silben)
beträgt bei flüssigem Sprechen ca. 1/2 sec.
u Die Antizipation der zeitlichen Struktur (Sprechrhythmus)
erleichtert die Äußerungs-Segmentierung beim Hörer
Rezipienten wie auch das „turn-taking“.
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
In unserem
Text-to-Speech
System (TTS)
lassen sich
prosodische
Funktionen
steuern
(pitch scaling,
time scaling)
11
27. Vorlesung
UniversitŠt Bielefeld
UniversitŠt Bielefeld
Gesichtsmimik / Emotion...
ãMAXÒ
Arbeiten mit Stefan Kopp, Bernhard Jung und
Studierenden (Multimodaler Assembly EXperte)
Werden sich Emotionen modellieren und durch mimische Merkmale
darstellen lassen? Für die sechs Grundemotionen Glück und Trauer,
Überraschung, Angst/Furcht, Ekel/Abscheu und Zorn scheint es
universelle mimische Ausdrucksgestalten zu geben. [nach Ekman]
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
13
UniversitŠt Bielefeld
Quellenhinweis:
u Cassell et al. (Eds.):
„Embodied Conversational
Agents“ (MIT Press, 2000)
bei weiterem Interesse:
u Hinweise zu eigenen
Schriften auf Anfrage
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
15
27. Vorlesung
Methoden der KŸnstlichen Intelligenz
14