Embodied Conversational Agents

UniversitŠt Bielefeld
UniversitŠt Bielefeld
Embodied Conversational Agents
(nach Cassell, Sullivan, Prevost & Churchill 2000)
u Computer-generierte Figuren, die ähnliche Eigenschaften
wie Menschen in „face-to-face“-Konversationen aufweisen,
inkl. Fähigkeiten verbaler und nonverbaler Kommunikation.
6 Intelligente Systeme
15. Vorlesung: Embodied Conversational Agents
u Sie können gesehen werden als
l
Methoden der KŸnstlichen Intelligenz
Bernhard Jung
Ê
l
WS 2001/2002
l
multimodales Interface mit natürlichen Modalitäten wie gesprochener Sprache, Gesichtsausdrücken, Handgesten und Körperhaltung
Software-Agenten, indem sie den Computer in der Interaktion mit
einem Menschen repäsentieren oder ihre menschlichen Benutzer in
einer virtuellen Umgebung (z.B. als Avatare) verkörpern
Dialog-Systeme, wobei sowohl verbale als auch nichtverbale
Komponenten den Mensch-Maschine-Dialog abwickeln.
15. Vorlesung
UniversitŠt Bielefeld
Methoden der KŸnstlichen Intelligenz
2
UniversitŠt Bielefeld
STEVE Ð Ein pŠdagogischer Agent
COSMO Ð Ein pŠdagogischer Agent
(Rickel & Johnson, 1998, 2000)
(Lester et al, 2000)
u SOAR Training Expert for Virtual Environments
u „Internet Advisor“:
Situiert in Lernumgebung
u Pädagogischer Agent: Vormachen
für Routing von Internetpaketen
von Prozeduren (Bedienung,
u Beobachtet Lernende und
Wartung von Maschinen)
gibt Ratschläge
u Beantwortung von Fragen /
Erklärung von Prozeduren
u Multimodale Kommunikation:
Sprache, Gestik, Blickrichtung
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
3
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
4
UniversitŠt Bielefeld
UniversitŠt Bielefeld
REA Ð Ein ãReal Estate AgentÒ
Architektur des REA-Systems
(Beispiel eines Embodied Conversational Agent am MIT Media Lab)
Hardwired Reaction
u Abwicklung eines Dialogs zwischen Wohnungsmaklerin REA und Benutzer
Deliberative Module
Knowledge
Base
Discourse
Model
Decision Module
Input
Devices
Interactional
Processing
Input
Manager
Understanding
Module
Speech
Gaze
Gesture
Body Position
...
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
5
UniversitŠt Bielefeld
15. Vorlesung
Propositional
Processing
Generation
Module
speech &
gesture
generation
Action
Scheduler
Response
Planner
Methoden der KŸnstlichen Intelligenz
Output
Devices
Speech
Gaze
Gesture
Body Position
...
6
UniversitŠt Bielefeld
Conversational Agents: Aspekte
Funktionen nonverbalen Verhaltens
(Krämer & Kopp, 2000)
Metapher der face-to-face
Konversation im InterfaceDesign:
u „mixed initiative“-Dialog
u auch nichtverbale
Kommunikation
u körperliche Anwesenheit
u Regeln für den
Kontrolltransfer
u Modeling functions
Einzelgesichtspunkte:
u Persönlichkeit
l
l
l
l
Expertisegebiet
Interessenprofil
audiovisuelle Erscheinung
u Performative
u konversationale
Funktionen
u Emotion
z.B. Vormachen von Prozeduren
u Discourse functions
l
Nonverbales Verhalten ergänzt / ersetzt Sprache
u Dialogue functions
l
turn-taking und back-channel Signale
u Relational functions
l
soziale Rollen, emotionales Klima
KI-Aspekt: Planung nonverbalen Verhaltens von ECAs
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
7
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
8
UniversitŠt Bielefeld
UniversitŠt Bielefeld
Artikulierter Kommunikator
Instrukteur-Konstrukteur-Dialog
AG WBS
Kinematisches Skelett mit 43
degrees of freedom (DOF) in
29 Gelenken für den Körper
und 20 DOF für jede Hand.
Kooperation beim
gemeinsamen Bau
eines Flugzeugmodells
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
9
UniversitŠt Bielefeld
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
10
UniversitŠt Bielefeld
Generierung natŸrlicher Gesten
Artikulierter
Sprechrhythmus (stress timing)
Kommunikator
(in germanischen Sprachen)
• Betonung ("stress") durch zeitliche Dehnung
einzelner – und Verdichtung anderer – Silben:
Beschreibung einer Geste des Greifens
oder Heranwinkens in einer um Zeitconstraints erweiterten HamNoSys-Notation
–––––––––––––––––––––––––––––––––––––––––
Der
Die
Die
Der Inter-
Z ug
nach
Z ü-ge nach BerE i - s e n -b a h n n a c h
C i-ty nach B ad
Köln
lin
Altona
S egeberg
–––––––––––––––––––––––––––––––––––––––––
=> relativ konstante Dauer zwischen betonten
Silben, unabhängig von Silbenanzahl
(beim gleichen Sprecher unter gleichen Bedingungen)
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
11
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
12
UniversitŠt Bielefeld
UniversitŠt Bielefeld
Zeitliche Kopplung
bei Sprache und Gestik
Diplomarbeit
Dirk Stößel
u Der oft zu beobachtende abrupte Stopp im
„Gesten-Schlag“ sprachbegleitender Gesten
korreliert mit betonten Silben im Sprechen.
u Das „Zwischenbetonungsintervall“ (interstress interval:
Zeit zwischen aufeinanderfolgenden betonten Silben)
beträgt bei flüssigem Sprechen ca. 1/2 sec.
u Die Antizipation der zeitlichen Struktur (Sprechrhythmus)
erleichtert die Äußerungs-Segmentierung beim Hörer
Rezipienten wie auch das „turn-taking“.
In unserem
Text-to-Speech
System (TTS)
lassen sich
prosodische
Funktionen
steuern
(pitch scaling,
time scaling)
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
13
UniversitŠt Bielefeld
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
14
UniversitŠt Bielefeld
ãMAXÒ
ãGilbert und GeorgeÒ
Cassell et al, 1994
Projektseminar, AG WBS, Uni Bielefeld
• Koordinierte Generierung von Sprache + nonverbalem Verhalten
(keine Interaktion mit Benutzer)
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
15
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
16
UniversitŠt Bielefeld
UniversitŠt Bielefeld
Gesichtsmimik / Emotion...
Gesichtsmimik / Emotion...
Werden sich Emotionen modellieren und durch mimische Merkmale
darstellen lassen? Für die sechs Grundemotionen Glück und Trauer,
Überraschung, Angst/Furcht, Ekel/Abscheu und Zorn scheint es
universelle mimische Ausdrucksgestalten zu geben. [nach Ekman]
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
17
UniversitŠt Bielefeld
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
18
UniversitŠt Bielefeld
Gesichtsmimik / Emotion...
ECAs im Internet
Kismet-Roboter, MIT AI Lab
Chase Walker, Interface-Agent
www.headpedal.com
Cor@, virtuelle Beraterin der Deutschen Bank,
laut Eigenauskunft "künstlich intelligent"
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
19
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
20
UniversitŠt Bielefeld
Quellenhinweis:
u Cassell et al. (Eds.):
„Embodied Conversational
Agents“ (MIT Press, 2000)
15. Vorlesung
Methoden der KŸnstlichen Intelligenz
21