motion capturing

MOTION CAPTURING
Eine Ausarbeitung für das Proseminar “How to make a Pixar movie“ von Thomas Parsch
“Our Quality Assurance Guarantee: 100% Genuine Animation! No motion capture or any other performance
shortcuts were used in the production of this film.“
aus dem Abspann von Ratatouille
Wie man diesem Zitat entnehmen kann, steht Pixar dem Thema Motion Capturing – also der Erfassung von
Bewegung in einem computerlesbaren Format - mit einer ablehnenden Haltung gegenüber. Es gilt unter manchen
Kunstschaffenden der Animationsstudios als unschicklich arbeitserleichternde Hilfsmittel wie Motion Capturing
einzusetzen. Dies kommt auch dadurch zum Ausdruck, dass die Academy of Motion Picture Arts and Sciences, die
Regeln zur Vergabe des Oscars für den besten animierten Spielfilm angepasst hat und Motion Capturing für sich
genommen als keine Animationstechnik mehr ansieht. (The Academy of Motion Picture Arts and Sciences)
Ein weiterer Grund ist sicherlich auch das Phänomen des sog. Uncanny Valley, also des „unheimlichen Tales“. Im
Allgemeinen würde man erwarten, dass umso realistischer eine künstliche Figur dargestellt wird, sie auch umso
mehr vom Betrachter als menschlich akzeptiert wird. Allerdings gibt es eine Schwelle, ab der die Akzeptanz
deutlich einbricht und sogar die eines offensichtlich artifiziellen Gegenstands, welcher über einige wenige
menschliche Eigenschaften verfügt, unterschreitet. So werden beispielsweise die Figuren im Film „Der
Polarexpress“ von vielen Betrachtern als unnatürlich wahrgenommen. Doch kann dieses Tal durchschritten
werden, indem man die Menschenähnlichkeit weiter erhöht und die Betrachter den Unterschied zwischen
künstlicher Kreation und Realität nicht mehr differenzieren können. Allerdings ist es bislang nicht gelungen, das
Auftreten dieses Effektes speziellen Intensitäten von Merkmalen einer Figur zuzuordnen. (Pollick, 2010)
Akzeptanz
Menschenähnlichkeit
UNCANNY VALLEY (EIGENE DARSTELLUNG)
Durch zu lebensnahen Animationen, welche mit Hilfe von Motion Capturing erstellt worden sind, könnte es nun
passieren, dass eine Figur aus einem Pixar Animationsfilm in das “Uncanny Valley“ abgleitet. Ein weiteres
Argument gegen Motion Capturing ist, dass häufig noch im Nachhinein die Animationen durch einen Animator
nachbearbeitet werden müssen. Weiterhin ist Motion Capturing nur mit stark erhöhtem Aufwand einsetzbar,
wenn Bewegungen, welche einen Menschen unmöglich sind, animiert werden sollen. Dies ist gerade bei der
Animation von Cartoon Figuren hinderlich, welche oftmals über überproportionale Gliedmaßen oder spezielle
1
übermenschliche Fähigkeiten verfügen. Eine nachträgliche Änderung des Bewegungsablaufs durch einen Animator
ist ebenfalls sehr aufwendig.
ANWENDUNGSBEREICHE
Die Motion-Capture-Technologie wird in zahlreichen weiteren Bereichen eingesetzt. So dient es in der Medizin
unter anderem der Erfassung des Gangs eines Patienten. Auf diese Weise können Haltungsschäden vermieden
werden oder auch die Wirksamkeit von orthopädischen Rehabilitationsmaßnahmen überprüft werden.
(Universitätsklinikum Münster)
Im Sportbereich können, neben sportmedizinischen Untersuchungen, auch kleinste Fehler in den Bewegungen
eines Spitzensportlers erfasst werden. Dadurch ist es möglich die Leistung der Athleten in Wettkämpfen weiter zu
steigern.
In der Computerspielindustrie wird Motion Capturing zum einem als
kostengünstiges Verfahren zum Erstellen von Bewegungsabläufen, wie
beispielsweise das Abspringen vom Boden oder die Laufsequenz einer Spielfigur
verwendet. Zum anderen werden in neuerer Zeit auch immer mehr
Zwischensequenzen mit einer aus der Filmproduktion bekannten Vorgehensweise
erstellt, da die Grenzen von Computerspiel zu Film zu verwischen beginnen. Eine
sehr junge Entwicklung ist der Einsatz von Motion-Capture-Techniken nicht nur
bei der Erstellung von Spielen, sondern auch bei der Erfassung von Eingabedaten
durch den Benutzer. So werden bei Microsofts Kinect für die Xbox 360 die
Bewegungen der Spieler vor dem Fernseher erfasst und direkt auf die
MOTION CAPTURING FÜR FIFA 09
Bewegungen der Spielcharaktere übertragen. (Microsoft Resarch)
HTTP://WWW.THEOFFSIDE.COM/FILES/2008/07/
EDU-MOTION-CAPTURE.JPG
Ein großer Einsatzbereich sind, wie bereits eingangs erwähnt, Film- und TV-Produktionen. Es gibt Filme, die fast
vollständig auf Motion Capturing setzten, wie beispielsweise Happy Feat, aber auch Produktionen, in denen
virtuelle Charaktere in realen Aufnahmen retourschiert werden. Hier ist als berühmtes Beispiel die Verfilmung der
Herr der Ringe Trilogie von Peter Jackson zu nennen. Ein gerade in diesem Gebiet nicht zu vernachlässigender
Aspekt der Motion-Capture-Techniken ist, dass sie über eine große Sichtbarkeit in der Presse verfügen. Daher
werden auch gerne, bereits vorab Herstellungs-Dokumentationen erstellt, um die Aufmerksamkeit im Vorfeld auf
den Film zu erhöhen.
Eine in Deutschland relativ unbekannte Anwendung von Motion Capturing in der
Praxis
ist
die
Animation
von
Tathergängen
in
amerikanischen
Geschworenenprozessen. (3D Court Animation) In diesen Animationen sind die
Charaktere meist stark stilisiert, da es strenge Vorschriften gibt, damit die
Geschworenen den Film lediglich als Informationsquelle nutzen, nicht jedoch im
Sinne des Opfers oder der Täter beeinflusst werden. Allerdings lassen die
zahlreichen am Markt konkurrierenden Firmen darauf schließen, dass durchaus die
Jury sich durch solche Animationen in ihrer Entscheidungsfindung leiten lässt.
ANIMATION
FÜR
GERICHTSPROZESS
HTTP://WWW.CHARTER.NET
2
Ein weiterer sehr wichtiger Bereich, in dem Motion Capturing eingesetzt wird, sind die Forschung und
Entwicklungsabteilungen von Firmen sowie die universitäre Forschung. Die Forschungsgebiete sind zahlreich, hier
sei als Beispiel die Ergonomie herausgegriffen. So werden in großen Automobilfirmen die Arbeitsplätze der
Arbeiter in der Montage mit Hilfe von Motion-Capture-Technologie vermessen. Mit den gewonnen Datensätzen
können die Arbeitsabläufe weiter optimiert werden, sodass die Werker schneller montieren und gleichzeitig eine
gesündere Arbeitshaltung einnehmen. (King, et al., 2007)
METHODEN DES MOTION CAPTURING
Der folgenden Abschnitt wurde an den Inhalt des Buches „Understanding Motion Capture for Computer Animation
and Video Games“ von Alberto Menache angelehnt. (Menache, 2000) Jedoch wurde einiges angepasst und
aktuelle Einflüsse berücksichtigt, da heutzutage beispielsweise der Nachteil mancher Systeme, Kabel zur
Datenübertragung nutzen zu müssen, durch große Fortschritte in der Funktechnik obsolet geworden ist.
KLASSIFIZIERUNG VON MOTION-CAPTURE-METHODEN
Die Systeme, welche zur Erfassung von Bewegungsdaten genutzt werden, können in drei Kategorien eingeteilt
werden: Inside-in Systeme, Inside-out Systeme und Outside-in Systeme. Der erste Teil der Kategoriebezeichnung
verweist auf die Lage der Sensoren. Während der zweite auf die Position des Bezugspunktes der Messung
hindeutet.
MECHANISCHE SYSTEME
Mechanische Systeme sind exoskelettartige Strukturen, welche die Darsteller aufsetzen. In den Gelenken befinden
sich Potentiometer, welche die Auslenkung des Gelenks messen. Daher handelt es sich bei diesen Systemen um ein
Inside-in System, da sowohl Sensor als auch die Bezugspunkte sich direkt an der Person befinden.
Durch diese Bauweise sind diese Systeme sehr transportabel und erlauben es
auch raumgreifende Bewegungen aufzuzeichnen, da nicht notwendigerweise
ein Studio oder eine besonders vorbereitete Umgebung erforderlich ist. Auch
kann aufgrund der Konstruktionsweise kein Messpunkt verdeckt werden.
Allerdings sind die Bewegungen der Schauspieler eingeschränkt, da trotz
leichter Bauweise das Motion-Capture-System den Träger ermüdet und auch
dazu verleiten kann, gewisse Bewegungen anders auszuführen, als er es
GYPSY 7 TORSO
HTTP://WWW.METAMOTION.COM/IMAGES/GYPSY-7ohne Bewegungserfassungssystem getan hätte. Ein Nachteil ist, dass die
TORSO.JPG
Systeme nur relative Laufbewegungen erfassen. Tritt während der
Aufzeichnungen ein Fehler auf, kann später nur schwerlich der Bewegungsablauf rekonstruiert werden. Darüber
hinaus ist es mit einem mechanischen System nicht oder nur durch großen Aufwand möglich, das Sensorsetup –
also die Anordnung der Sensoren am Körper – zu variieren.
DIGITALE ARMATUREN
Verwandt zu den mechanischen Systemen sind die digitalen Armaturen. Hierbei werden Figuren mit mechanischen
Gelenken, in denen sich Sensoren befinden, von Puppenspielern genutzt um Bewegungsdaten aufzuzeichnen. Sie
sind sehr geeignet um Stop-Motion-Techniken, also das schrittweise Animieren durch ständige kleine
Haltungsänderungen in die digitale Welt zu überführen. Weiterhin zeichnen sie sich durch eine große Flexibilität
bzgl. der Form und Proportion der dargestellten Figur aus, sodass leicht auch Tiere und Cartoon-Charakter animiert
3
werden können. Zudem sind diese Systeme im Vergleich zu den übrigen vergleichsweise günstig. Allerdings
werden, wie bereits erwähnt, professionelle Puppenspieler benötigt, um schnell ansprechende Ergebnisse zu
erhalten. Ähnlich den mechanischen Systeme zeichnen die meisten kommerziell erhältlichen digitalen Armaturen
nur Relativbewegungen auf.
ELEKTROMAGNETISCHE SYSTEME
Bei elektromagnetischen Systemen werden Magnetfeldsensoren auf dem
Schauspieler aufgebracht. Damit diese ein ausreichend starkes Magnetfeld zur
Messung vorfinden, werden im Studio Magnetfeldspulen zur Erzeugung des Feldes
aufgestellt. Systeme dieser Art sind der Klasse der Inside-out zugeordnet, da sich die
Sensoren auf dem Körper des Protagonisten befinden, dass Feld jedoch außerhalb.
Ein Vorteil dieser Systeme ist, dass nie ein Sensor verdeckt wird, da das Feld durch
den menschlichen Körper hindurch gemessen werden kann.
Es gibt sowohl Systeme, die mit Feldern, welche mit Wechselstrom erzeugt werden,
als auch welche deren Felder mit Gleichstrom generiert werden. Aufgrund dieser MOTION CAPTURING FÜR
Funktionsweise sind elektromagnetische Motion-Capture-Systeme „empfindlich GOLLUM AUS HERR DER RINGE,
gegenüber
metallischen
Flächen und Gegenständen“. (Diehl, 1997) HTTP://MEDIA.SCREENED.COM/UPLOADS/
0/2434/236985-GOLLUM_SUPER.JPG
Gleichstrombasierte Systeme sind vor allem Störeinflüssen durch Metalle und
Metalllegierungen wie Eisen oder Stahl, ausgesetzt. Während Systeme, deren Felder durch Wechselstrom erzeugt
werden, falsche Daten unter dem Einfluss von Metallen wie Aluminium und Kupfer liefern. Ein weiterer Nachteil
ist, dass die Sensoren nach kurzer Zeit rekalibriert werden müssen und daher Änderungen der Anordnung der
Marker nur sehr schwer möglich sind.
OPTISCHE SYSTEME
Mehrere Markerpunkte werden bei optischen Systemen am Protagonisten
festgemacht und diese aus mehreren Blickwinkeln aufgezeichnet. Durch
Triangulation kann nun auf die Position der einzelnen Punkte rückgeschlossen
werden. Mit Hilfe dieser Punktewolken kann nun die Bewegung des Schauspielers
auf einen virtuellen Charakter übertragen werden. Hier wird von Outside-in
Systemen gesprochen, da die Kameras, welche als Sensoren fungieren, sich
außerhalb befinden – die Markerpunkte jedoch auf dem Körper der Protagonisten
befestigt sind. Bei optischen Motion-Capture-Systemen wird zwischen aktiven und
passiven unterschieden. Die Marker der aktiven Systeme leuchten selbst, während
KALIBRIERUNG EINES OPTISCHEN
bei passiven Systemen die Marker von außen durch Strahler beleuchtet werden.
MOTION CAPTURE SYSTEMS
Meist wird hier auf das Infrarotspektrum zurückgegriffen, um die Schauspieler nicht
HTTP://WWW.CACS.LOUISIANA.EDU/LABS/EC
RG/VICON/BACKSUIT.JPG
durch Lichtreflexe zu irritieren.
Durch das stetig zunehmende Auflösungsvermögen und die ansteigende Frequenzrate von Digitalkameras liefern
optische Motion-Capture-Systeme sehr präzise Datensätze. Auch erlaubt es inzwischen die durch aktuelle
Computer bereitgestellte Rechenleistung mit einer großen Anzahl an Markern umzugehen. Daher können auch
mehrere, miteinander interagierende Personen gleichzeitig aufgezeichnet werden. Durch die große Markeranzahl
und der Möglichkeit, die Anordnung am Körper bei Bedarf schnell zu variieren, ist es leicht, Rückschlüsse auf das
Skelett der Schauspieler zu ziehen und so deren Bewegungen direkt auf den zu animierenden Charakter zu
übertragen. Die berührungslose Erfassung der Daten und die geringe Größe der Marker gibt den Schauspielern
4
große Bewegungsfreiheit. Auch lassen sich mit mehreren Kameras problemlos größere Flächen abdecken, in denen
aufgezeichnet werden kann.
Dass eine speziell vorbereitete Umgebung – im Normalfall ein Studio – notwendig ist, stellt einen Nachteil dieser
Methode dar. Außerdem leidet auch dieses System unter Störeinflüssen wie ungewollten Lichtreflexen oder einem
Verrutschen der Markern. Dies kann aber durch moderne Algorithmen teilweise ausgeglichen werden.
Aufgrund der vielen Vorteile und der wenigen Nachteile sind optische Systeme sehr weit verbreitet. Eine spezielle
Form von Motion Capturing, das sog. Facial Capture, findet zunehmend Verbreitung. Hierbei werden sehr kleine
Marker auf dem Gesicht der Schauspieler aufgebracht, um auch deren Mimik zu erfassen. Diese Technik ist sowohl
in Kombination mit optischen Systemen als auch einzeln zur nachträglichen Mimikanimation im Einsatz.
AKTUELLE FORSCHUNG IM BEREICH DES MOTION CAPTURING
Da die kommerziell erhältlichen Systeme bereits sehr zuverlässig arbeiten und die Hersteller nur wenig über ihre
Neuentwicklungen publizieren, hat sich der Fokus der Forschung im Bereich des Motion Capturing weg vom Film
zu komplexeren Fragestellungen verschoben. So ist die automatisierte Erfassung von hunderten Personen auf
einmal beispielsweise in einem Bahnhof von Interesse oder bei nur einer Kamera die Beobachtung eines Ganges, in
dem sich mehrere Personen verdecken und aneinander vorbeilaufen. (Gilbert, et al., 2007)
Eine derzeit noch in der Erforschung befindliche Technologie ist das sogenannte Performance Capturing. Da es sich
um eine „markerless“ Technik handelt, wird auf den Einsatz von Markern verzichtet und die zu erfassende Person
allein von Kameras erfasst. Die Bildinformationen werden nun auf ein 3D-Modell der Person zurückgeführt. Diese
Entwicklung könnte zu deutlich kostengünstigeren, genaueren Motion-Capture-Systemen führen, welche den
Darstellern große Bewegungsfreiheit gewähren. (de Aguiar, et al., 2008)
PERFORMANCE CAPTURING EINES CAPPEIRA TÄNZERS
HTTP://WWW.MPI-INF.MPG.DE/RESOURCES/PERFCAP/IMAGES/PCMV.PNG
LITERATUR- UND QUELLENVERZEICHNIS
3D Court Animation. [Online] [Cited: Juli 14, 2011.] http://www.3dcourt.com/.
de Aguiar, Edilson, et al. 2008. Performance capture from sparse multi-view video. ACM Transactions on Graphics
(TOG) - Proceedings of ACM SIGGRAPH 2008. 2008, Bd. 27, 3.
Diehl, Monika. 1997. Anwendung von Motion Capture zur Generierung virtueller Charaktere für Trickfilme. Berlin :
Fachhochschule für Technik und Wirtschaft, 1997.
Gilbert, Andrew und Bowden, Richard. 2007. Multi Person Tracking Within Crowded Scenes. Human Motion Understanding, Modeling, Capture and Animation. Rio de Janeiro : Springer, 2007.
5
King, B.A. und Paulson, L.D. 2007. Motion Capture Moves into New Realms . Computer. 40, 2007, 9.
Menache, Alberto. 2000. Understanding Motion Capture for Computer Animation and Video Games. San Diego :
Morgan Kaufmann, 2000.
Microsoft Resarch. Kinect for Windows SDK beta. [Online] [Cited: Juli 14, 2011.] http://research.microsoft.com/enus/um/redmond/projects/kinectsdk/.
Pollick, Frank E. 2010. In Search of the Uncanny Valley . Lecture Notes of the Institute for Computer Sciences, Social
Informatics and Telecommunications Engineering. 2010, 40.
The Academy of Motion Picture Arts and Sciences. Oscars.org. [Online] [Cited: Juli 10, 2011.]
http://www.oscars.org/awards/academyawards/rules/rule07.html.
Universitätsklinikum Münster. Universitätsklinikum Münster / Kliniken / Orthopädie / Technische Orthopädie /
Einrichtungen / Klinische Prüfstelle / Ganglabor. [Online] [Zitat vom: 14. Juli 2011.] http://www.klinikum.unimuenster.de/index.php?id=toganglabor.
6