Motion capture - InteractFields

Captura e Análise Digital do Movimento
Humano
MOTION-CAPTURE
José Dinis
[email protected]
OBJETIVOS
O QUE É O MOTION-CAPTURE
PROCESSO DE AQUISIÇÃO DO MOVIMENTO HUMANO
VANTAGENS E DESVANTAGENS DO MOTION-CAPTURE
TRATAMENTO / EDIÇÃO / APLICAÇÃO DO MOVIMENTO CAPTURADO A
UMA PERSONAGEM
PROCESSOS/WORKLOWS PARA UTILIZAÇÃO DOS DADOS NOS
PRINCIPAIS SOFTWARES 3D
OBJETIVOS
Autodesk
Motionbuilder
Colocação das câmaras
Definição do volume/área
Calibração das câmaras
Colocação dos marcadores
“Subject Calibration” – ROM
Captura - Ação
Reconstrução de dados
“Data Cleaning”
Exportação de dados – C3D
Introdução ao
Motionbuilder
Edição dos movimentos
Actor
Caraterização
Retargeting
Pré-visualização
Exportação dos dados
Livraria Movlab
Maya
3d Max
Importação dos dados
OBJETIVOS
MOCAP
Planeamento
Vicon iQ
•Captura
•Tratamento de dados
Autodesk Motionbuilder:
•Edição dos movimentos
3D EDITOR
MAYA
• Rigging
• FBIK
• FBX
3D MAX
• Rigging
• BIPED
• FBX
CONTEÚDOS
MOODLE
http://www.interactfields.com/aulas/cadmh/
TRABALHOS
JOGO
FOLHA DE PLANEAMENTO
SHOT-LIST
CURTAMETRAGEM
ANIMAÇÃO
FOLHA DE PLANEAMENTO
SHOT-LIST
PROJETO-FINAL
FOLHA DE PLANEAMENTO
SHOT-LIST
CAPTURA
TRATAMENTO
CAPTURA
TRATAMENTO
EDIÇÃO
BIOGRAFIA - BIBLIOTECA
The human figure in motion / Eadweard Muybridge
New York : Dover Publications, 1955
Mocap for artists : workflow and techniques for
motion capture / Midori Kitagawa, Brian Windsor
Elsevier : Focal Press, 2008
Human motion : understanding, modelling, capture,
and animation / ed. lit. Bodo Rosenhahn, Reinhard
Klette, Dimitris Metaxas
BIOGRAFIA - BIBLIOTECA
Animation : the mechanics of motion / Chris
Webster
Elsevier : Focal Press, 2005
BIOGRAFIA
The Animator's Motion Capture Guide: Organizing,
Managing, Editing / Matt Liverman
Charles River Media Game Development
Computer Animation Complete: All-in-One: Learn
Motion Capture, Characteristic, Point-Based, and
Maya Winning Techniques
Rick Parent
The Mocap Book: A Practical Guide to the Art of
Motion Capture
Ricardo Tobon
BIOGRAFIA
Understanding Motion Capture for Computer
Animation, Second Edition
Alberto Menache
The Morgan Kaufmann Series in Computer Graphics
LINKS
MovLab:
http://movlab.ulusofona.pt/cms/
MovLab Wiki:
http://movlab.ulusofona.pt/mocapwiki/index.php?title
=Main_Page
Midori Kitagawa:
http://atec.utdallas.edu/midori/
CMU Graphics
Lab Motion
Capture
Database:
http://mocap.cs.cmu.edu/resources.php
MOTION CAPTURE – O QUE É O “MOTION CAPTURE”?
O QUE É A CAPTURA DE
MOVIMENTOS?
MOTION CAPTURE – O QUE É O “MOTION CAPTURE”?
Motion capture is the process of recording a live motion event and translating it into
usable mathematical terms by tracking a number of key points in space over time and
combining them to obtain a single three-dimensional (3D) representation of the
performance.
In brief, it is the technology that enables the process of translating a live performance
into a digital performance.
“Computer Animation Complete”, Elsevier, 2010
Motion = the act of physically changing location.
Capture = take into possession, to seize, to acquire.
So motion capture is the acquisition of movement.
“The Mocap Book -A practical guide to the art of motion capture”, Ricardo Tobón, Foris
Force, 2010
MOTION CAPTURE – O QUE É O “MOTION CAPTURE”?
Motion capture (mocap) is sampling and recording motion of humans, animals, and
inanimate objects as 3D data. The data can be used to study motion or to give an
illusion of life to 3D computer models.
“Mocap for Artists Workflow and Techniques for Motion Capture” , Midori Kitagawa and
Brian Windsor, Elsevier , 2008
Processo de aquisição do movimento e tradução do mesmo para um modelo
digital
MOTION CAPTURE – O QUE É O “MOTION CAPTURE”?
Polar Express - 2004 - Sony Pictures, Imageworks
MOTION CAPTURE – O QUE É O “MOTION CAPTURE”?
A captura de movimentos permite trazer para a animação digital o movimento humano
com precisão e rápidamente. Contudo nem sempre é a melhor opção.
MOTION CAPTURE – O QUE É O “MOTION CAPTURE”?
MOTION CAPTURE
HISTÓRIA
MOTION CAPTURE - HISTÓRIA
Pioneiros
• Eadweard Muybridge (1830-1904)
• Etienne-Jules Marey (1830-1904)
• Harold Edgerton (1903-1990)
• Max Fleischer (1883-1972)
MOTION CAPTURE - HISTÓRIA
Eadweard Muybridge (1830-1904)
•
Pioneiro no estudo da locomoção de animais, através do uso de múltiplas
câmaras para capturar o movimento
•
Considerado o “pai” da fotografia sequencial
•
Zoopraxiscope - instrumento que permite projetar imagens sequencialmente
através de um disco
Zoopraxiscope, 1879 - um dos primeiros
instrumentos de projeção
Animals in Motion (1899) -The Human
Figure in Motion (1901)
MOTION CAPTURE - HISTÓRIA
Etienne-Jules Marey (1830-1904)
Pelicano a voar - capturado por Marey por volta
de 1882
pistola que permitia fotografar a
locomoção animal (cronofotografias)
MOTION CAPTURE - HISTÓRIA
Etienne-Jules Marey (1830-1904)
Etienne-Jules Marey’s
fato « mocap », 1884
cronofotografia do movimento humano - Etienne-Jules Marey,
1886
MOTION CAPTURE - HISTÓRIA
Harold Edgerton (1903-1990)
• Em 1931 Edgerton desenvolveu o estroboscópio com o intuito de
capturar fotografias de alta velocidade - Estroboscópio: dispositivo que
permite estudar e registar o movimento contínuo ou periódico de elevada
velocidade de um corpo, com o objectivo de o fazer parecer estacionário
• Pioneiro na fotografia de alta velocidade
Milk-Drop Coronet, Harold
Edgerton, 1957
Shooting the Apple, Harold Edgerton, 1964
MOTION CAPTURE - HISTORIA
Max Fleischer (1883 – 1972) - Rotoscopia
• Rotoscopia
• Inventou o "rotoscope“. Dispositivo que permite aos animadores
decalcar o movimento, frame a frame, para uso em animação
• inventado e patenteado pelo cartonista Max Fleischer, em 1915
com o intuito de automatizar a produção de filmes de animação
• a primeira personagem de banda desenhada criada apartir da
rotoscopia foi Koko the Clown 04
• Walt Disney Studios usou a técnica da rotoscopia em 1937 para
criar o movimento de personagens no filme "Branca de Neve"
• A rotoscopia é considerada a precursora da captura de movimentos
MOTION CAPTURE - HISTORIA
Max Fleischer - Rotoscopia
Koko the Clown
Fleischer “rotoscope” (Esquema da patente)
MOTION CAPTURE - HISTORIA
Max Fleischer - Rotoscopia
“rotoscoping can be thought of as a primitive form or precursor to motion capture,
where the motion is ‘captured’ pains takingly by hand.” - Sturman
MOTION CAPTURE - HISTORIA
Motion Capture
•
DIGITAL:
•
utilizado pela primeira vez no final de 1970 e início de 1980, nas universidades em
projetos investigação
•
“Brilliance” - Robert Abel – 1984
•
“We got black adhesive dots and we put them on our bodies and we would photograph
each other with Polaroid cameras and then we would lay out these Polaroids so we could
see how they changed from angle to angle.”
Brilliance, 1984
1
MOTION CAPTURE - HISTÓRIA
Motion Capture
•
FX Fighter, 1995, primeiro jogo a utilizar a captura de movimentos
MOTION CAPTURE
TIPOS DE SISTEMAS
MOTION CAPTURE – TIPOS DE SISTEMAS
Tipos de sistemas
• Existem vários tipos de dispositivos que podem ser
utilizados para adquirir os dados:
• Magnéticos/Acústicos
• Mecânicos (exo-esqueletos)
• Ópticos
MOTION CAPTURE – TIPOS DE SISTEMAS
Motion-Capture digital
Magnéticos
• Acension Technologies' Flock of Birds
MOTION CAPTURE – TIPOS DE SISTEMAS
Tipos de sistemas
Magnético:
•
utilização de um campo magnético e receptores de pequeno porte para detectar a
posição relativa ao transmissor magnético
•
derivado dos sensores colocados nos capacetes dos pilotos de aviões militares e que
permitia controlar a posição da cabeça do piloto e orientação, sendo disponibilizado a
informação no visor montado no capacete
•
não é necessário pós-processamento para calcular as rotações - usado para aplicações
em tempo real
•
sujeito às interferências magnéticas e elétricas causadas por objectos metálicos e
eletrônicos no ambiente
MOTION CAPTURE – TIPOS DE SISTEMAS
Motion-Capture digital
Vantagens dos sistemas magnéticos:
•
é possivel obter posição e orientação sem pós-processamento
•
feedback instantâneo permite aplicações em tempo real
•
sensores de rastreamento não sofrem de oclusão de objetos não-metálicos
•
vários actores podem ser capturados simultaneamente com várias configurações.
•
sistemas magnéticos são menos caros do que os sistemas ópticos.
Desvantagens dos sistemas magnéticos:
•
sensores são propensos a interferências magnéticas e elétricas
•
baterias e fios para os sensores podem limitar a captura de movimentos dos actores
•
sensores magnéticos têm uma menor taxa de amostragem do que a maioria dos
sistemas ópticos.
•
dados dos sensores magnéticos tendem a ter "ruído"
•
configurações dos sensores são difíceis de alterar
•
área de captura são normalmente menores do que os sistemas ópticos
MOTION CAPTURE – TIPOS DE SISTEMAS
Motion-Capture digital
• Mecânicos (exo-esqueletos)
Gypsy4
cyberglove
MOTION CAPTURE – TIPOS DE SISTEMAS
Tipos de sistemas
Mecânicos:
•
dispositivo articulado que obtêm os vários ângulos dos membros de um actor,
constituído por varetas rectas e potenciómetros.
•
tempo real, relativamente barato, sem oclusão, livre de interferências magnéticas
ou eléctricas e altamente portátil.
•
não medem a posição global muito bem
MOTION CAPTURE – TIPOS DE SISTEMAS
Motion-Capture digital
Vantagens dos sistemas mecânicos:
•
Tempo real
•
Relativamente barato
•
Sem oclusão
•
Sem interferências magnéticas ou elétricas
•
Portátil
•
Grande área de captura
Desvantagens dos sistemas mecânicos:
•
Sem translações globais
•
Restrições no movimento
•
Pode-se danificar facilmente
•
Configuração de sensores fixa
•
Baixa taxa de amostragem
MOTION CAPTURE – TIPOS DE SISTEMAS
Tipos de sistemas
Ópticos
• Vicon
MOTION CAPTURE – TIPOS DE SISTEMAS
Tipos de sistemas
Óptico:
•
através da utilização de câmaras de vídeos – imagens 2D – o movimento de um
actor é gravado digitalmente, e posteriormente mapeado a um modelo 3D
•
normalmente um computador controla a entrada de dados de um conjunto de
dispositivos digitais câmeras CCD (charge-coupled device)
•
associado à área de "computer vision"
•
utilização de múltiplas câmeras para identificar marcadores, através do uso de
técnicas de processamento de imagem e triangulação entre cameras sãogerados
objectos a três dimensões
•
grande parte dos sistemas ópticos monitoram marcadores com propriedades
reflectoras
•
a quantidade mínima necessária de câmeras para monitorizar um objeto é de 2
•
é necessário uma calibração da cameras para poderem reconhecer os
objectos/marcadores
•
é o método muito preciso para capturar certos movimentos
MOTION CAPTURE – TIPOS DE SISTEMAS
Motion-Capture digital
Vantagens dos sistemas ópticos:
• os dados resultantes dos sitemas ópticos são extremamente precisos na maioria
dos casos
• podem ser utilizados um número maior de marcadores
• é fácil alterar as configurações do marcador
• é possível obter aproximações de esqueletos internos usando grupos de
marcadores
• os executantes não são limitadas por cabos
• permitem uma maior área de desempenho do que a maioria dos outros sistemas
• apresentam uma maior frequência de captura, resultando em mais amostras por
segundo
Desvantagens dos sistemas ópticos:
• dados ópticos exigem bastante pós-processamento
• hardware é caro
• os sistemas ópticos não podem capturar informação quando os marcadores
estão ocluídos por um longo período de tempo
• a captura deve ser realizada num ambiente controlado
MOTION CAPTURE – TIPOS DE SISTEMAS
Tipos de sistemas
Ópticos
Motion Analysis
http://www.motionanalysis.com/
Filmes
Lord of the Rings
King Kong
Matrix
Final Fantasy
Jogos
NBA Live 2004
Grand Theft Auto III
Mortal Kombat 4 (Midway)
Vicon
•
•
•
http://www.vicon.com/
Filmes
– Polar Express
– Harry Potter and the Prisoner of
Azkaban
– The Hulk
– Spider Man
Jogos
– All-Star Baseball 2002
– Buffy the Vampire Slayer
– Everquest II
– NHL 2K3 (Mocap by Red Eye Studio)
MOTION CAPTURE
APLICAÇÕES
Motion Capture - Aplicações
•
•
•
•
Entretenimento
Desporto
Medicina
Militar
Motion Capture - Aplicações
• Simulação Treino/Aprendizagem (transporte / engenharia civil / coordenação de
equipas, ...)
• Estudo ergonómico: ambiente de trabalho / veículos
• Medicina: cirurgia / operações plásticas
• TV/ Web – Apresentadores virtuais
• Simulação individual/multidões – situações de emergência
• Indústria textil - Manequins
• Actores para cinema
• Ortopedia – Próteses / Reabilitação
• E-Learning, avatars, apoio personalizado
• Tratamento de fobias
• Cidades virtuais e arquitectura
• Jogos de computador
• Simulação/estudo de atletas – Desporto
• Aplicações militares – simulações de batalha, treino de equipas
• Aplicações interactivas com narrativa
• Simulação de ambientes industriais
• Simulação culturais
• Video-conferências
Motion Capture - Aplicações
Entretenimento
• A captura de movimentos é uma forma muito rápida e precisa de adquirir o
movimento humano para utilizar na animação digital, contudo nem sempre é a
melhor opção
• Outras técnicas de animação como "key-framing" pode ser mais eficiente / adequada
• Seja qual for o método que se pretende usar, é necessário verificar que é o método
mais eficaz para o projeto
Motion Capture - Aplicações
Entretenimento - Cinema - Personagens
•
[Battle Droids] “Stars Wars” - 1977 - 2005
Motion Capture - Aplicações
Entretenimento - Cinema - Personagens
•
[Gollum] “The Lord of the Rings” – 2001
Andy Serkis
Motion Capture - Aplicações
Entretenimento - Cinema - Personagens
•
[King Kong] “King Kong” – 2005 - Andy Serkis
Motion Capture - Aplicações
Entretenimento - Cinema - Personagens
•
[Davy Jones] “Pirates of Caribbean” – 2003, 2006, 2007
Motion Capture - Aplicações
Entretenimento - Cinema - Personagens
•
“Polar Express”- 2004 / “Monster House” - 2006
Motion Capture - Aplicações
Entretenimento - Cinema - Personagens
•
“Beowulf” - 2007
Motion Capture - Aplicações
Entretenimento - Jogos
•
Electronic Arts / Gremlin / id / RARE / Square / Konami / Namco
Motion Capture - Aplicações
Entretenimento - Jogos
•
Electronic Arts / Gremlin / id / RARE / Square / Konami / Namco
Motion Capture - Aplicações
Entretenimento - Jogos
•
Electronic Arts / Gremlin / id / RARE / Square / Konami / Namco
Motion Capture - Aplicações
Entretenimento - Jogos
•
Uncharted 2 - 2009
2
Motion Capture - Aplicações
Medicina
•
Análise da marcha / Desporto (Golf)
Vicon Nexus - Biomecânica
Motion Capture - Applications
• Projectos Artísticos – Dança / Teatro
Motion Capture - Applicações
Realidade Virtual
MOTION CAPTURE
CURIOSIDADES/FACTOS
Motion Capture - Factos
• Most Simultaneous Face, Body & Hand Capture in a single take 18 talent - Beowulf 2007 - Sony Pictures, Imageworks
• Most animal and human capture in a single take: 4 Horses, 12 talent - Beowulf - 2007
- Sony Pictures, Imageworks
Motion Capture - Factos
• First face, body and hand capture in a volume: Lamb and Company -1997
• Most painful motion ever captured: Jon Heder breaking his foot, mid-way through a
take on monster house - Sony Pictures, Imageworks
• Weirdest capture – Animal: Spider and Ant capture / Iguana / Elephant / Kangaroo /
Horse / Cat (large and small) / Dog
• Strangest thing captured: Sex - actual sex was captured for an interactive porn DVD a complete move tree was shot of all positions and transitions - shot naked
Motion Capture - Factos
• Most Cameras Ever used in one volume: 234 - Beowulf - 2007 - Sony Pictures,
Imageworks
• Largest capture studio : Electronic Arts Canada - 155,000 sq ft custom built for mocap
(47244 m2)
• http://www.motioncapturesociety.com/mcswiki/pmwiki.php?n=Main.MocapWorldR
ecords
Motion Capture
• Vicon – House of Moves
MOTION CAPTURE
MOTION-CAPTURE
EQUIPAMENTO
Sistema do Movlab
Sistema do Movlab
1 Mx Control
2 Mx Ultranet
8 Câmaras MX 13
2 Câmaras MX F-20
Sistema do Movlab
MX Control
MX Ultranet
Switch de rede
Câmaras
COMPUTER-VISION
•
•
Espectro da luz visível (400-700 nm - nanómetros)
Espectro infra-vermelhos (Near-Infrared: 700 nm-1400 nm)
Câmaras
Câmaras
Marcadores/Markers
Tamanho dos marcadores :
• 3 /9 /14 /39 mm
Relação do tamanho dos marcadores:
• Velocidade do movimento
• Proximidade das câmaras- resolução
Hardware - Calibração
39 mm Wand Spacer Bar
Ergo calibration frame