Realidade Aumentada em Ambientes Móveis e sua Aplicação na

Realidade Aumentada em Ambientes Móveis e sua
Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG
Carlos Fernandes
Meticube is a spin-off of the INI-GraphicsNet
15.MAI.2006
Conteúdo
>
Parte I - Realidade Aumentada
>
>
>
>
>
>
>
>
>
O que é ?
Motivações
Realidade Aumentada vs. Realidade Virtual
Sistema Típico
Tipos Display
Tecnologias de Tracking
Exemplos Aplicacionais
Alguns Problemas
Parte II – Projecto ULTRA
>
>
>
>
>
>
>
>
>
Conceito
Arquitectura
Runtime System
Authoring Tools
Hardware
Tele-Consultation
Status do projecto
Trabalho Futuro
Exploração Comercial
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
2
I - Realidade Aumentada - O que é ?
> Variação da Realidade Virtual
Convencional
> Combina objectos do mundo real
com objectos do mundo virtual
> Executada em tempo real e interactiva;
> Meio termo entre telepresença e
ambientes colaborativos
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
3
I - Realidade Aumentada - Motivações
> Ampliar a percepção do utilizador
> Mostrar ao utilizador informações que
não estão presentes na realidade e não
podem ser obtidas pelos sentidos
humanos
> Auxiliar os utilizadores a realizar tarefas
complexas
> Objectivo final - criar um sistema em
que o utilizador não consiga distinguir o
mundo real do virtualmente aumentado.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
4
I - Realidade Aumentada vs. Realidade Virtual
> Realidade Virtual: Imersão completa do
utilizador no Mundo Virtual.
> Realidade Aumentada: Imersão no
Mundo Real mas com objectos virtuais
embutidos nesse mundo real.
Exemplo Realidade Virtual
Espectro de Realidade Virtual
Exemplo Realidade Aumentada
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
5
I - Realidade Aumentada - Sistema Típico
>
Dispositivo de Captação de Imagem (Video Câmara).
>
Sistema de “Tracking”
>
obrigatoriamente do Dispositivo de Captação de Imagem.
>
eventualmente de outros elementos reais que se movimentem.
>
Sistema Gráfico para gerar objectos virtuais
>
Sistema que misture os mundos.
>
Dispositivo de Apresentação (Display)
>
Head-mounted displays (HMD) / Monitor / Projector.
Mundo Real
Sistema de “Tracking”
( Para alinhar a
Câmara Virtual
com a Câmara Real )
Imagem
Real
Imagem
Virtual
Objecto
Virtual
Câmara
Virtual
Sistema Gráfico
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
6
I - Realidade Aumentada – Tipo Display (1/4)
> Optical See-Trough AR: utiliza
capacetes de Realidade Virtual
(HMD) transparentes para apresentar
o ambiente virtual directamente sobre
o mundo real.
> Vantagens
> o mundo real é “realmente” observado
em tempo real e directamente pelo olho
humano.
> Desvantagens:
> é mais difícil controlar os desfasamentos
porque só o canal virtual é processado
electronicamente.
> Conclusão:
> aparentemente mais simples torna-se de
utilização mais limitada.
> Tem sido abandonado em favor do Video
See-through
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
7
I - Realidade Aumentada – Tipo Display (2/4)
> Video See-Trough AR: utiliza
capacetes de Realidade Virtual
(HMD) com câmaras de vídeo para
apresentar imagens combinadas do
mundo real e o ambiente virtual.
> Vantagens
> Podemos compensar o alinhamento e a
latência porque tanto o mundo real
(vídeo) como o virtual são processados
electronicamente.
> Desvantagens:
> O mundo real observado está sempre
atrasado em relação ao mundo real de
facto (pelo menos 30 ms).
> Conclusões:
> Aparentemente mais complexo é mais
controlável.
> Tem ganho preponderância sobre o
Optical See through
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
8
I - Realidade Aumentada – Tipo Display (3/4)
> Monitor Based AR: utiliza monitores
convencionais de computador
(desktop) ou portáteis
(Palm/PocketPC) para apresentar
imagens combinadas de vídeo e
ambientes virtuais.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
9
I - Realidade Aumentada – Tipo Display (4/4)
> Projector Based AR: utiliza os
objectos reais do mundo como
superfícies de projecção para o
ambiente virtual.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
10
I - Realidade Aumentada – Tecnologias de Tracking
> Tecnologias de Radiolocação
> Fraca precisão… mas aplicáveis em grandes espaços
> Tecnologias Magnéticas
> Objectos metálicos introduzem erros...(abandonada...)
> Tecnologias Ópticas
> Diodos sensíveis à luz - emissores luminosos no HMD - algoritmo
calcula deslocamentos.
> Metodologias Gráficas (algoritmos de processamento
imagem)
> Cálculos e transformações geométricas com base na imagem.
> Tecnologias Híbridas
> Tecnologia Óptica e Métodos Gráficos
> Tecnologias de radiolocação - Ópticas e Gráficas (para grandes
espaços)
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
11
I - Realidade Aumentada – Exemplos Aplicacionais
> Entretenimento
> Retiram o jogador da frente do
monitor, estimulando o contacto
com o mundo real e actividades
sociais.
> Exemplos: ARQuake, Human
Pacman
> GIS - Sistemas Navegação
Avançados
> As indicações (ex. mudança de
direcção, informações turisticas,
etc) podem ser mostrados
directamente no ambiente real
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
12
I - Realidade Aumentada – Vídeo 1 - jogo colaborativo AR
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
13
I - Realidade Aumentada – Exemplos Aplicacionais
> Medicina
> Cirurgia Guiada por imagem
> Ultrasons com AR
> Tratamento de doentes de
Parkinson (estimulação com AR)
> Manutenção/Reparação
> Os manuais dos equipamentos
podem ser substituidos por
manuais AR, em que o técnico é
guiado nas tarefas de reparação
com anotações e informações
pertinentes para a reparação em
causa.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
14
I - Realidade Aumentada – Vídeo 2 – Manutenção BMW
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
15
I - Realidade Aumentada – Exemplos Aplicacionais
> Património cultural
> Museus – permite consultar
informações adicionais sobre as
peças expostas
> Arqueologia – reconstruções
virtuais em ruínas, por forma a
auxiliar os visitantes, historiadores
e técnicos
> Desenvolvimento Produtos
> Permite efectuar testes de design e
ergonomia dos novos produtos (por
exemplo testar diferentes cores)
> Os resultados reais de um crashtest podem ser comparados com os
resultados esperados pela
simulação.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
16
I - Realidade Aumentada – Vídeo 3 – Templo Hera (Atenas)
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
17
I - Realidade Aumentada – Exemplos Aplicacionais
> Televisão
> Sistemas de Chroma-Keying, utilizado
por exemplo no jornal de noite da SIC.
> As pessoas frente às câmaras podem
mover-se livremente.
> Os cenários virtuais são facilmente
alteráveis tanto antes como durante a
produção.
> Militares
> Projecção de informação no cockpit de
um avião.
> Imagens virtuais dos alvos no capacete
do piloto.
> Imagens virtuais (captadas por satélite)
do “inimigo” localizado fora do raio de
visão no capacete do soldado
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
18
I - Realidade Aumentada – Vídeo 4 – Treino Militar
MilitaryTraining.avi
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
19
I - Realidade Aumentada – Alguns Problemas
> Ferramentas de Autoria complexas – dificulta a geração de
conteúdos AR
> Alto custo sistemas
> Portabilidade
> Problemas Técnicos:
> Desfasamento Temporal entre o mundo real e o objecto virtual (latency)
> Desfasamento Espacial entre o mundo real e o objecto virtual
(registration):
>
>
>
>
Distorção da câmera
Erros de Tracking
Parâmetros incorretos de visão (Calibração da câmera)
Erros dinâmicos
> Os objecto virtuais têm uma aparência demasiado simplista
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
20
II – Projecto ULTRA
> Projecto Europeu IST
>
>
>
>
IST-004734 ULTRA
Parceiro Líder Fraunhofer IGD
Duração 09/04 – 02/07
http://ist-ultra.org
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
21
II – Projecto ULTRA – Conceito
> O ULTRA prentende ser uma
ferramenta de apoio ao trabalhador
móvel na área da manutenção
industrial e serviços:
> Fornecendo um sistema AR ultra
portátil que funcione com:
> PDAs “off-the-shelf” de baixo custo
> Fornecendo dispositivo HMD
confortável e “utilizável no terreno”
> Fornecendo ferramentas que
permitam a criação de Manuais AR
com informações/demonstrações da
realização de tarefas complexas de
montagem e manutenção.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
22
II – Projecto ULTRA - Arquitectura
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
23
ULTRA runtime system
(aplicação PDA)
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
24
II – Projecto ULTRA – Runtime System: Componentes
>
Interaction
>
>
Controller
>
>
Gere as animações e interacções com a
informação virtual
Registration
>
>
>
Interpreta o Workflow, integração de todos os
componentes, sincronização de conteúdos,
autenticação do utilizador
Behavior
>
>
Interacção com o utilizador através de:
comandos de voz, butões hardware, caneta
Efectua o calculo da posição e orientação da
câmera (mundo real com o mundo virtual)
“Registration” manual ou automática através de
marcadores
Rendering
>
Klimt (biblioteca open-source 3D optimizada
para PDAs e telefones móveis, com uma API
semelhante ao OpenGL)
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
25
II – Projecto ULTRA – Runtime System
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
26
ULTRA Authoring Tools
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
27
II – Projecto ULTRA – 3D Authoring Tool
> 3D Authoring tool – Permite a geração de animações 3D
optimizadas a partir de modelos CAD
> A base de desenvolvimento é o Avalon – um sistema de AR
compatível com a tecnologia X3D/VRML
> Suporta novas funcionalidades através de plug-ins
> Utiliza um sistema inovador de templates parâmetrizados que
são compilados em run-time
> As animações 3D (em X3D/VRML) exportadas são altamente
optimizadas (os PDAs ainda são muito limitados gráficamente).
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
28
II – Projecto ULTRA – 3D Authoring Tool
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
29
II – Projecto ULTRA – Process Authoring Tool
> Process Authoring Tool: Ferramenta que permite a criação
de uma forma fácil e intuitiva dos processos de trabalho
(Workflow)
> O processo de workflow é composto por um conjunto de
Actividades (actividades AR ou actividades SMIL) e Pontos de
decisão
> Baseada no paradigma da linha de tempo (timeline)
> Output ficheiros PIF: Process Instruction Files, baseados em
XML
> Os ficheiros PIF resultantes serão processados pelo controller
do runtime system que invoca os sistemas de render
apropriados
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
30
II – Projecto ULTRA – Process Authoring Tool
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
31
ULTRA Hardware
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
32
II – Projecto ULTRA – HMD (Head Mounted Display)
> O parceiro do projecto Trivisio é
uma empresa fabricante deste
tipo de dispositivos, e está a
trabalhar num protótipo com as
seguintes características:
>
>
>
>
>
>
Monocular
Imersivo
Optical See-Trough
4:3 side ratio
Resolução SVGA 800x600
Câmara, microfone e
auscultadores integrados
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
33
II – Projecto ULTRA – Plataformas Móveis
> Para o 1º protótipo foram
escolhidos dois PocketPCs offthe-shelf
> Pocket Loox 720
> HP rx3715
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
34
ULTRA Tele-Consultation
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
35
II – Projecto ULTRA – Tele-Consultation
> Com esta ferramenta o técnico no terreno pode:
> Escolher um expert que o auxilie na realização da tarefa
> Comunicar em tempo real com o expert, utilizando VoiP e
realtime video
> Enviar anotações e imagens aumentadas para o expert
> Receber do expert manuais AR novos ou actualizados (PIFs)
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
36
II – Projecto ULTRA – Status do projecto
>
>
>
>
Primeiro ano do projecto completo
Integração do primeiro protótipo finalizado
Os Trials do sistema estão a ser iniciados
Trials
> Irão envolver pessoal de manutenção e serviços (em Portugal
iremos efectuar os Trials com a colaboração do CENTIMFE)
> Serão baseados em métricas quantitativas com o objectivo de
avaliar a performance do sistema (start-up time, memoria, CPU
usage, etc)
> Incluirão um conjunto de questionários para avaliação
qualitativa de cada subsistema
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
37
II – Projecto ULTRA - Trabalho Futuro
> O protótipo final do ULTRA incluirá:
>
>
>
>
Tracking de vídeo em tempo real (Live video tracking)
Suporte para múltiplos SOs (Windows, Symbian e Palm OS)
Suporte para múltiplas plataformas(PDAs e telefones móveis)
Implementação de funcionalidade sugeridas pelos participantes
nos trials e pelos beta-testers
> O objectivo: um protótipo funcional, performante,
extensível e que possa ser facilmente integrado nos
sistemas já em produção nas empresas.
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
38
II – Projecto ULTRA - Exploração Comercial (Exp. Plan)
> Exploração Comercial
> Será iniciada ainda no decorrer do projecto (2º semestre de
2006)
> Base: Exploitation Plan (em desenvolvimento)
> Mercados alvo principais:
>
>
>
>
>
Automóvel
Aeroespacial
Telecomunicações
Gestão de Edifícios
Manutenção Industrial
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
39
Obrigado pela Atenção!
(MaisUmVídeo?.mov)
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
40
Contactos
> METICUBE - Software Engineering
> www.meticube.com
> [email protected]
> Centro de Empresas de Taveiro
Estrada de Condeixa
3045-508 Coimbra
Portugal
> Tel. +351 239 980 041
> Fax. +351 239 981 379
> Mob.+351 962 406 400
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso
prático: ULTRA
Seminário ESTG
15.MAI.2006
41