faculdade do litoral sul paulista tecnologias multi-touch

FACULDADE DO LITORAL SUL PAULISTA
TECNOLOGIAS MULTI-TOUCH:
INTERAÇÃO EM INTERFACES DE RECONHECIMENTO GESTUAIS
WELLINGTON SILVA DA MOTA
PRAIA GRANDE
2010
WELLINGTON SILVA DA MOTA
TECNOLOGIAS MULTI-TOUCH:
INTERAÇÃO EM INTERFACES DE RECONHECIMENTO GESTUAIS
Trabalho de Conclusão de Curso para obtenção
de nota para o curso de Sistemas de Informação,
sob a orientação do profº Ricardo Reiff, a ser
entregue na FALS, Faculdade do Litoral Sul
Paulista.
FACULDADE DO LITORAL SUL PAULISTA
PRAIA GRANDE
2010
WELLINGTON SILVA DA MOTA
TECNOLOGIAS MULTI-TOUCH:
INTERAÇÃO EM INTERFACES DE RECONHECIMENTO GESTUAIS
Trabalho de Conclusão de Curso para obtenção
de nota para o curso de Sistemas de Informação,
sob a orientação do profº Ricardo Reiff, a ser
entregue na FALS, Faculdade do Litoral Sul
Paulista.
AVALIAÇÃO:_______________________________________________
____________________________________________________________
____________________________________________________________
____________________________________________________________
____________________________________________________________
____________________________________________________________
____________________________________________________________
PRAIA GRANDE
2010
AGRADECIMENTOS
Agradeço,
Ao nosso Deus, meus amigos e integrantes que participaram da idealização deste trabalho e
todos aqueles que acreditaram na realização deste trabalho, mesmo passando por diversos
obstáculos, tornaram possível a realização deste trabalho no seu devido momento. Agradeço
ainda a vários colegas, incentivadores, e a minha família por todo apoio e compreensão que
tornaram momentos difíceis em esperança para continuar a faculdade.
(Wellington)
RESUMO
O objetivo deste trabalho é mostrar as potencialidades da tecnologia
capaz de fazer o reconhecimento de gestos, a partir de imagens dinâmicas para interagir
com sistemas. Tendo como antecessoras diversas outras interfaces multi-touch.
O sistema de reconhecimento de gestos funciona basicamente com um
software, câmeras e sensores. A inovação está justamente na possibilidade de ter uma
interação humano-computador (IHC), a fim de interagir com sistemas "sem contato",
com a ajuda da câmera e sensores que captam os movimentos do usuário e transformam
em comandos, com a ajuda de softwares capazes de traduzir e converter em comandos
para o sistema. Este tipo de tecnologia possibilita o uso de uma interface multi-touch
sem a necessidade de nenhum hardware muito caro.
Ao longo deste trabalho é abordado um sistema em que os dados são
coletados através de um sistema de captura de imagens composta por câmeras e
sensores que captam os movimentos do usuário ou objetos à frente, através de um
sistema de leitura e reconhecimento, para a manipulação de programas e sistemas na
tela do computador.
O funcionamento se baseia na captação da imagem e segmentos de pixels
pertencentes às mãos ou partes do corpo que são separadas do fundo, com filtragem de
cores e texturas. As regiões detectadas são analisadas para determinar a posição e a
orientação do movimento que é capturado. A posição e outros atributos do usuário são
rastreados quadro a quadro para distinguir um movimento do usuário em relação ao
fundo e de outros objetos em movimento, e para extrair a informação do movimento
para o reconhecimento de gestos. Baseado na posição coletada, movimento e indícios de
postura são calculados para reconhecimento em um gesto significativo. Os movimentos
capturados são traduzidos em comandos para a máquina, oferecendo ao usuário uma
interação de forma direta sem uso de outro tipo de hardware, como teclado ou mouse. O
algoritmo de reconhecimento é baseado em contornos que possibilitam maior
velocidade. Os principais requisitos do sistema são demarcar as cores e dimensões
médias das imagens, registrar e converter em dados compreensíveis para a máquina, e
interpretar e transformar em comandos.
Existem várias empresas envolvidas no desenvolvimento destes sistemas,
onde se destacam empresas conceituadas como a Sony e Microsoft. No momento a
utilização deste sistema está mais voltada para entretenimento em vídeo games. Mas
desenvolvedores da tecnologia não descartam a possibilidade do uso em outros tipos de
tecnologias e serviços para sociedade, apresentando-as em feiras e eventos tecnológicos.
Uma das metas deste sistema é oferecer formas interativas e criativas
para todos os seus usuários, aumentando o conforto e comodidade no uso e manipulação
das máquinas passando uma interação humano-computador (IHC) mais próxima e fácil.
Palavras-chave: Touchless, multi-touch, interação humano-computador (IHC),
tecnologia, reconhecimento de gestos.
ABSTRACT
The objective is to show the potential of technology to make the gesture
recognition from dynamic images to interact with systems. Predecessors as having
several other multi-touch interfaces.
The gesture recognition system basically works with software, cameras
and sensors.Innovation is precisely the possibility of having a human-computer
interaction (HCI) in order to interact with systems "out of touch" with the help of the
camera and sensors that capture the user's movements and turn it into commands, with
the help ofsoftware that can translate and convert it into commands for the system. This
type of technology enables the use of a multi-touch interface without requiring any
expensive hardware.
Throughout this work is developed a system in which data are collected
through an image capture system consisting of cameras and sensors that capture the
user's movements or objects ahead, through a system of reading and recognition, for
handling programs and systems on the computer screen.
The operation is based on image capture and segments of pixels
belonging to the hands or body parts that are separated from the background with color
and texture filtering. The regions identified are analyzed to determine the position and
orientation of the movement that is captured. The position and other attributes of the
user are tracked frame by frame to distinguish a user's movement in relation to the
background and other moving objects, and to extract information from the movement
for recognition of gestures. Based on the collected position, movement and posture are
computed evidence for recognition in a significant gesture. The captured motions are
translated into commands for the machine, providing the user interaction directly,
without use of other hardware such as keyboard or mouse. The recognition algorithm is
based on guidelines that provide greater speed. The main system requirements are
demarcate the colors and the average size of files, record and convert the machineunderstandable data, and interpret and process commands.
There are several companies involved in developing these systems,
which features well known companies like Sony and Microsoft. At present the use of
this system is more geared for entertainment in video games. But developers of the
technology have not ruled out the possibility of using other types of technologies and
services for society, showing them at fairs and events in technology.
One goal would be to offer interactive and creative ways for all users,
increasing comfort and convenience in use and handling of machines passing a humancomputer interaction (HCI) closer and easier.
Keywords: Touchless, multi-touch human-computer interaction (HCI) technology,
gesture recognition.
LISTA DE FIGURAS
Figura 1 - 2004: TouchLight (Andy Wilson, Microsoft Research) ......................................... 16
Figura 2 - Modelo especificando as camadas de telas resistivas ............................................. 18
Figura 3 - Telas capacitivas comuns em IPhones .................................................................... 19
Figura 4 - Microsoft Surface ................................................................................................... 21
Figura 5 - Gestos e sinais da mão ............................................................................................ 23
Figura 6 - Captura e reconhecimento de gestos da mão .......................................................... 24
Figura 7 - Representação do espaço RGB ............................................................................... 28
Figura 8 - Representação do espaço de cores no modelo HSV e suas equações..................... 30
Figura 9 - Estruturas piramidais duplo-hexacônica e suas equações ...................................... 31
Figura 10 - Nintendo Wii-Remote........................................................................................... 37
Figura 11 - Sony Playstation Move ......................................................................................... 38
Figura 12 - Microsoft Kinect ................................................................................................... 39
Figura 13 - Feira Internacional de Tecnologia ........................................................................ 41
SUMÁRIO
INTRODUÇÃO ........................................................................................................................................ 13
1 TUDO COMEÇA NO MULTI-TOUCH .............................................................................................. 15
1.1 INTERFACES MULTI-TOUCH .................................................................................................... 15
1.2 HISTÓRIA DO MULTI-TOUCH ................................................................................................... 15
1.3 TIPOS E FUNCIONALIDADES DA APLICAÇÃO ...................................................................... 17
1.3.1 TELAS RESISTIVAS ................................................................................................................ 18
1.3.2 TELAS CAPACITIVAS ............................................................................................................. 19
1.3.3 TELAS DE ONDAS ACÚSTICAS ............................................................................................... 20
1.3.4 TELAS COM SISTEMAS DE MICRO CÂMERAS ......................................................................... 20
1.3.5 TELAS COM SISTEMAS DE ONDAS SONORAS ......................................................................... 22
2 SISTEMA DE RECONHECIMENTO DE GESTOS.......................................................................... 22
2.1 ANÁLISE E RECONHECIMENTO DE MÃO .............................................................................. 22
2.1.1 RASTREAMENTO E MEDIÇÕES DA TRAGETÓRIA DA MÃO...................................................... 24
2.1.2 ENSAIO DE GESTOS ............................................................................................................... 24
2.1.3 P2-DHMM (PSEUDO 2D HIDDEN MARKOV MODELS) .......................................................... 25
2.2 ANÁLISE E RECONHECIMENTO DE ROSTO E CABEÇA ....................................................... 25
2.2.1 TÉCNICAS DE RECONHECIMENTO DE FACE ........................................................................... 26
3 SISTEMA DE CORES BASEADO EM ESPAÇOS ............................................................................ 27
3.1 CORES ............................................................................................................................................ 27
3.2 ESPAÇOS DE CORES ................................................................................................................... 27
3.3 ESPAÇO RGB ................................................................................................................................ 28
3.4 ESPAÇO RGB NORMATIZADO .................................................................................................. 29
3.5 ESPAÇOS HSV, HSL E HSI........................................................................................................... 29
4 CONHECENDO O PROJETO TOUCHLESS .................................................................................... 32
4.1 INTERAÇÃO COM TOUCHLESS ................................................................................................ 32
4.2 DEFINIÇÃO DE TOUCHLESS ..................................................................................................... 32
4.3 O NASCIMENTO DA TECNOLOGIA TOUCHLESS .................................................................. 33
4.4 O IDEALIZADOR DO TOUCHLESS ............................................................................................ 34
4.5 UMA NOVA EXPERIÊNCIA MULTI-TOUCH ............................................................................ 35
5 AS EMPRESAS E O MERCADO CONSUMIDOR ............................................................................ 36
5.1 MERCADO DE SISTEMAS DE RECONHECIMENTO DE GESTOS ......................................... 36
5.2 NINTENDO .................................................................................................................................... 36
5.3 SONY.............................................................................................................................................. 37
5.4 MICROSOFT .................................................................................................................................. 39
5.5 FEIRAS DE TECNOLOGIA .......................................................................................................... 41
6 DESAFIOS E DIFICULDADES DA APLICAÇÃO ........................................................................... 42
6.1 APLICAÇÕES E TENDÊNCIAS ................................................................................................... 42
6.2 IMPLICAÇÕES NA PRIVACIDADE ............................................................................................ 43
6.3 DESAFIOS DAS INTERFACES GESTUAIS ................................................................................ 44
7 CONSIDERAÇÕES FINAIS ................................................................................................................ 46
BIBLIOGRÁFIA ...................................................................................................................................... 48
13
INTRODUÇÃO
O surgimento de novas tecnologias através de pesquisas está trazendo
inovações consideráveis sobre a forma de pensar referente à computação, atendendo as
necessidades dos usuários ou aprimorando sua interação. A tecnologia de interfaces de
reconhecimento de gestos permite embarcar em um novo conceito de dispositivos que
interage com o usuário de forma inovadora e interativa, fazendo com que o paradigma
da qual se necessita de um periférico para interagir com o computador seja renovado.
Os gestos são movimentos corporais expressivos dos humanos e que
possuem significados para nossa comunicação, realizados por dedos, mãos, braços,
cabeça, face ou corpo, com o objetivo de transmitir informações significativas. O
reconhecimento de gestos é uma aplicação da tecnologia no qual um conjunto de
algoritmos é capaz de processar e analisar uma série de movimentos, que são
convertidos em comandos para o computador.
O reconhecimento de gestos possui várias aplicações, como o
desenvolvimento de aplicações para o auxilio de deficientes auditivos, interação entre
crianças e o computador, reconhecimento de linguagens de sinais, navegação e
manipulação em ambientes virtuais, comunicação em vídeo conferência e detecção de
mentiras.
Gestos podem ser estáticos, dinâmicos ou ambos, como por exemplo, a
linguagem de sinais. O reconhecimento automático de gestos naturais contínuos requer
uma segmentação temporal, pois muitas vezes é preciso saber o início e o final de um
gesto em termos de frames do movimento. Um gesto pode ser influenciado por outro
precedente. Gestos são frequentemente específicos de cada cultura.
Normalmente o significado de um gesto depende de Informações de
espaço, de percurso, simbólicas e afetivas. Existem atualmente duas técnicas de
reconhecimento de gestos baseadas em dispositivos rastreadores como luvas, roupas,
cabos etc., e técnicas baseadas em visão que utilizam somente a câmera em geral, onde
lidam com propriedades de textura e cor enquanto analisam e processam um gesto.
Atualmente existem vários núcleos de desenvolvimento de tecnologias
novas envolvidas em interfaces de reconhecimento de gestos. O maior desafio esta no
seu aprimoramento, para o sistema fazer uma leitura melhor e com menos lentidão das
imagens capturadas.
14
Outro aspecto abordado é os que as empresas estão fazendo e explorando
para a criação de novas tecnologias multi-touch.
O objetivo principal é diminuir o uso de hardware e dar ao usuário a
possibilidade de uma interação maior com a máquina.
As interfaces de reconhecimento de gestos são tecnologias que oferecem
a todos os desenvolvedores e usuários, uma ferramenta melhor e mais usual na
comunicação entre humano e máquina.
Por fim será apresentado o que as empresas estão fazendo pela nova
tecnologia de reconhecimento de gestos, para um mercado de consumidores exigentes e
amantes de tecnologia.
15
1 TUDO COMEÇA NO MULTI-TOUCH
1.1 INTERFACES MULTI-TOUCH
Antes de começar a falar da tecnologia de interfaces de reconhecimento
de gestos, é necessário conhecer primeiro as origens desta nova interface que irá
revolucionar o conceito de Interação Homem e Máquina.
Uma das tecnologias que estão chamando mais a atenção de todos
atualmente é sem dúvida nenhuma o muti-touch ou touchscreen. Não precisa andar
muito para encontrar algum aparelho que possua a característica do controle através do
toque. Nota-se muito em aparelhos IPhones, notebooks, celulares e outras maravilhas
tecnológicas.
O Multi-touch (multi-toque) tem como proposta dar ao usuário uma
experiência nova na relação Homem e Máquina. De acordo com especialistas na área,
esta tecnologia mudaria e facilitaria em muito a interação com as máquinas, pois seria
deixado para trás dispositivos pouco intuitivos e bastante limitados, como o mouse e
teclado.
A diferença nesta nova interface, esta em podermos interagir com a
máquina com as mãos limpas. O dispositivo tem como base, uma tela sensível à
pressão que funciona também como filtro para as radiações do monitor e elimina
a eletricidade estática. As telas multi touch são capazes de reconhecer toques
simultâneos em diferentes pontos da superfície, sendo capazes de compreender gestos e
permitindo ao usuário que manipule objetos na tela. Isso permite que o usuário tenha
um controle acessível e cômodo por meio de uma combinação de hardware e software
1.2 HISTÓRIA DO MULTI-TOUCH
No início para ter uma interação com o computador, era necessário usar
comandos complicados como “C:/dir”, para listar diretórios e outros comandos que
resultavam as vezes em respostas difíceis de compreender. Passou um tempo e logo
veio interfaces mais agradáveis, com um novo dispositivo chamado “mouse”. Hoje
praticamente a maior parte da interação homem e computador fazem-se pelo mouse.
16
Este novo hardware, o mouse, ajudou a popularizar o PC e a incentivar
uma geração de desenvolvedores na área da informática. Isso proporcionou ao mercado
uma nova evolução de usabilidade e interatividade.
Ainda nos anos 70, surgiram os primeiros touch-screens que eram
chamadas de Soft Machines. A partir desta premissa, em 1982 foram desenvolvidas as
primeiras interfaces com multi-touch vistos principalmente na Universidade de Toronto,
no Canadá, e no Bell Labs, nos Estados Unidos.
Mas o mais interessante é o fato de muita gente imaginar que o
desenvolvimento deste software de interface foi responsabilidade da Microsoft. Sendo
que na verdade a pessoa que mais trabalhou em tudo isso foi Jeff Han, da NYU (New
York University) e um grupo de investigação académica Multi-Touch Interaction
Research.
Outro nome importante nesta saga de gênios da inovação está Bill
Buxton, especialista em Interfaces Homem e Máquina da Universidade
de
Toronto,
Canadá. Ele trabalhou em empresas como a Silicon Graphics, hoje conhecida como
Autodesk, especializada em estações gráficas que hoje nada mais é que a produtora dos
famosos programas Autocad e Studio Max 3D.
Figura 1 – TouchLight (Andy Wilson, Microsoft Research)
Fonte (http://www.billbuxton.com/touchLite.jpg, 2004)
Foi Bill Buxton responsável pela criação de vários grupos de pesquisa no
desenvolvimento de Interfaces Multi-touch. Há uma grande importância por trás desta
17
pessoa, pois ele foi responsável por toda a parte teórica da pesquisa, o que lhe rendeu
várias palestras sobre o assunto em comunidades e empresas pelo mundo.
Graças a ele e as pessoas envolvidas na divulgação de seu trabalho, o
projeto se espalhou no mundo com um código aberto e licenças do tipo GNU licence.
Isso gerou várias comunidades de desenvolvedores, no intuito de conhecer e aprimorar
o
projeto.
Houve
vários
colaboradores
importantes
no
desenvolvimento
software. Organizações e empresas bem sucedidas, como a NUI group, a Natural User
Interface e a agencia Natural Interaction, são uns dos exemplos de trabalho de base open
source. Não podemos deixar de citar empresas que trabalham sem fins
lucrativos, como a MTC-MultiTouchConsole ou
a Ideum
que
procuram
por
conhecimento de tecnologias inovadoras.
Hoje existem muitas empresas envolvidas, como a Microsoft que
desenvolveu um sistema operacional touch (Windows 7), a Apple e seus IPhones, e
empresas de celulares como a Nokia. Todas elas desenvolvem equipamentos e
aplicações multi-touch para fins experimentais e comerciais.
1.3 TIPOS E FUNCIONALIDADES DA APLICAÇÃO
Como visto anteriormente, as tecnologias multi-touch são basicamente
telas sensíveis ao toque. O que proporciona uma interação com objetos na tela de um
aparelho ou um computador como se estivesse tocando neles.
O funcionamento s baseia na combinação de hardware e software, na
qual utiliza a sensibilidade do calor, a pressão dos dedos, luz infravermelho, captura
óptica e captura de sombra.
Esta tecnologia não trabalha apenas com sensores na tela, mas também
com programas e interfaces que codificam e interpretam as informações passadas pelo o
usuário. Com isso são capazes de interpretar diversos toques em diferentes pontos de
uma tela simultaneamente, transformando-os em comandos. É uma solução que permite
fazer zoom, rotacionar objetos, arrastar objetos, e dependendo da pressão dos dedos
gerarem uma função específica.
Atualmente, existem vários tipos de Multi touch no mercado e que ainda
está em desenvolvimento. Serão apresentadas aqui as principais tecnologias de controle
18
através do toque. São quatro tipos: Telas Resistivas, Telas Capacitivas, Ondas Acústicas
Superficiais e Microsoft Surface que utiliza micro câmeras.
1.3.1 TELAS RESISTIVAS
Esta tecnologia é muito popular, e é vista em alguns aparelhos, como o
Nintendo DS, PDA’s, celulares e em alguns caixas de autoatendimento. Basicamente
funcionam com a pressão na tela através dos dedos ou qualquer outro objeto, como
canetas específicas, que posteriormente gera uma informação que é interpretada e
traduzida para algum comando específico.
O hardware é composto por duas placas bem finas. Uma placa é
constituída de um metal e a outra é de vidro, onde são separadas por um tipo de
afastador. Quando a tela é pressionada, faz com que as duas placas se encostem fazendo
com que a corrente elétrica que passa entre elas seja anulada. Estas mudanças no campo
elétrico geram coordenada que são enviadas ao computador, que interpreta e traduz a
informação do toque através de um programa específico que converte o dado em algum
comando na tela.
Figura 2 – Modelo especificando as camadas de telas resistivas
Fonte (http://www.wikinoticia.com/images/gizmologia/gizmologia.com.wpcontent.uploads.2009.11.pantalla-capacitiva.jpg, 2009)
19
Infelizmente, este tipo de tecnologia tem um ponto fraco, que é a
utilização da placa metálica. Apesar de ser fina, esta placa nunca permitirá que passe
uma luminosidade superior a 75%, que é uma perda a ser estudada e corrigida. Já o
ponto forte fica pela facilidade de fabricação e utilização, que não tem contra
indicações, podendo ser tocada por qualquer objeto que possa fazer pressão na tela.
1.3.2 TELAS CAPACITIVAS
Esta tecnologia é muito utilizada pela APPLE em seus IPhones e
ITouchs. O funcionamento desta tecnologia se baseia em uma camada capacitiva, que
nada mais é que uma camada carregada de eletricidade posicionada na tela do monitor.
Quando a tela do aparelho é pressionada pelo dedo do usuário, a tela corresponde com
um pequeno choque imperceptível que é transmitida para o dedo. Esta descarga de
eletricidade gerada por aquele ponto é reconhecida pelo aparelho que interpreta e
calcula as coordenadas para que o programa faça a tradução e converta em um comando
específico.
Figura 3 – Telas capacitivas comuns em IPhones
Fonte (http://images.tweaktown.com/imagebank/News_Iphone-1776.jpg, 2009)
A vantagem de usar este tipo de tecnologia, esta na possibilidade de
utilizar apenas uma camada metálica bem fina sobre a tela, o que permite uma passagem
20
de luz maior, chegando até 90% de luminosidade. Já a desvantagem, está em sua
fabricação que procura uma qualidade maior, que por sua vez torna o aparelho mais
caro.
1.3.3 TELAS ONDAS ACÚSTICAS
Esta é sem dúvida a melhor tecnologia Multi-touch que existe, pois ela
permite que passe 100% da luminosidade na tela. A explicação para isso seria o uso de
transdutores em cada lado da tela, sendo um transdutor receptor de um transdutor
transmissor em ambos os lados da tela, cobrindo toda a superfície. Neste caso este
dispositivo não necessita de nenhuma placa metálica em seu monitor o que ajuda em
muito na passagem de luz na tela.
O funcionamento se faz através de ondas, que são transmitidas quando é
efetuado o toque na tela. Ao toque transdutores transmissores envia uma onda para o
transdutor receptor. Os transdutores receptores percebem a interrupção na tela e
repassam a informação com as coordenadas geradas pelo toque, traduzindo em um
comando.
1.3.4 TELAS COM SISTEMAS DE MICRO CÂMERAS
A dona desta tecnologia, a Microsoft, não quis ficar de fora deste
mercado e criou o Surface. Este aparelho é baseado em um sistema de câmeras
espalhadas em uma tela grande que capturam movimentos e posicionamento de objetos.
Estas câmeras ficam localizadas nas bordas da tela, sendo num total de cinco câmeras.
Além de poder perceber o toque, este sistema é capaz identificar algum objeto que é
depositado sobre a tela. Isso possibilita que várias mãos possam fazer atividades na tela,
podendo manipular fotos e vídeos simultaneamente.
21
Figura 4 – Microsoft Surface
Fonte (http://www.geekologie.com/2007/05/30/microsoft-surface.jpg, 2008)
Para incrementar mais ainda o Surface, a tecnologia também conta com
sistemas Bluetooth e Wi-Fi. Com isso é possível se conectar com qualquer aparelho
habilitado, quando colocado sobre a tela Surface, como câmeras fotográficas e
aparelhos móveis. Isso permite uma interação tanto com o dispositivo posto a mesa
Surface quanto ao seu conteúdo, sendo manipuladas através de comandos ao toque da
tela.
A Microsoft também tornou possível a integração de seu sistema
operacional Windows 7 com o Surface. Graças a esta possibilidade muitas ideias estão
surgindo, como a criação de um sistema seguro para identificação de cartões de crédito
com chip, para possíveis transações bancárias.
Diferente das outras interfaces, o Surface possibilita uma interação maior
com o computador, possibilitando uma interatividade maior e simultânea com outros
aparelhos. Com este aparelho a Microsoft demonstra vontade em criar e aperfeiçoar as
tecnologias Multi-touch, não se prendendo apenas no controle ao toque, como será visto
mais adiante em interfaces de reconhecimento de gestos, mas nas possibilidades de
interação que possam surgir dela. Porém, também nota-se que cada vez mais será
necessário o uso de hardwares e softwares de traduções específicas e caras.
22
1.3.5 TELAS COM SISTEMAS DE ONDAS SONORAS
O mercado de interfaces Multi-touch está tão diversificado e em rápida
expansão graças a empresas com pensamentos inovadores, como é o caso da Sensitive
Object especialista na área de interfaces homem e máquina. A nova tecnologia que eles
desenvolveram foi o que chamam de Virtual Acoustic Matrix em plataforma chamada
Anywhere Multi-touch.
Esta tecnologia trabalha com ondas sonoras. Quando o usuário toca na
tela faz com que o dispositivo produza um padrão de ondas, podendo se medir o som do
toque em toda a superfície. Isso gera uma assinatura acústica do exato local tocado. A
tecnologia possui e um painel de vidro sensores acústicos embutidos que são capazes de
capturar as vibrações de áudio induzidas pelo toque na tela. Com isso o sistema
reconhece e traduz as coordenadas através de uma assimilação da assinatura acústica
captada, que em seguida converte-se em um comando associado ao toque.
De acordo com a empresa, a tecnologia pode ser aplicada em qualquer
superfície sólida, como vidro, madeira, plástico, metal, etc. Além desta grande
vantagem, o material a ser utilizado não precisa de tratamento podendo manter suas
características naturais sem alteração, cotando assim com uma alta resistência a
arranhões. Outra vantagem esta em ser altamente precisa com uma taxa de erro menor
que 1 %.
2 SISTEMA DE RECONHECIMENTO DE GESTOS
2.1 ANÁLISE E RECONHECIMENTO DE MÃO
A seguir será apresentado o funcionamento básico de um sistema de
reconhecimento de gestos de mão. Este tipo de modelo é utilizado por muitos
desenvolvedores atuais que trabalham com interfaces de reconhecimento gestual.
23
Figura 5 – Gestos e sinais da mão
Fonte (http://thumbs.dreamstime.com/thumb_253/1206885821ImytkW.jpg, 2009)
Basicamente, este tipo de sistema é dividido em três módulos:
- Rastreamento de mão em tempo real;
- Ensaio de gestos;
- Análise e reconhecimento de gestos usando o Modelo de Markov
Oculto.
O Modelo de Markov Oculto baseia-se em um conjunto de estados
ligados por transições. O sistema inicia com um estado inicial padrão. Em seguida, cada
passo de tempo é designada uma nova transição com um novo estado, que gera um
símbolo de saída neste estado. Ambas as escolhas de transição e do símbolo de saída
são randômicos, orientados e organizados por cálculos de probabilidade.
Para isso é proposto um algoritmo de reconhecimento que são dispostas
em várias metas. É necessária a escolha do tamanho da área de busca assim como sua
localização durante a visualização da mão. Rastrear e extrair informações da sequência
de imagens capturadas da mão. Analisar a imagem extraída da mão utilizando o método
de rastreamento P2-DHMM (Pseudo 2-D Hidden Markov Models), que tem a função de
reconhecer e passar a probabilidade máxima do gesto.
24
Figura 6 – Captura e reconhecimento de gestos da mão
Fonte (http://thumbs.dreamstime.com/thumb_973/1566858455Capture.jpg, 2009)
Este sistema verifica as áreas da pele humana e converte a imagem
capturada em valores binários para que a máquina possa interpretar. Na localização da
mão selecionada é aplicada operadores morfológicos. Isso corresponde em uma análise
de partes da imagem capturada, onde temos o centro da mão que é dividida em
momentos de uma probabilidade 2D, a orientação da mão de acordo com o seu maior
eixo, e seu comprimento e largura.
2.1.1 Rastreamento e Medições da Trajetória da Mão
Para realizar esta metodologia, é necessária fazer um filtro na localização
de regiões da mão, rastreando frame a frame o ponto inicial da busca e a cor da pele. O
uso do filtro resulta em uma busca mais limpa e rápida da imagem da mão. Com isso, os
resultados filtrados da mão são usados como ponto inicial para a análise do frame
seguinte, realizando apenas a busca de cor de pele.
Para completar, o sistema fará detecção do centro da mão comparando a
localização encontrada para definir trajetória e suas medidas.
2.1.2 Ensaio de Gestos
O P2-DHMM (Pseudo 2-D Hidden Markov Models) é muito similar as
redes neurais, onde podem ser treinadas por uma quantidade de amostras de ensaios.
Isso é notado quando cada P2-DHMM é treinado pelos gestos da mão guardados na
base de dados, onde são extraídas conjunto de ensaios de cada gesto.
Nesta etapa são selecionadas 8 de 15 imagens de ensaio em condições
diferentes cada uma.
25
2.1.3 P2-DHMM (Pseudo 2-D Hidden Markov Models)
O P2-DHMM possuem cinco super-estados, onde contem outros estados
que modelam uma sequencia de filas na imagem.
Um super-estado é definido por uma topologia de modelo linear de
transições próprias ou transições para super-estados seguintes na fila. Cada super-estado
possui um HMM (Hidden Markov Models ou Método de Maskov Oculto), que organiza
cada fila, onde tem suas sequencias de estados independentes dos estados das filas
vizinhas.
Em seguida é fundamental calcular a probabilidade das filas de imagens
individuais que os HMMs geram, onde são designadas aos super-estados do P2DHMMs. E finalmente é criada uma associação de gestos capturados pré-definidos
pelos treinamentos e super-estados, para definição de probabilidades.
2.2 ANÁLISE E RECONHECIMENTO DE ROSTO E CABEÇA
Já no sistema de rastreamento de rosto e cabeça é importante uma
detecção e identificação eficaz de determinada cena. Para isso, existem pontos
relevantes que devem ser bem analisados, como a variedade de tamanho, forma, textura
e cor. Para tanto é necessário uma busca na face para poder identificar posições
independentes, como escalas, orientações, poses e iluminação, método este usado em
diversas aplicações.
Um dos problemas do reconhecimento facial é a complexidade de dados
que a imagem do rosto gera ao banco de dados. Para resolver isso deixamos de usar o
método clássico de reconhecimento frontal, e adotamos o reconhecimento de perfis que
reduz a complexidade computacional à base de dados.
Neste sistema são utilizados métodos automatizados de Modelos
matemáticos flexíveis (Analítico), Padrões de nível cinza (Holístico) e Recuperação de
imagens baseada em conteúdo.
Existem regiões no rosto que devem ser bem analisados. As
características faciais permanentes (nariz, lábios, sobrancelha, etc.) e temporárias
(sulcos, rugas, etc.). Deve ser feita a analise da variação entre duas imagens faciais,
tanto o reconhecimento de faces como o reconhecimento de expressões. E finalmente a
26
analise de expressões faciais, como sorriso, choro, e a analise de expressões
prototipadas e não prototipadas.
2.2.1 Técnicas de Reconhecimento de Face
A seguir serão apresentadas várias técnicas e métodos para a análise e
processamento do reconhecimento facial em todo o seu conjunto.
No Método de Maskov Oculto (HMM) é usado uma janela que se
movimenta do topo até o fundo da imagem de rosto em um padrão 2D, para buscar
valores de brilho de vetor 1D para o HMM.
Já no PCA (Análise de Componentes Principais) é utilizado o Método
Eigenface que faz uma representação estatística das regiões do rosto a fim de encontrar
os principais componentes de um conjunto de imagens da face.
Há também a FACS (Sistema de Códigos de Ações Faciais) que tem o
objetivo de ajudar os desenvolvedores a detectar mudanças faciais ocasionadas por
contrações musculares. Este sistema possui um conjunto de regras linguísticas capazes
de detectar e analisar mudanças do rosto visualmente detectáveis, em expressões faciais
decompostas em unidades de ações especificas.
O modelo Snakes (Modelos de Contorno) baseia-se na extração de partes
do rosto como os lábios, orelhas e olhos. Os valores das características são obtidos
através de uma curva definida matematicamente por dois ou mais pontos de controle,
que as levam para características como retas e arestas.
A Extração de Características Faciais se baseia em um método em que é
feita a extração de características faciais, muito parecidas com o modelo usado no
reconhecimento de expressões, porém tem o intuito de fazer a analise e comparação do
Processamento de imagens x Projeção geométrica.
Na Filtragem de Gabor faz se a interpretação na forma e textura da face
usando áreas receptivas das células da visão primária do córtex. Isso permite uma
analise melhor da estrutura espacial da frequência da imagem do rosto em relação ao
espaço.
No Fluxo Óptico é possível fazer um estudo da movimentação de um
objeto e sua intensidade de mudanças em uma sequência de imagens. Este método é
bem usado em objetos individuais e lentos no seu movimento. Neste processo não há a
necessidade de traçar pontos na sequencia de imagens.
27
A Modelagem da Cor de Pele trabalha com a extração da cor de pele,
onde se utiliza um método de transformação multi-escalar para segmentar as imagens do
rosto em regiões homogêneas, em várias escalas. As regiões são agrupadas em todos os
tipos de escalas, tanto grosseiras como refinadas. Depois disso, é feito um pósprocessamento para inserir em sua verificação cores como olhos e cabelo.
E para finalizar existe a ferramenta de computação Connectionist
Approach, que utilizam Redes Neurais Artificiais e Algoritmos Genéticos. Os
Algoritmos Genéticos tem a função de classificar e distinguir padrões faciais e
reconhecer diversas emoções extraídas do rosto.
3 SISTEMA DE CORES BASEADO EM ESPAÇOS
3.1 CORES
O estudo das cores é uma parte fundamental para podermos fazer o
reconhecimento e a detecção de espaços de cores da pele. Sabe-se que as cores são
identificadas pelo olho humano através de uma percepção visual criada por um feixe de
fótons sobre a retina. Em seguida o nervo óptico processa a informação recebida e
converte em impressões para o sistema nervoso.
Este tipo de conhecimento é importante para compreender o
funcionamento básico de sistemas de reconhecimento de gestos. Pois é com este tipo de
metodologia que consegue obter informações de transformações entre espaços de cores
e suas representações gráficas. A detecção de pele é usada no auxilio da segmentação de
imagens visando a separação da região analisada do resto da imagem. Para obter o
resultado desta analise é necessário conhecer os espaços de cores desta imagem.
3.2 ESPAÇOS DE CORES
De acordo com Foley, um espaço de cores é um sistema tridimensional
de coordenadas, onde cada eixo refere-se a uma cor primária. A quantidade de cor
primária necessária para reproduzir uma determinada cor é atribuída a um valor sobre o
eixo correspondente.
A luminância é o componente da imagem que só contem as informações
de brilho (tons de cinza) de uma imagem, ou seja, os valores entre o preto e o branco.
28
Pode-se dizer que a luminância é o principal componente de uma imagem, que se
distingue por sua nitidez e qualidade.
A crominância é o componente que agrega as cores a uma imagem. A
croma de uma imagem confere o colorido, sem acrescentar, entretanto maior riqueza
nos detalhes que já devem estar representados pela luminância. O sinal de croma possui
menos largura de faixa do que o sinal de luminãncia.
Colorimetria, computação gráfica e transmissão de sinal de vídeo deram
origem a muitos espaços de cor com diferentes propriedades. Uma grande variedade
deles foi aplicada ao problema de modelagem de cor de pele, inclusive muitas técnicas
de visão computacional utilizam espaços de cores crominantes para a detecção de pele
por sua separação bem definida entre crominância e luminância.
3.3 ESPAÇO RGB
Um dos espaços de cores utilizados em imagens é o espaço RGB. Este é
o modelo de cores utilizado pelos monitores de computador, que possuem três canhões
de luz, um para cada componente. É composto por três cores primárias Red (vermelho),
Green (verde) e Blue (azul) que são misturadas para produzir uma cor resultante. É um
modelo de cores aditivo, isto é, as cores são formadas pela adição das cores primárias e
a soma das três cores resulta no branco. Para se obter uma determinada cor neste
sistema, é usado um intervalo pré-especificado, normalmente de 0 a 255, sendo que a
cor preta é obtida pela combinação (0,0,0), a cor branca (255,255,255) ou o azul
(0,0,255). A representação do espaço de cores RGB pode ser ilustrada como um cubo
RGB, onde nas extremidades (vértices) estão suas cores básicas, mais as secundárias, a
preta e branca.
Figura 7 – Representação do espaço RGB
Fonte (http://computacaografica.ic.uff.br/cuboRGB.gif, 2006)
29
Cada pixel tem seu próprio valor RGB representado por três bytes, um
para cada componente de cor. Esses bytes são todos empacotados em um inteiro. Uma
vez que cada componente é armazenado como um byte, cada um pode representar 256
diferentes intensidades da cor correspondente. Isso significa que se pode trabalhar com
mais de 16,7 milhões de cores. Isso é frequentemente referenciado como cores reais
(truecolor). O modelo RGB possui uma desvantagem muito forte: ele não é bom para
definição de cores como será mostrado a seguir.
3.4 ESPAÇO RGB NORMATIZADO
O RGB normatizado é uma representação facilmente obtida através dos
valores RGB após um procedimento de normatização. Os valores ‘r’, ‘g’ e ‘b’ são
determinados pelas equações a seguir.
Como a soma dos três componentes normatizados é conhecida (R + G +
B = 1), o terceiro componente ‘b’ não mantém nenhuma informação significativa, e
pode ser omitido com o intuito de reduzir a dimensão espacial. Os componentes
restantes são chamados de ‘cores puras’, pois a normatização diminui a dependência dos
componentes ‘r’ e ‘g’ ao brilho do espaço de cores RGB. Uma propriedade notável
deste espaço de cores é que, quando ignorados a luz do ambiente em superfícies opacas,
o RGB normatizado é invariante às mudanças de orientação das fontes de luz na
superfície. Esta característica em conjunto com a simplicidade na transformação ajuda
este espaço de cores a ganhar popularidade entre os pesquisadores.
3.5 ESPAÇOS HSV, HSL E HSI
Espaços baseados em matriz e saturação (Hue e Saturation) foram
apresentados quando havia uma necessidade de se especificar as propriedades das cores
numericamente. Esses espaços mostram as cores com valores intuitivos, baseados na
30
ideia de matiz, saturação e valor. O matiz é relacionado à cor em si e define a cor
dominante de uma área.
A saturação mede a pureza da cor da área, onde se caracteriza pela
diferença da cor rosa da cor vermelha. Enquanto a cor vermelha é uma cor pura, a cor
rosa é um vermelho com alguma quantidade de cor branca. A intensidade, brilho ou
valor é relacionado à luminância da cor. Diferencia o claro do escuro em cada cor de
matiz.
O fato de os componentes serem intuitivos e de existir uma discriminação
entre as propriedades da luminância e da crominância faz esse espaço de cores ser
popular nos trabalhos de segmentação da cor da pele. Porém, existem fortes
características não desejáveis destes espaços de cores, incluindo descontinuidade da
matiz e o custo computacional no tratamento do brilho (luminância, valor ou
intensidade). Essas características são um fator agravante quando tentamos realizar as
técnicas de visão computacional para detecção de pele.
O espaço de cores HSV (Hue, Saturation, Value), trabalha-se com um
cone com base hexagonal, no qual um ângulo ‘H’ com respeito ao eixo horizontal
determina a matiz de cor desejada, a distância perpendicular do centro até a borda
determina a saturação ‘S‘ e a distância vertical, determina a luminosidade ‘V’.
Figura 8 – Representação do espaço de cores no modelo HSV e suas equações
Fonte (http://www6.ufrgs.br/engcart/PDASR/imagem8.JPG, 2006)
31
Existem ainda as representações piramidais duplo-hexacônica e duplotetraédrica referente aos espaços de atributos HSL (Hue Saturation Lightness) e HSI
(Hue Saturation Intensity). Assim como o HSV, essas duas representações derivam do
cubo referente ao espaço de cores RGB a partir de algumas transformações aplicadas
em suas faces e arestas. Apesar das diferenças geométricas dessas três representações do
espaço de atributos, não há significativa diferença entre os atributos matiz e saturação
obtidos através dos métodos citados.
Figura 9 – Estruturas piramidais duplo-hexacônica e suas equações
Fonte (http://www6.ufrgs.br/engcart/PDASR/imagem9.JPG, 2006)
O espaço HSL é uma das possíveis variantes do HSV, em que os
componentes de saturação e luminância são calculados de maneira um pouco diferente
do modelo HSI.
32
4 CONHECENDO O PROJETO TOUCHLESS
4.1 INTERAÇÃO COM TOUCHLESS
Imagine poder usar um computador sem a necessidade de ter que utilizar
um mouse ou um teclado. É isso que o projeto Touchless proporciona ao usuário. Uma
forma diferente e intuitiva de lidar com a máquina. Como o próprio nome diz “sem
toque” é uma interface que permite o usuário de um modo intuitivo controlar e interagir
com a máquina sem a necessidade de usar um dispositivo ou toque.
O funcionamento dele é simples e barata que muitos outros diapositivos
Multi-touch que conhecemos. Geralmente faz-se uso de câmeras integradas, e às vezes
infravermelhas, que detectam os movimentos e a distância dos gestos.
Podem encontrar outro termo utilizado por outros desenvolvedores, mas
que apresenta a mesma ideia, que são as Interfaces de Reconhecimento Gestual, que se
trata de dispositivos eletrônicos que tem como objetivo a captura de imagens ou gestos,
como um corpo ou máquina, em um determinado espaço. A fim de produzir como
resposta eventos sonoros e visuais ao usuário.
4.2 DEFINIÇÃO DE TOUCHLESS
A tecnologia touch consiste na criação de uma matriz sobre uma tela, de
forma que estímulos tais como o toque de um dedo, ou de uma caneta, ou até mesmo a
captura de imagem e vídeo, possam ser detectados e localizados por suas coordenadas x
e y.
O Touchless é um SDK (Software Development Kit) que permite aos
usuários criar e experimentar aplicações multi-touch. O Touchless começou com um
projeto colegial de Mike Wasserman da Universidade de Columbia. Isso mesmo, como
diz o próprio nome, você pode interagir com a tela do computador sem nem mesmo
tocá-la, somente com o movimento dos dedos a certa distância.
Mike apresentou o projeto na Microsoft Office Labs Productivity
Science Fair, a Office Labs se apaixonou por ele, e o Touchless foi escolhido como um
Community Project. No software incluem um demo de aplicação extensível para
apresentar um conjunto limitado de capacidades multi-toque, mas, principalmente, foi
33
entregue um SDK para permitir aos usuários construir sua própria aplicação multitoque.
O Touchless é um projeto lançado livre e de código aberto para o mundo
sob a Microsoft Public License (Ms-PL) no CodePlex. O objetivo esta em conduzir e
incentivar a participação da comunidade de desenvolvedores no uso do SDK, uma vez
que o criador continua a desenvolver.
O Touchless SDK pode ser utilizado em arquivos. NET e jogos XNA, e
ainda tem o apoio de comunidades e fóruns na internet, contribuindo com códigosfonte, aprimorando mais ainda o sistema.
4.3 O NASCIMENTO DA TECNOLOGIA TOUCHLESS
O desenvolvimento do Touchless manipula um complexo conjunto de
algoritmos. Na busca para permitir a utilização dessa técnica para leigos, surgiram
plataformas de desenvolvimento. Um exemplo recente disso é o Touchless SDK
da Microsoft para o .NET Framework .
Touchless é um SDK que permite aos usuários criar e experimentar
aplicações multi-touch. O Touchless começou com um projeto colegial de Mike
Wasserman da Universidade de Columbia. A ideia principal era oferecer aos usuários
uma nova maneira de experimentar as capacidades de multi-toque de forma barata, sem
a necessidade de hardware ou software caro. Tudo que o usuário precisaria seria de uma
câmera, que capturaria marcadores coloridos definidos pelo usuário.
Mike apresentou o projeto na Microsoft Office Labs Productivity Science
Fair, a Office Labs se apaixonou por ele, e o Touchless foi escolhido como um
Community Project. A comunidade disponibiliza um SDK para permitir aos usuários
construir sua própria aplicação multi- toque. Ele é lançado livre e de código aberto para
o mundo sob a Microsoft Public License (Ms-PL) no site CodePlex.
Os objetivos da Microsoft é conduzir a participação da comunidade no
uso do SDK, uma vez que continue a desenvolver nas plataformas. NET e jogos XNA
contribuindo para o aprimoramento do código-fonte.
34
4.4 O IDEALIZADOR DO TOUCHLESS
A seguir conhecerá um profissional em TI, que demonstrou além de
criatividade e talento, amor ao seu trabalho. Fundamental para o surgimento de grandes
ideias.
Este é Mike Wasserman, criador de um programa de código simples que
utiliza apenas um simples webcam, para criar uma interação inovadora entre usuário e
máquina. A sua jornada até o lançamento do Touchless começa a partir da sua
graduação na Universidade de Columbia, no fim de 2007.
Começou com um projeto de criar experiências multi-touch de uma
forma nova e barata, sem a necessidade de hardwares e softwares caros. O intuito era
utilizar apenas uma câmera que acompanharia os marcadores de cor definida pelo
usuário.
Logo em seguida Mike apresentou o seu projeto na Microsoft Office
Labs Productivity Science Fair (Feira de Ciência Produtividade da Microsoft Office
Labs). O Office Labs se apaixonou pelo sistema Touchless, sendo escolhido com o
melhor projeto da feira.
Em 2008, a Microsoft apoiou no desenvolvimento do projeto,
defendendo que o código deveria ser livre e compartilhado com outros desenvolvedores.
Graças ao programa simples do Touchless, Mike ingressou rapidamente na Microsoft,
se tornando um dos desenvolvedores. Durante o dia Mike costuma adiciona
funcionalidades ou faz correções no Microsoft Office. Já nos tempos livres ele volta a
trabalhar nas suas paixões permanente de interação humano-computador, realidade
aumentada, e visão computacional. Além disso, apesar do sucesso crescente e a adoção
de tecnologia multi-touch (pense MS Surface e do IPhone), há ainda um enorme
potencial para alcançar uma maior base de usuários domésticos no Touchless.
Para Mike trabalhar na Microsoft foi uma grande oportunidade para
mostrar sua criatividade. Lá ele reescreveu seu código do Touchless usando o XNA,
plataforma para desenvolvimento de games para PC’s e Xbox e ainda trabalhou em
projetos da Microsoft Research. Também teve a chance de conhecer o criador do
Microsoft Surface, Andy Wilson. Depois de pouco tempo, Mike apresentou o Touchless
com demos de uma versão para desenhar e outro para jogar Pong em uma feira da
Comunidade Office Labs recebendo o prêmio de projeto mais interessante da feira.
35
Pessoas influentes da Microsoft como Chris Pratley (General Manager do Office Labs)
e Stephen Elop (presidente da Microsoft Business Division), adoraram o projeto.
Hoje o Touchless é um software ou SDK disponível para todos os
desenvolvedores e usuários do mundo mostrar sua criatividade e compartilha-la. O
Touchless torna o desenvolvimento de software multi-toque mais fácil e acessível,
tendo um resultado que pode ser apreciado por qualquer pessoa com um webcam.
O projeto Touchless tem percorrido um longo caminho, mas sua jornada
está apenas começando. É possível imaginar uma variedade de caminhos à explorar
usando o Touchless. Talvez como suporte para os API’s multi-touch do Windows, para
controles de vídeos chat, aplicações, jogos, browsers, mídia, chegando a níveis
comparáveis ao filme Minority Report.
4.5 UMA NOVA EXPERIÊNCIA MULTI-TOUCH
A ideia principal: oferecer aos usuários uma nova maneira de
experimentar as capacidades de multi-toque de forma barata, sem a necessidade de
hardware ou software caro. Tudo que o usuário precisa é de uma câmera, que captura
marcadores coloridos definidos pelo usuário.
Ao adicionar Touchless ao um projeto, você pode dar a seus usuários
uma verdadeira diversão, emoção, e uma multifuncional experiência de toque, e tudo
que eles precisam é de um webcam.
Os pré-requisitos necessários para desenvolver um projeto usando
Touchless são:
• Visual Studio 2005 ou 2008;
•. NET 3.0 ou superior;
• "TouchlessLib.dll" e "WebcamLib.dll".
Para adicionar Touchless para um projeto no visual Studio, simplesmente
clique com o botão direito em "Referências" e selecione "Add Reference..." vá para a
aba Browse, e selecione "TouchlessLib.dll". Assegure-se que tanto "TouchlessLib.dll" e
"WebcamLib.dll" são copiados para o diretório de saída do mesmo para ser usado com
suas criações.
36
5 AS EMPRESAS E O MERCADO CONSUMIDOR
5.1 MERCADO DE SISTEMAS DE RECONHECIMENTO DE GESTOS
O mercado de tecnologia vem se mostrando muito aquecido, diante de
tanta novidade e inovação. É sem dúvida nenhuma, a era da inovação. Em um mercado
que tem recebido muito bem ideias e tecnologias interativas. Tanto é que já se tornou
um requisito essencial para desenvolvedores de tecnologias terem o quesito criatividade.
Graças ao grande consumo destas tecnologias, o mercado vem investindo
mais e mais nos sistemas nos sistemas de controle por gestos. Em eventos de tecnologia
como a feira de games E3 (Electronic Entertainment Expo), a TED (Technology,
Entertainment, Design) e a Microsoft Tech-ed, nota-se uma presença numerosa de
consumidores, entusiastas, desenvolvedores, empresários e investidores.
Por enquanto empresas como a Microsoft, Sony e Nintendo são as
maiores investidoras nas tecnologias de Interfaces de Reconhecimento Gestual,
apresentando seus poderosos consoles.
E a presença de investidores e empresários é cada vez mais diversificada,
pois há uma visão de negócio muito ampla neste setor de Interfaces de Reconhecimento
Gestual, não se prendendo apenas aos vídeos games.
5.2 NINTENDO
Esta é uma empresa com muita tradição no mercado de games, e que vem
inovando cada ano que passa. Ela foi à primeira empresa a apostar na ideia do Interfaces
de Reconhecimento Gestual e ser bem sucedida por consumidores do mundo todo. A
empresa conseguiu derrubar grandes concorrentes como a Sony e a Microsoft no ramo
de consoles, tornando-se líder em vendas em vídeo games de sétima geração.
O lançamento do vídeo game Wii foi em 27 de Abril de 2006 com a
aposta de inovar com o uso de um controle que não utilizava fios e possuía um
acelerômetro que era capaz de detectar movimentos em três dimensões chamados WiiRemote. Em pouco tempo o produto de espalhou pelo mundo, causando até escassez e
falta no estoque, caso visto na Inglaterra onde houve filas enormes para a aquisição do
aparelho.
37
Figura 5 – Nintendo Wii-Remote
Fonte (http://www.gossipgamers.com/wp-content/uploads/2009/05/wii_2.jpg, 2008)
Serviços de pesquisa de mercado Reggie Fils-Aime e jornais
conceituados como a Financial Times publicaram que a Nintendo obteve vendas recorde
depois de 17 anos de queda no consumo de seus produtos. A empresa superou o total de
70 milhões de unidades vendidas até janeiro de 2010, dando muito prejuízo aos seus
concorrentes.
A Nintendo mostrou coragem e visão em um mercado globalizado e cada
vez mais difícil de disputar. A história da Nintendo mostra que a inovação e a
criatividade são qualidades essenciais para o futuro dos produtos de tecnologia. E a
aplicação de Interfaces de Reconhecimento Gestual foi de fato o grande trunfo desta
empresa, tornando-a líder de mercado em pouco tempo.
E isso só faz a empresa querer investir mais nesta tecnologia. Atualmente
ela está desenvolvendo, já para este ano, o Wii Motion Plus. Este suporte se conectará
embaixo do Wii-Remote, fazendo com que a captura de seus movimentos seja mais
precisa através de uma tecnologia de um Sensor Bar que capta melhor os movimentos
em um espaço tridimensional. O compromisso da Nintendo é não deixar de usar a
interatividade que a Interfaces de Reconhecimento Gestual trouxe.
5.3 SONY
Como esperado, a Sony, empresa fortíssima no mercado de vídeo games
viu o público que a Nintendo conseguiu conquistar e resolver entrar na onda do controle
sem toque. O primeiro projeto que a empresa lançou foi um bem semelhante ao
38
Touchless. Trata-se de uma câmera digital muito parecida com um webcam que tem a
função de captar e processar imagens tiradas pela câmera. Com este processo era
possível fazer uma interação com os movimentos do corpo do usuário e os jogos
disponibilizados para esta tecnologia. Ele também possui um microfone incorporado,
onde era possível gravar uma pequena mensagem de vídeo para alguém.
Esta câmera chama-se Eye Toy e foi criada pelo Dr. Richard Marks que
queria criar uma maneira de utilizar a câmera em jogos do Playstation 2. O Eye Toy já
foi fabricado pela Logitech, mas agora é produzida em escala para PC´s, PSP e
Playstation 3 pela Nam Tai.
A Sony investiu na tecnologia Eye Toy durante um período, mas não
obteve os resultados que desejava. O aparelho possuía limitações, era essencial utilizar
um ambiente bem iluminado, pois a câmera precisava enxergar o jogador. Por isso o
Eye Toy usava um LED vermelho, que avisava o usuário quando o ambiente estava
muito escuro. Para corrigir este problema a Sony patenteou um sistema de LED’s
coloridos que teria a função de se comunicar com a câmera, mostrando a posição e as
ordens do controle. A seguir verá no que este sistema de LED’s ajudou a criar.
Apesar do pouco sucesso da câmera Eye Toy, a Sony não parou de
investir em sistemas de controle sem toque. Por isso a empresa resolveu aprimorar o
sistema de webcam que tinha e juntar com um controle. Foi desenvolvido então um
controle que possui um astro iluminado que muda de cor de acordo com a posição e
comando.
Figura 11 – Sony Playstation Move
Fonte (http://www.online24.pt/wp-content/uploads/sony-playstation-move.jpg, 2009)
39
O sistema utiliza dados de movimento em tempo real dos sensores
gerados pelos movimentos do usuário, combinando a informação de sua posição em um
plano tridimensional usando a câmera Eye Toy ou Playstation Eye. Pode parecer
bobagem, mas o astro brilhante na parte superior do controle é realmente a chave para o
Movimento de precisão. A câmera utiliza o astro iluminado como um meio de
determinar a distância do controle do usuário à tela, usando o seu tamanho dentro de seu
campo de visão como um indicador.
Mas a maior preocupação para os consumidores, junto com a qualidade, é
naturalmente o custo, e a Sony foi realmente muito inteligente em seus preços do seu
sistema Playstation Move.
Embora não seja muito barato, o controle de movimento está sendo
vendido separadamente por US $ 49,99 e o controlador de navegação vai custar US $
29,99. Os proprietários do console podem até mesmo comprar um pacote com o
Playstation Move, Playstation Eye, e jogos, em um Playstation 3 de 320GB por US $
399. Nota-se que a Sony aposta muito nesta tecnologia que revolucionará o mercado
rapidamente. No final das contas, o Playstation Move tem potencial para ser o melhor
sistema de controle de movimento sobre a safra atual de consoles.
5.4 MICROSOFT
Uma empresa que promete revolucionar o que conhecemos de
entretenimento é a Microsoft. Tudo graças a mãos e mente engenhosa de um brasileiro
chamado Alex Kipman, que desenvolveu o Project Natal. O sistema traz inovações que
fazem dele o maior trunfo da empresa.
Batizado com o nome da capital do Rio Grande do Norte, pelo o amor
que o curitibano tem pela cidade, o Project Natal possui um sistema que reconhece os
movimentos do corpo e de voz com uma vantagem acima dos concorrentes de não usar
qualquer tipo de controle.
Figura 12 – Microsoft Kinect
Fonte (http://wp.clicrbs.com.br/canaldosgames/files/2010/07/microsoft-kinect.jpg, 2010)
40
O projeto tem em seu aparelho uma CPU embutida, sensor de
profundidade, microfone e processador espacial. O sistema é capaz de analisar e
processar os movimentos do jogador tridimensionalmente, captadas pela câmera e o
sensor. Diferente de suas concorrentes que apenas faziam a leitura da silhueta da
imagem capturada pela câmera.
Este sistema foi apresentado através de um vídeo na feira de games E3 de
2009 causando muita expectativa aos consumidores do mundo todo. O sistema de
Interfaces de Reconhecimento Gestual era inovador e exibia um potencial muito grande,
não precisando usar controles ou qualquer objeto pra servir de demarcação para a
câmera. Foi tanta a aceitação, que a Microsoft prometeu lançamento do produto ao
mercado a partir do último trimestre de 2010.
Atualmente o sistema possui o nome oficial de Kinect e será lançado para
ser usado junto com o console Xbox 360. O preço do aparelho está estimado em US $
150 à US $ 180.
O único problema notado no Kinect, e também em tantos outros sistemas
Interfaces de Reconhecimento Gestual, foi o tempo de resposta que gera um pequeno
lég., que ainda é um desafio para os desenvolvedores dos aparelhos.
Mas sem dúvida nenhuma a Microsoft será a empresa que revolucionará
o desenvolvimento de Interfaces de Reconhecimento Gestual e impulsionará outras
empresas a fazer o mesmo. A maior demonstração disso, está sendo no suposto
desenvolvimento do sistema operacional Windows 8, que incluirá o mesmo sistema
usado no console.
Estaria previsto o lançamento do Windows 8 em 2012, com a proposta
inicial de integrar a câmera à máquina. Isso possibilitaria, por exemplo, o
reconhecimento facial na hora que o usuário estivesse presente e fazer um login ou o PC
detectaria a falta do usuário fazendo com que o computador entrasse em estado de
hibernação automaticamente.
Com certeza existem inúmeras possibilidades para o uso do Kinect, e as
Interfaces de Reconhecimento Gestual, base de tudo isso, promete se expandir e tornar o
futuro mais interativo, de uma maneira que o mundo só enxergava em filmes de ficção
científica.
41
5.5 FEIRAS DE TECNOLOGIA
O mercado de novas tecnologias vem crescendo rapidamente, e isso faz
com que muitos empresários invistam muito o marketing de seus produtos em feiras de
tecnologia. É possível notar a presença de várias empresas em grandes eventos de
públicos fiéis e exigentes. Tudo isso, com a finalidade de divulgar novidades no mundo
tecnológico e ver a reação de seus consumidores.
Estas feiras que antes atraia apenas os empresários e executivos da área,
mudou. Atualmente muitos de seus visitantes são de um público comum e jovem aberto
para opinar. E foi isso que fez empresas como a Microsoft, Google, Apple, Sony e
outras, enxergar a oportunidade de divulgar o seu produto nestas feiras. O intuito é claro
que náo é apenas vender, mas sim fazer com que o público avalie o seu produto antes de
seu lançamento. Desta maneira evita um possível fracasso, pois o produto não está
sendo avaliado por um executivo ou um investidor, e sim pelo consumidor final.
Nestas feiras o visitante poderá participar de palestras, apresentações e
conhecer estandes de diversas empresas, que muitas vezes expõe seus produtos antes do
lançamento oficial. Nas palestras muitos expositores e CEO’s de grandes empresas
apresentam e divulgam informações de suas tecnologias, muitas vezes voltado para
executivos, estudantes e desenvolvedores. Já as apresentações são marcadas por
personalidades e ícones da área tecnológica. Para o público comum, destacam-se os
estandes onde várias empresas exibem seus produtos e até permitem que os visitantes
testem e opine.
Figura 13 – Feira Internacional de Tecnologia
Fonte (http://www.baixaki.com.br/imagens/materias/cebit2009.jpg, 2009)
42
Pode-se citar aqui feiras que são diferenciais para a divulgação de
Interfaces de Reconhecimento Gestual, como a maior feira de games E3 (Electronic
Entertainment Expo), a TED (Technology, Entertainment, Design), a Microsoft Teched, CeBIT (Feira Internacional de Tecnologia de Informação), CES (Consumer
Eletronics Show) , além de outras. Em muita delas as Interfaces de Reconhecimento
Gestual vem se destacando cada vez mais.
Um exemplo interessante é a TV 3D que foi anunciada na feira CeBIT de
2010. Foi apresentada pelo Instituto Fraunhofer o iPoint 3D, que possui um dispositivo
de reconhecimento de gestos das mãos e dedos do usuário. Esta comunicação com a TV
não necessita de nenhum suporte, como luvas ou óculos 3D. O dispositivo tem duas
câmeras FireWire para a captação e monitoramento dos movimentos das mãos da
pessoa. Este produto tem o objetivo de incluir nõ apenas a interação em jogos, mas
também em serviços corporativos.
Outro produto, com o conceito de controle através de gestos, que atraiu
bastante atenção, é o que foi apresentado no evento TED. Tratava-se de uma vitrine que
captava os movimentos dos pedestres que passavam na calçada. As pessoas passavam
na frente e a vitrine reagia com animações de folhas voando e outras. Hoje algumas
lojas da Coréia do Sul já utilizam este sistema para atrair clientela.
Vendo tudo isso, nota-se que as Interfaces de Reconhecimento Gestual
estão em alta no mercado, e estes eventos ou feiras de tecnologia são ótimas maneiras
de divulgar e verificar a reação do público em relação a um produto.
6 DESAFIOS E DIFICULDADES DA APLICAÇÃO
6.1 APLICAÇÕES E TENDÊNCIAS
Uma das maiores tendências que estamos acompanhando nos últimos
anos está na interatividade entre o usuário e eletrônicos. E as Interfaces de
Reconhecimento Gestual está cada vez mais sendo utilizado, não somente em jogos,
mas também em comércios, serviços web, propaganda, segurança e outros. E ainda
existe uma infinidade de aplicações possíveis.
Imagine passar ao lado de um outdoor, cartaz ou display de loja, e estes
interagir de tal forma que apresente o produto que mais se assemelha aos seus gostos.
43
Estes cartazes seriam munidos de sensores de leitura biométrica e câmeras capazes de
identificar quem é a pessoa e oferecer a este consumidor o produto que é de seu
interesse. Isso já é possível através do Bluetooth em pontos comerciais e shoppings
centers, e o mesmo conceito pode ser aplicado com as Interfaces de Reconhecimento
Gestual futuramente.
Outra tendência interessante é a aplicação de controle por gestos em
aparelhos portáteis. Uma pequena prévia disso já foi exibida com o aparelho eyeSight,
uma tecnologia que utiliza uma câmera frontal e traseira. Basta um gesto em frente à
lente do dispositivo para que ele entenda o que deve ser feito e traduza em comandos.
Já se pensa também em aplicar as Interfaces de Reconhecimento Gestuais
nos computadores, o que pode comprovar o interesse da Microsoft criar o Windows 8
com tais recursos já inseridos no sistema operacional. A japonesa Fujitsu apresentou sua
nova linha de notebooks, onde o usuário não precisa tocar em nenhuma tecla para
realizar suas ações. Basta utilizar a câmera para que o laptop reconheça a ordem.
Entretanto essa tecnologia realiza apenas pequenas operações como o gerenciamento do
Windows Media Player com base nos movimentos do usuário.
Atualmente existem várias universidades e centros de pesquisa
envolvidos no desenvolvimento de novas tecnologias, e uma delas é o aperfeiçoamento
de aplicações que possuem controles gestuais. Por isso não devemos pensar que esta
tecnologia é algo que só teremos no futuro, ela já está na sociedade e em breve se
expandirá para vários tipos de serviços e eletrônicos.
6.2 IMPLICAÇÕES NA PRIVACIDADE
Uma das futuras preocupações das empresas está na perda da privacidade
do usuário, por conta das informações que as Interfaces de Reconhecimento Gestual
serão capazes de identificar visualmente. Com câmeras mais avançadas e sistemas mais
complexos será possível identificar pessoas com maior detalhamento e comparar as
informações captadas com os dados registrados em um banco de dados.
Existiria neste caso uma forte implicação na privacidade da sociedade em
um todo. A personalização das ofertas, baseada no histórico de comportamento do
usuário, na prática já existe em diversos sites de e-commerce. O que ainda não existe é a
abordagem direta, via áudio ou vídeo, durante um passeio pelas ruas da cidade.
44
Outras implicações de ordem ética devem impedir que um sistema como
esse viesse a se tornar realidade tão cedo. Se por um lado parece uma boa ideia receber
ofertas personalizadas ao entrar em uma loja, ou em um site que contenha o sistema de
reconhecimento tridimensional através do webcam, pode causar certo desconforto por
parte do usuário em relação a sua completa perda de privacidade. Esse é um risco que
muitas empresas não estão dispostas a arcar.
6.3 DESAFIOS DAS INTERFACES GESTUAIS
Uma das maiores dificuldades no desenvolvimento de aplicações
reconhecimento de gestos é a falta de precisão na captura e processamento de imagens.
Este problema causa légs. e lentidão na interação do usuário com a máquina. O maior
desafio esta sendo diminuir esta lentidão, tendo que analisar vários pontos no
desenvolvimento de Interfaces de Reconhecimento Gestual.
Existe uma lista muito concisa de ideias para melhorar estas interfaces.
No caso do reconhecimento de cores, é necessário desenvolver um
modelo de separação de cores. Potencializando e refinando a leitura de cores
semelhantes por contagem e dimensão. Usar tabelas específicas de cores. Reduzir
sobrecarga de circuitos ao converter valores de cores RGB para HSV, sempre usando
tabelas de cores simples para uma codificação mais fácil. Melhorar o agrupamento de
cores HSV, considerando o refino por conta e dimensão, ou usar uma cor diferente ou
modelo HSV de particionamento do espaço que se adapte melhor a percepção humana
de cores semelhantes.
Outra área importante a ser melhorada é a parte de marcadores, que
obtém pontos chaves de imagens capturadas. É necessário implementar uma forma de
obter maior grau de momentos de inércia, dando foco no eixo de movimento rotacional
e o fator de arredondamento. Permitir que o usuário enviasse uma imagem com a
máscara de bitmap para adicionar marcadores de seleções por região. Ampliar ou
substituir alfa com suavização exponencial para fornecer dados suavizados. Aperfeiçoar
o limiar para obter maior sensibilidade de botões e funções de incremento. Corrigir e
melhorar o marcador de testes automatizados. Padronizar algumas cores de marcador e
melhorar a busca dos limites de um marcador. Melhorar a meta-tracking (casos em que
um pequeno número de pixels está faltando no meio de um marcador, ou saídas da
concentração de pixels). Periodicamente e continuamente adotar pixels adjacentes de
45
pixels marcadores confirmados. Programar uma maneira de realmente obter uma cor
média do conjunto de cores encontradas. Aperfeiçoar o raster scan, algoritmo usado
para atualizar o marcador. Aperfeiçoar o método para obter o marcador no aparecimento
de uma área circular de um bitmap, podendo usar limites de intersecção hierárquicos ou
algo mais inteligente do que o atual algoritmo. Otimizar os valores usados para
aumentar e diminuir frequências de cores para a detecção de aparência dos marcadores.
Isso deve ser sinal de alguma forma com base em índices de ruído. Melhorar as regiões
esperada pelo marcador utilizado para digitalizar a atualização. Podendo considerar a
aceleração do marcador, ao invés de apenas a velocidade.
Também é necessário melhorar funcionalidades contidas na programação
destes sistemas de reconhecimento gestual. É interessante adicionar a funcionalidade
para salvar e carregar arquivos de configuração do marcador, a fim de reduzir a
formação do mesmo marcador e variante de iluminação. Aplicar marcador de dados
adicionais tais como média de cores, espaço de cores, eixo e redondeza. Adicionar
algoritmo de preenchimento, para que possa adicionar um marcador com alguns pontos
no bitmap. Detalhar as cores do marcador, pois a cor representativa nem sempre
combina com a cor percebida do marcador.
Estes são apenas os desafios de correções e melhorias relacionadas aos
softwares, sendo que é crucial também ter um hardware bem configurado com a
Interface de Reconhecimento Gestual.
46
7 CONSIDERAÇÕES FINAIS
Para o desenvolvimento deste trabalho foi realizado pesquisas e análises
bibliográficas de projetos e modelos de sistemas de reconhecimento de gestos. Neste
trabalho foram mostradas tecnologias desenvolvidas com sistemas de detecção e
rastreamento de segmentações de imagens quadro a quadro em ambientes
convencionais. Sistema capaz de distinguir e destacar os contornos da imagem do
fundo.
O uso de reconhecimento de cores para separar e segmentar a imagem
capturada do resto do ambiente se justifica, pois este método ajuda a separar com mais
eficácia a forma do objeto de uma cena para outra. E com algumas equações
matemáticas e filtros de suavização foram superadas, ou amenizadas, falhas de detecção
e processamento de imagens.
Para tanto, é certo dizer que muitas outras aplicações interessantes podem
ser construídas utilizando gestos de mão ou reconhecimento facial. A inclusão de
câmeras em muitos dos aparelhos incrementa o potencial de aplicação e justifica as
pesquisas em interfaces digitais que não requerem dispositivos intermediários de
interação. Apesar de encontradas alguns problemas de usabilidade em interfaces
gestuais já existentes, é notável a aceitação do consumidor, o que incentiva mais ainda o
desenvolvimento e aprimoramento destas tecnologias.
Novas pesquisas devem ser desenvolvidas para a melhoria do problema
de variação de iluminação cem prejuízo dos objetos de interesse quase estáticos nas
cenas, criando formas de realimentação de processamento, com capacidade de detectar
erros, reajustando os modelos de reconhecimento de espaços de cores RGB e
segmentações.
A utilização de técnicas de baixo custo computacional como o projeto
Touchless, com o compromisso de requisitos de tempo real e viabilidade em aplicações
práticas de reconhecimento de gestos, são vantagens importantíssimas para o sucesso
com o mercado consumidor.
Verifica-se que até o momento essa tecnologia, com o potencial que
demonstra ter, se tornará um recurso indispensável e abrirá novas possibilidades para a
execução e interpretação de uma gama de ações que antes do surgimento dessa
tecnologia não era possível executar. Ainda, como resultado final, pretende-se obter um
47
hardware multi-touch com um software experimental capaz de reconhecer múltiplos
toques e assim executar tarefas específicas de manipulações tangíveis.
48
BIBLIOGRÁFIA
GROUP AUTHORS, NUI; Multi-Touch Tecnologies. 1ª Ed. [Community Release],
NUI Group, 2009.
GONZALEZ, R. C.; WOODS, R. E.; Processamento de Imagens, traduzido por
Roberto M. C. Junior e Luciano da F. Costa. Editora Edgard Blucher Ltda., São Paulo,
2000.
CASSEL J.; A quadrowork for gesture generation and interpretation. In: R. Cipolla and
A. Pentland, editors, Computer Vision in Human-Machine Interaction, Cambridge
University Press, New York, 1998.
SHARMA, Anirudh; A Multitouch based e-book reading application, Interface
Group, 2ª Ed., 2008.
NAISBITT, John; High Tech: High Touch, Editora Cultrix, 1ª Ed., 1999.
CONSULTAS ELETRÔNICAS
Mike Wasserman, Projeto Touchless, Disponível em: http:// www.codeplex.com,
Acesso em 27/09/2009.
TED (Technology Entertainment and Design), Technology, Disponível em: http://
www.ted.com, Acesso em 27/09/2009.
Allan Valin Ribeiro da Fonseca, Veja o que rolou na CeBIT 2009, Disponível em:
http://www.baixaki.com.br/info/1711-veja-o-que-rolou-na-cebit-2009.htm, Acesso em
27/09/2009.
Kato H., ARToolKit Documentation, Disponível em: http://www.hitl.washington.
edu/artoolkit/documentation/, Acesso em 02/07/2010.
49
João Ledo Fonseca, Multi-Touch – Uma história de 30 anos, Disponível em:
http://dreamfeel.wordpress.com/2010/02/19/multi-touch-uma-historia-com-30-anos/,
Acesso em 08/01/2010.
Bill Buxton, Multi-Touch Systems that I Have Known and Loved, Disponível em:
http://www.billbuxton.com/multitouchOverview.html, Acesso em 02/06/2010.
Robert Y. Wang, Computer Science and Artificial Intelligence Lab, Disponível em:
http://people.csail.mit.edu/rywang/, Acesso em: 02/06/2010.
Pablo de Assis, Como funcionam as telas sensíveis ao toque (touch screen),
Disponível
em:
http://www.baixaki.com.br/info/2449-como-funcionam-as-telas-
sensiveis-ao-toque-touch-screen-.htm, Acesso em: 10/08/2010.
Wikerson Landim, Da ficção para a realidade: Minority Report - A Nova Lei, Disponível
em: http://www.baixaki.com.br/info/4637-da-ficcao-para-a-realidade-minority-report-anova-lei.htm, Acesso em: 10/08/2010.
Site Inovação Tecnológica, Interface por gestos usa luva colorida e webcam,
Disponível em: http://www.inovacaotecnologica.com.br/noticias/noticia.php?artigo=
interface-gestos-luva-colorida&id=010150100525&ebol=sim, Acesso em: 10/08/2010.
Site Inovação Tecnológica, Novo algoritmo reconhece imagens diminuindo sua
resolução, Disponível em: http://www.inovacaotecnologica.com.br/noticias/noticia
.php?artigo=novo-algoritmo-reconhece-imagens-diminuindo-suaresolucao&id=010150080606, Acesso em: 10/08/2010.
REFERÊNCIAS DE VIDEO
msw2103, Touchless SDK - Fair Demo August '08, Disponível em:
http://www.youtube.com/watch?v=qj6yesY34pI, You Tube, Acesso em: 10/08/2010.
50
OfficeLabs, Touchless, Disponível em: http://www.youtube.com/watch?v=U3
qyKs7wkXk, You Tube, Acesso em: 10/08/2010.
Operasoftware, Touchless surfing, Disponível em: http://www.youtube.com/watch?v=y36BQafClI, You Tube, Acesso em: 10/08/2010.
Operasoftware, Opera Face Gestures, Disponível em: http://www.youtube.com/watch?
v=kkNxbyp6thM&feature=related, You Tube, Acesso em: 10/08/2010.
Chio23,
Interactive
Touchless
Table
in
Tokyo,
Disponível
em:
http://www.youtube.com/watch?v=e8YYYQpk3XQ&feature=related,
You
Tube,
Acesso em: 10/08/2010.
Christianeg,
Touchless
Screen
Virtual
Reallity,
Disponível
em:
http://www.youtube.com/watch?v=L35AFeRD00o&feature=related, You Tube, Acesso
em: 10/08/2010.
sithvrix,
Touchless
Test,
Disponível
em:
http://www.youtube.com/watch?v=b6
HGJuJj7es&feature=related, You Tube, Acesso em: 10/08/2010.
VideoInPicture,
Use
Your
Webcam
as
a
Mouse,
Disponível
em:
http://www.youtube.com/watch?v=yUPaEnsKJYM&feature=related, You Tube, Acesso
em: 10/08/2010.
mobuzzES, La Cosa Es Tocar: Microsoft Touchless, Firefox Multitouch Y,
Disponível em: http://www.youtube.com/watch?v=7yZIngSE4c0&feature=fvw,
You
Tube, Acesso em: 10/08/2010.
gigafide,
Control
Your
Computer
With
A
Webcam,
http://www.youtube.com/watch?v=cH_cWF8DoXk&feature=related,
Acesso em: 10/08/2010.
Disponível
You
em:
Tube,
51
EllipticLabs, virtual 3D mousepad, eg for mobile phones, Disponível em:
http://www.youtube.com/watch?v=Jyx3hMq0Axg&NR=1, You Tube, Acesso em:
10/08/2010.
EllipticLabs, "touchless touch screen", Disponível em: http://www.youtube.com/watch?
v=ZDTlbJ0VdBo&feature=related, You Tube, Acesso em: 10/08/2010.
elkinmoreno, Inter Screen: Touch Less Interaction in any Aplication, Disponível em:
http://www.youtube.com/watch?v=oF98b9J2Yjw&NR=1&feature=fvwp, You Tube,
Acesso em: 10/08/2010.
Gigafide, Use Any Object To Control Your Computer, Disponível em:
http://www.youtube.com/watch?v=LoyG49v2Wy4&feature=channel
, You Tube,
Acesso em: 10/08/2010.
knex1312,
SHMM
TouchlessReaction,
Disponível
em:
http://www.youtube.com/watch?v=oY7j5FCYj_U, You Tube, Acesso em: 10/08/2010.
peje136, Touchless, Computer mit Web Cam steuern, Untouchable The Game,
Disponível em: http://www.youtube.com/watch?v=PVvdIkjmW58&feature=related
, You Tube, Acesso em: 10/08/2010.
Gearlive, E3 2009: Project Natal Xbox 360 Announcement, Disponível em:
http://www.youtube.com/watch?v=p2qlHoxPioM, You Tube, Acesso em: 10/08/2010.
AceyBongos,
Xbox
E3
2009:
Project
Natal,
Disponível
em:
http://www.youtube.com/watch?v=o5mobjKcis0, You Tube, Acesso em: 10/08/2010.
esbagacador,
Katamari
no
Project
Natal
-
TGS
2009,
Disponível
em:
http://www.youtube.com/watch?v=z3T_uvGTfAs, You Tube, Acesso em: 10/08/2010.
xboxprojectnatal, Xbox Project Natal : Sugar Ray Leonard, Eric Dickerson, and
Willie Gault, Disponível em: http://www.youtube.com/watch?v=i-443dE5-gk, You
Tube, Acesso em: 10/08/2010.
52
eried,
Webcam
controlled
by
Arduino,
http://www.youtube.com/watch?v=RhHhvU4dHQo,
You
Disponível
Tube,
Acesso
em:
em:
10/08/2010.
psclil,
WebCam
Video
Processing
C#
http://www.youtube.com/watch?v=JDJAOD2kSEw,
.Net,
You
Disponível
Tube,
em:
Acesso
em:
Disponível
em:
10/08/2010.
Sombrasnoturnas,
EyePet
[official
trailer
-
ps3],
http://www.youtube.com/watch?v=ogS11sHweTY, You Tube, Acesso em: 10/08/2010.
ShinodaLab,
Touchable
Holography,
Disponível
http://www.youtube.com/watch?v=Y-P1zZAcPuw&feature=player_embedded,
em:
You
Tube, Acesso em: 10/08/2010.
lukeinhayoo,
Holographic
Text
Messages,
Disponível
em:
http://www.youtube.com/watch?v=W53W_zOwG4k&NR=1, You Tube, Acesso em:
10/08/2010.
IGN,
Tiger
Woods
PS
Move
Demo
-
E3
2010,
Disponível
em:
http://www.youtube.com/watch?v=qF_Zm3cDNyo&feature=fvst, You Tube, Acesso
em: 10/08/2010.
calicchi, Demonstração do Nintendo Wii - Em Português, Disponível em:
http://www.youtube.com/watch?v=Cio8Rx_HQMM,
10/08/2010.
You
Tube,
Acesso
em: