Corpo e Computador: interfaces sensoriais Suzete Venturelli Resumo

Corpo e Computador: interfaces sensoriais
Suzete Venturelli
Resumo:
A área de pesquisa denominada Interação Humano Computador (IHC) tem
como meta investigar a interação entre pessoas e artefatos de base
computacional. IHC está se constituindo como um campo fortemente
transdisciplinar, no qual duas vertentes de destacam: as pesquisas sobre
interfaces gráficas e de dispositivos sensoriais. Dentre as disciplinas
envolvidas, destacam-se além da Arte, a Psicologia, a Ergonomia, a Semiótica
e, sobretudo no contexto das interfaces inteligentes, sejam elas gráficas ou
com dispositivos, a relação entre Realidade Virtual e Inteligência Artificial é
primordial. Na linha de pesquisa em Arte e Tecnologia um dos enfoques da
produção está na invenção de dispositivos de interfaces sensoriais. Nesse
sentido, este texto, procura analisar as principais características da área
apresentando, por último, a produção do Laboratório de Pesquisa em Arte e
Realidade Virtual da UnB.
Palavras-Chave:
Computacionais
Interfaces
Sensório-Motoras,
Interação,
Sistemas
Introdução
Os estudos das interfaces computacionais com o usuário apoiados pela área
de computação gráfica vêm apresentando progressos consideráveis, que
podem ser verificados no uso da linguagem iconográfica e de outras, como a
multimídia e sensório-motora. Outro aspecto que merece ser destacado é a
capacidade da máquina na manipulação de grande quantidade de informação
em forma de textos, imagens e sons, correlacionada às diferentes mídias. O
poder multimídia da computação gráfica está no seu suporte tecnológico, dos
quais podemos destacar como importantes para a área de arte, os estudos
relacionados à interface, à geração sintética de imagens e à animação.
Os equipamentos computacionais possuem um papel decisivo em todo
dispositivo interativo, e, nesse caso, levamos em consideração a especificidade
da interface humano computador que permitirá a troca das informações, o tipo
de interação que pode ser realizada, por exemplo, através das mãos,
movimentos do corpo, comandos sonoros, textuais e o caráter
multimidiático/hipermidiático
(animações, textos, sons) dos dispositivos
interativos em instalações artísticas. Atualmente, em conjunto com a técnica de
modelagem tridimensional e a interatividade, desenvolve-se o conceito de
imagem interativa. A imagem interativa é o resultado de pesquisas aprimoradas
da arte computacional, para inventar interfaces que permitam ao usuário
alcançar o fenômeno perceptivo somente no ato da interação com a imagem.
Na interação o espectador se encontra dentro da obra e não mais face à obra.
Alguns tipos de interação são: a interação aberta para o exterior, com a
presença de um agente; a interação autônoma, ou seja, sem entrada de dados
externos, como nos sistemas auto-evolutivos. Outra forma de interação é a de
correspondência entre diferentes dispositivos computacionais, ou seja, entre
computadores compartilhados. Interatividade e interação definem o que
denominamos de uma arte da relação, quer dizer, ao mesmo tempo uma arte
do saber relatar, da narração, da inscrição de eventos numa dinâmica temporal
– logo do discurso – mas igualmente uma arte da relação e das modificações
que os elementos de intervenção provocam entre eles.
As interações em instalações artísticas são feitas pelo espectador em um
espaço real, composto por um conjunto de dispositivos propostos como obra de
arte. A diferença entre o termo interação e interatividade é que o primeiro está
relacionado a uma troca pontual, ou seja, automática entre duas entidades,
enquanto que o segundo termo quer dizer um conjunto de interações. Nesse
sentido, pode-se dizer que num sistema interativo, diferentes interações
coexistem e podem fazer parte de um mesmo sistema.
Embora não seja uma coisa nova, a interatividade é hoje, sem dúvida,
reconhecida como uma das características mais originais das tecnologias
contemporâneas; ela corresponde, como tentamos mostrar, à noção do diálogo
com, ou por meio de um computador. As trocas entre os sistemas
computacionais e os usuários correspondem ao verdadeiro sentido de
interação.
O conceito de interatividade, viabilizado tecnologicamente pelo engenheiro Ivan
Sutherland , viria a tomar forma cultural mais definitiva com a arte
computacional a partir dos anos 80.
Dispositivos de interação não convencionais1
Os dispositivos de interação têm um papel fundamental em IHC no campo da
Realidade Virtual. Aliás, vem se tornando muito importante na medida em que
os esforços e interesse geral para se criar novos dispositivos são bem maiores
que o desenvolvimento de softwares.
Duas grandes filosofias se configuram :
-desenvolvimento de próteses vestidas ou manipuladas pelo interator para
receber ou transmitir informações, por exemplo com capacetes, wiimote ou
luvas de dados, entre outros.
- desenvolvimento de dispositivos situados no sistema de Realidade Virtual,
permitindo ao interator receber ou transmitir informações por meios naturais,
como os olhos, as mãos ou o corpo; como por exemplo utilizando câmeras
como meio de digitalização de localização e deslocamento dos movimentos do
corpo e seus membros, para traduzir-los em ação no mundo virtual
A segunda categoria parece ser mais natural e ergonômica. Já a primeira
categoria é mais simples, pois parte de uma dupla inseparável, monitor e
mouse. Mesmo assim ela permitiu inúmeras interações sendo o auge do
desenvolvimento representado pela invenção de espaços denominados de
CAVE, nos quais podem interagir várias pessoas simultaneamente. Nas
1
GRUMBACH, Alain.http://perso.enst.fr/~grumbach/cognition-virtuelle/covi.html
paredes são projetadas imagens de mundos virtuais, onde captores de
movimento permitem digitalizar os comandos dos interatores.
No sentido de definir os sistemas que apresentam interfaces envolvendo
dispositivos e abordagens não convencionais, é importante também considerar
o relacionamento usuário/ambiente2.
Nesse caso, segundo Márcio Pinho(2007), assume-se que o ambiente seja
composto pelo espaço físico, funções, processos, equipamento e conceitos.
Ele é responsável por responder às ações do usuário com os estímulos que
vão provocar a sensação. O ambiente no contexto desse modelo compõe-se
dos espaços real e artificial. Em seguida, são definidos os sistemas de
telepresença, realidade virtual, realidade aumentada e realidade melhorada,
que têm em comum o acesso através de interfaces não convencionais.
O autor define cada sistema da seguinte maneira:
1. A telepresença é uma situação, onde uma pessoa está objetivamente
presente num ambiente real que está separado fisicamente da pessoa no
espaço. A telepresença que é implementada por mecanismos de teleoperação,
consiste de um usuário, uma interface humano-máquina, um telerobô e um
ambiente remoto.
2. O sistema de realidade virtual consiste de um usuário, uma interface
humano-máquina, e um computador. Nele, o interator participa de um mundo
virtual gerado no computador, usando dispositivos sensoriais de percepção e
controle. Um ambiente virtual pode ser projetado para simular tanto um
ambiente imaginário quanto um ambiente real.
3. Sistema de realidade aumentada é uma combinação da visão do ambiente
real com o ambiente e na maioria das vezes, utiliza óculos ou capacete com
visor semitransparente, de forma que a visão do ambiente real possa ser
sobreposta com a informação do ambiente virtual. Também é possível coletar a
imagem real com uma câmera de vídeo e misturá-la com a imagem virtual
antes de ser apresentada. Um sistema típico de realidade aumentada baseado
em vídeo é composto de um capacete de visualização com sistema de
rastreamento de posição, sobre o qual é disposta uma câmera de vídeo. Nesse
caso, a imagem real é obtida pela câmera de vídeo montada sobre o capacete,
enquanto que a imagem virtual é gerada por um computador que considera o
posicionamento do rastreador. Um misturador combina as duas imagens e
mostra o resultado final ao usuário.
4.Sistema de realidade melhorada como uma variação do sistema de realidade
aumentada, onde um sistema de processamento de imagem gera informações
adicionais para serem sobrepostas à imagem real. O resultado final pode ser
tanto uma melhoria espectral quanto espacial, gerando transformações e
anotações sobre a imagem. A geração de imagens obtidas através de
ampliação do espectro visível do olho humano e a anotação de características
2
Pinho, Márcio. http://grv.inf.pucrs.br/Pagina/TutRV/tutrv.htm#sumario2.3.
específicas dos objetos como distância, tipo, etc., são exemplos de melhoria de
uma imagem.
Dispositivos não convencionais industriais3
HMD
Atualmente, diversos tipos de Head Mounted Disply (HMD) são utilizados a
para visualização de realidade vrtual. Eles podem ser4:
• Estereoscópicos ou monoscópicos: uma ou duas cenas
• Binoculares ou monoculares: um ou os dois olhos estimulados
• Opacos ou translúcidos: substituem ou complementam a realidade
objetiva
Luvas de dados
Luvas para realidade virtual são dispositivos que, por meio de sensores,
detectam e medem as flexões e abduções dos dedos. Os sensores podem ser
mecânicos, ópticos ou híbridos5.
Mouse
Mouses para interatividade com ambientes virtuais são capazes de tornar o
ambiente participativo, seguindo os movimentos executados pelo usuário.
Existem características que variam de equipamento para equipamento. Alguns
como o GyroPoint Desk podem trabalhar tanto em cima de uma mesa como no
ar pois possuem um girôscopo e comunicação por rádio com o computador.
Outros são capazes de medir a velocidade e força que está sendo aplicada
pelo usuário6.
Simuladores
Para realidade virtual, encontramos também o que podemos chamar de
simuladores. São equipamentos diversos que transmitem a realidade através
de movimentos e vibrações. Escudos e cadeiras especiais são um exemplo
disso, pois servem para dar mais força e realidade ao ambiente virtual7.
Roupas de dados
A roupa para Realidade Virtual é uma indumentária que permita a interação
com o mundo virtual (data suits). A comunicação pode ser realizada de várias
maneiras, sendo que o acompanhamento óptico de marcadores vem sendo o
mais utilizado.
Anel
O anel (Ringmouse) é um dispositivo que provê as coordenadas 3D da sua
localização. Muito interessante para a maioria dos ambientes de realidade
3
4
5
6
7
http://www.vrealities.com/index.html
Exemplos: VFX1, Sony Glasstron, V8, Dynovisor, StuntMaster e M1 Monocular.
Exemplos: Fifth Dimension, Johnson Kinetic, CyberGlove, Pinch Glove, 5th Glove e PowerGlove.
Exemplos: GyroPoint Desk, Avenger, Cyberman 2, Cyberstik, FreeD e SpaceOrb 360.
Exemplos: Bass Shaker, Force FX, Intensor, Intensor FX, Interactor Cushion e Interactor Vest.
virtual.
Outros
Sensores de movimentos e plataformas para aplicações são mais exemplos de
dispositivos de Realidade Virtual que podem ser encontrados para tornar um
ambiente muito mais interativo8.
O dispositivo de percepção mais comum atualmente é o HMD, que possui dois
monitores de visualização, um para cada olho, permitindo criar imagens
estereográficas, para dar ilusão de imagem tridimensional. O capacete tem
múltiplas funcionalidades, como a imersão, onde o campo visual é quase
totalmente ocupada pela imagem apresentada no capacete, evitando
perturbações exteriores e aumentando a impressão de imersão na imagem.
Outra função é a possibilidade de mudança de direção do olhar, pois em geral
os HMD possuem rastreadores de posição, que permite seguir os movimentos
da cabeça. As menos comuns são os dispositivos sonoros, de esforço e de
odores.
Exemplos de dispositivos não convencionais de comando adaptados ou
inventados por artistas
Câmeras
Text Raim de Camille Utterback e Romy Achituv, produzido em1999, apresenta
a projeção dos corpos dos interatores combinado com uma imagem de síntese
de letras que caem e que correspondem ao seu movimento. Se um interator
acumula letras, pode construir uma frase aleatória.
Contato de Suzete Venturelli, Mario Maciel, Ricardo Queiroz e Rafael Galvão,
produzido em 2005, o movimento do corpo dos interatores é digitalizado por
uma câmera e modifica o percurso da simulação física de partículas de água,
em tempo real. A sensação é de integração entre imagem e corpo.
Microfones
Messa de Voice de Golan Levin e Zachary Lieberman, de 2003, instalação
composta por microfone e software de reconhecimento de voz, que transforma
cada sinal sonoro em desenhos e cores.
Sopro da vida de Suzete Venturelli, Mario Maciel, Saulo Guerra e Johnny
Souza, de 2006, a partir da tecnologia da realidade aumentada combinado com
pesquisa de reconhecimento sonoro, o interator ao soprar num microfone
provoca o surgimento de uma vida digital e ao mesmo tempo modifica a sua
forma.
Flocking Messengers-communication via A-Life agents de Tatsuo Unemi, de
2007, nesta obra a comunicação ocorre por meio de microfones e se realiza
8
Exemplos:CMP 2100, CMP 2100GF e CMP 2100SR.
mediante agentes de inteligência artificial que habitam um espaço
tridimensional compartilhado com participantes humanos numa conexão
remota. É un sistema fácil de usar, na medida em que um dos computadores
está configurado como servidor e o outro como cliente, ambos se conectam
mediante una rede IP. Na realidad, el papel de los agentes virtuales va más allá
de la ayuda o la mediación, puesto que se ocupan en gran medida de la
comunicación. Los humanos hablan, pero es únicamente cuando se mueven
frente a sus cámaras web que sus mensajes son memorizados por un
enjambre de criaturas de dibujos animados, que se trasladan entonces en su
espacio virtual en dirección al participante que se encuentra al otro lado de la
conexión, y transmiten el mensaje. La intervención de los agentes es muy
inmediata y tangible, puesto que levantan sus pequeñas orejas cuando
detectan sonido, hablan con sus voces chirriantes, ondean como los famosos
“Boids” de Craig Reynolds, y aportan sus propios comentarios tanto en el inicio
como al final de los mensajes (“por favor, escuche”, “eso es todo”). También
expresan su hastío si no detectan ningún sonido. El sentido de dimensión que
se crea es el aspecto más novedoso de esta obra. Las imágenes de los
participantes son visibles en la parte posterior del espacio, pero estas capturas
de vídeo se ven eclipsadas por el espacio ocupado por estos pequeños y
ajetreados agentes, quienes al contrario que sus homólogos humanos, no son
nada tímidos.
Monitores de toque
9/4 Fragmentos de Azul de Gilbertto Prado, de 1997, seu dispositivo consiste
na interação com 9 monitores de toque localizados sobre a cabeça dos
participantes. Os interatores por meio de seus dedos modificam as imagens, os
sons e textos em tempo real.
Viabolus de Tânia Fraga, de 2005, nessa obra o interator navega por mundos
virtuais 3D tocando em monitores sensíveis ao toque, transitando em diferentes
espaços-tempos tele-imersivos para desvelar domínios escondidos ou mesmo
saltar de uma imagem interativa a outra
Luvas
OP_ERA de Daniela Kutschat e Rejane Cantoni, de 2004. Com uma luva
digital, o interator cria uma imagem de síntese. O movimento da luva faz com
que a imagem seja construída em torno do seu eixo. A imagem, uma equação
matemática, é elaborada em tempo real.
Roupas
Vestis de Luisa Paraguai, de 2005, é uma estrutura formada por diversos aros
metálicos, formando uma unidade, mas que permite extensões e contrações de
cada aro de maneira independente. Tais movimentos são determinados por
sensores e controlados por micromotores, garantindo à estrutura uma forma
dinâmica. Toda a movimentação é gerenciada por um aplicativo, a partir de
impulsos enviados por participantes remotos e usuários da Web. Pretende-se,
assim, através de “Vestis”, formalizar esteticamente estas espacialidades
corpóreas, que se expandem e contraem a partir das interações estabelecidas.
Robôs
Pet Robot-Tamanduá de Christus Nóbrega e Geovany Borges, obra de 2006,
projeto se vale de teorias da biologia; seleção das espécies, da psicologia;
formação
da
personalidade
e comportamento animal, engenharia;
tecnologias e modelos matemáticos.
Caves
VR Aquarium de Diana Domingues e Grupo Artecno, de 2005. É um ambiente
imersivo em realidade virtual, com imagem em telepresença de um aquarium,
instalado no Museu de Ciências Naturais da Universidade de Caxias do Sul,
composto por imagens de síntese de um cardume de peixes. O corpo fica
imerso no ambiente, numa sensação de diluição de seus limites matéricos.
Peixes reais se misturam a peixes virtuais no ambiente físico de uma grande
escultura, em escala humana, sendo que pela esteroscopia os peixes sintéticos
ganham relevo e passam por entre o corpo do visitante. Ao serem tocados por
meio de um dispositivo háptico, rastreador de movimento (trackers), os peixes
reagem como organismos vivos. Um programa em inteligência artificial confere
comportamento coletivo aos peixes sintéticos que se deslocam como um
cardume. Pela sensorialidade ampliada através de interfaces para interação e
imersão, os limites entre real e virtual se dissolvem, confirmando a magia das
tecnologias interativas.
Tato
Alexitimia de Paula Gaetano convida o interator a recorrer ao tato para
satisfazer uma curiosidade inevitável sobre o material que é feito o robô. Sus
única resposta é um fenômeno anatômico do corpo: o suor. Existe na obra um
sólido sentido da lógica, que deriva de suas fontes: a investigação
pormenorizada que realizou a artista com respeito a história e a situação atual
sobre inteligência artificial e robótica. Suas idéias estão centradas na não
comunicação entre o robô e seu ambiente, com exceção da linguagem
puramente corporal. O único sentido é o tato, o único resultado é a água que
cai de um recipiente oculto colocado na base da obra. A obra permite ao artista
e ao espectador superar a lógica, seja científica ou artística, e experimentar
emocionalmente o problema que se expõe de reconciliar o contexto úmido da
natureza com o contexto seco da eletrônica.
Dispositivos móveis
Poétrica de Giselle Beiguelman, de 2003, obra discute as novas possibilidades
de leitura e escritura possíveis pela interação com os dispositivos e redes de
comunicação remota. Os aparatos de comunicação “nomádica”, tais como
celulares, Palms, Pocket PCs, remetem para um indivíduo em constante
deslocamento no espaço, podem interferir nas percepções e usos que fazemos
da cidade. Na cidade de São Paulo, os transeuntes mandavam mensagens
para um painel eletrônico, através de seus celulares, em tempo real.
Outros
Life Writer de Christa Sommerer Laurent Mignonneau, de 2006. Quando os
interatores datilografam numa máquina antiga de escrever, formam pequenas
criaturas baseadas num algoritmo genético que determina seu comportamento
e movimento.
La funambule virtuel de Marie-Helene Traumus e Michel Bret, obra de 2000.
Uma equilibrista virtual equilibra-se sobre uma corda virtual, enquanto o
interator interage com ela através de um dispositivo composto por sensores
localizados numa barra de metal, que está conectada ao computador. A
personagem responde aos movimentos realizados pelo interator..
Conclusão
Três componentes são fundamentais para a existência dos sistemas citados:
imersão ou tele-imersão, interação e imaginação. Em termos de modelo
relativo à interface entre interator e mundo virtual, as propostas seguem uma
arquitetura hierárquica, baseada numa aproximação antropocêntrica relativa à
imersão e interação, em três níveis :
–
–
–
nível das interfaces sensório motoras, que realizam a ligação com o mundo
físico;
nível qualificado como imersão e interação sensório motora;
nível mental, que corresponde ao pensamento do interator que adquiriu sua
experiência a partir de situações reais e que ele utiliza na interação com o
mundo virtual.
No contexto artístico aplicam-se conhecimentos científicos relativos ao ser
humano na elaboração de instrumentos, máquinas e dispositivos que possam
ser utilizados com o máximo de prazer pelo usuário.
Para que isso, os sistemas solicitam ao usuário a entrada de dados, controles e
comandos iniciais. A característica única de todos sistemas é permitir inúmeras
interações, cada uma associada aos diferentes percursos realizados por
diferentes usuários.
Os artistas sentem a necessidade de conhecer o usuário: sexo, faixa etária,
domínio da informática, motivação, dados gerais da cognição humana e
percepção. Mídias especiais estão sendo utilizadas como palm, celulares,
controles wiimote, realidade virtual, interfaces sonoras, táteis e olfativas.