INNER UNIVERSE: UMA EXPERIÊNCIA VISUAL - MediaLab

INNER UNIVERSE: UMA EXPERIÊNCIA VISUAL PELOS ESTADOS EMOCIONAIS
Mario Alexandre Gazziro
Izis Cavalcanti Albuquerque de Souza Queiroz
Resumo: Nossa proposta no presente trabalho é a criação de um retrato do observador que, além do
semblante do mesmo, interpreta nuances de seu estado emocional. A proposta combina avançados recursos
tecnológicos com referências a importantes movimentos artísticos na Europa, apresentando uma arte
interativa cujas relações de ordem cibernética alimentam e promovem a constante transformação da obra.
Para atingir os resultados descritos nesta proposta será utilizado um dispositivo para captação de sinais
cognitivos cerebrais e da musculatura facial. Uma câmera de vídeo registra, em tempo-real, o retrato do
participante, que será projetado na parede à sua frente. Um sistema computacional avançado deve, então,
processar as imagens do vídeo com recursos gráficos criados na forma de plugins compatíveis com o renomado
software Isadora.
Apresentação
Antes de aprimorar nossa capacidade de compreender sistemas complexos de linguagem
desenvolvemos a habilidade de expressar e comunicar nossas emoções por meio do nosso corpo. A estrutura
corporal nos permite, assim como aos animais, manifestar as mais sutis expressões faciais, gestuais e sonoras,
como uma forma de demonstrar nossas emoções. A comunicação dá-se, então, pela troca de informações que
estabelecemos com o ambiente externo, informações estas percebidas pelos nossos órgãos do sentido.
Nossa capacidade corporal, assim como suas aplicações no mundo da arte, é imensurável, entretanto,
enfocamos nessa pesquisa o estudo do retrato, vertente de uma categoria nas artes visuais, compreendendo a
expressão facial como uma linguagem característica da comunicação humana.
“O rosto é o espelho das nossas emoções. Julgamos os outros, percebemos o seu estado de espírito
com base nos seus gestos e principalmente nas suas reações emotivas que acionam a mímica facial. As
emoções mais fortes – medo, satisfação, dor – se manifestam também nos animais, que as exprimem
com a linguagem comportamental” (PRETTE, 2008).
O retrato, presente desde os primórdios da história da arte, pode representar tanto a abstração
simbólica de uma emoção quanto preservar e revelar a identidade de determinada pessoa. É interessante
observar a variedade de estilos e formas de apresentação do retrato no decorrer da história. Desde as pinturas
até o advento da fotografia e do vídeo, o retrato é uma forma das pessoas preservarem a memória da sua
existência, assim como daquelas pessoas importantes em suas vidas. É também um recurso externo, assim
como o espelho, que revela ao nosso olhar como é nossa aparência, pois que, sem esse retorno, só poderíamos
conhecer fisicamente aqueles que podemos olhar.
Dessa forma, pela importância afetiva e cognitiva que o retrato tem em nossas vidas, pela sua
capacidade de registrar nossas emoções e nossa aparência, apresentamos o projeto Inner Universe como um
vídeo-retrato cibernético. A proposta busca referência em importantes movimentos artísticos na Europa, nos
séculos XIX e XX, que marcaram diferentes estilos de pintura, como o classicismo, o impressionismo, entre
outros.
Entretanto, a característica cibernética do projeto nos permite ir além de um retrato estático, ou até
mesmo de um vídeo, proporcionando uma relação dialética de causa e efeito entre o espectador e seu retrato.
Cabe observar, nesse ponto, que a linguagem facial, antes presente na comunicação entre as pessoas, passa a
estabelecer uma comunicação entre homem-máquina, usando para tanto um sistema computacional que
estabelece uma conexão entre a câmera de vídeo e um capacete eletrônico que capta os sinais elétricos de
eletro-encefalograma (eeg).
"[...] na arte cibernética de segunda ordem os processos cognitivos evocados por uma obra alteram as
mesmas evocações originais que, por sua vez, modificam o próprio processo produtivo de evocações,
subvertendo a noção de causa e efeito por meio de um sistema recursivo" (BROWN, 2011).
O sistema computacional reconhece as nuances do estado emocional do espectador (PETRANTONAKIS
et al), alterando continuamente o resultado da obra. Esse caráter interativo, característico da arte multimídia, é
decorrente da captação de sinais cognitivos cerebrais e da musculatura facial, combinados com a projeção do
vídeo em tempo real. O espectador torna-se, então, parte intrínseca da obra, sendo que a mesma não pode
realizar-se sem a sua presença.
Aspectos da arte cibernética
O termo “cibernético” foi apresentado por Norbet Wiener para designar um novo campo de pesquisa
sobre sistemas de comunicação e controle que atuassem de forma autônoma, seja em uma máquina ou em um
ser humano. O termo deriva de “kubernetes”, usado na Grécia antiga pelo filósofo Platão, e designa “a arte de
pilotar”. A pesquisa de Wiener buscava estabelecer parâmetros de controle em sistemas complexos e foi
desenvolvida na tentativa de prever a trajetória de mísseis balísticos automatizando o processo de decisão da
máquina.
O princípio do sistema consiste em um processo de realimentação, capaz de “recolher informações
sobre o próprio desempenho realizado, a fim de compensar os desvios em relação ao desempenho planejado”,
princípio este conhecido como feedback.
“*...+ em máquinas controladas por feedback, é indipensável a existência de detectores e monitores
que façam papel de orgãos sensórios, de forma que as informações recolhidas possam ser
confrontadas com o padrão de desempenho programado. A diferença entre o desenpenho realizado e
o esperado é transformada na informação que o mecanismo de compensação utilizará, no sentido de
trazer o desempenho futuro para valores mais próximos do padrão esperado” (Wikipedia)
No campo da arte cibernética também é possível verificar o feedback entre o interator e o sistema
multimídia, quando os processos cognitivos evocados pela obra passam a alterá-la, produzindo uma nova
cognição. Essa comunicação entre obra e interator ocorre no exato momento da experiência artística,
“levando-os a uma zona de fluxo interativo” (KUJAWSKI, 2011). A partir dos estudos da fenomenologia, a
participação do indivíduo passa a ser enfatizada nas propostas artísticas de algumas vanguardas da arte
contemporânea produzidas no final da década de 1960. A interatividade estabelece uma nova forma de
percepção da arte que induz a uma relação entre corpo, espaço e tempo, considerando a vivência como uma
potente forma de apreensão cognitiva. Segundo Pierre Lévy "a obra virtual é 'aberta' para construção. Cada
atualização nos revela um novo aspecto. Ainda mais, alguns dispositivos não se contentam em declinar uma
combinatória, mas suscitam, ao longo das interações, a emergência de formas absolutamente imprevisíveis.”
(LÉVY, op. cit., 1999, p. 103).
O que diferencia a arte multimídia da arte interativa, já discutida pelas gerações anteriores, é a
presença da tecnologia digital (BUENO & LEMES), que estimula a participação colaborativa entre homem e
máquina, em tempo-real. Nesse caso, o interagente é parte do sistema que constitui a obra cibernética, o que a
configura como uma obra inacabada, cujo processo se baseia não no resultado, mas na ação de ressignificar a
obra, “permanecendo sempre em processo de vir a ser” (SILVEIRA, 2005).
A obra, que estabelece o tempo como sua matéria, pois ela o projeta diante de si em termos de etapas
a percorrer, realiza a façanha de subtrair toda a temporalidade ao tempo, visto que, situando-se toda
inteira em seu vir a ser, ela estabelece, ao mesmo tempo, sua existência incerta: a obra pode não ser
concluída. (CAUQUELIN, 2008)
Segundo Júlio Prado (PRADO, 2003), essa estética é conhecida por alguns teóricos como “estética da
comunicação”, a qual propõe uma relação entre tempo e espaço sem trabalhar com objetos materiais, mas
com a projeção de uma interface digital: "para os artistas da comunicação, a transmissão cultural
desmaterizada provoca a emergência de uma criatividade e inteligência coletivas e a exploração de novos
espaços-tempos." Zanini (1988) a define como uma "estética de eventos", na qual a obra não se reduz a uma
forma, mas cuja característica interativa reside na comunicação entre homem e máquina para suscitar
experiências sensoriais.
Especificações técnicas
O projeto é dividido em duas partes fisicamente distintas: a apresentação dos estímulos por meio de
um projetor e a captação dos estados emocionais com o uso de um capacete eletrônico. Essas duas partes são
interligadas por um computador de controle, executando o software Isadora associado a plugins desenvolvidos
para o projeto, os quais realizam os efeitos artísticos em tempo-real no vídeo, com base na entrada de dados
fornecida pelo capacete cerebral.
O capacete de leitura cerebral é o modelo EPOC, da empresa Emotiv, que lê informações cognitivas
provenientes da atividade elétrica cerebral e da musculatura facial. As informações cognitivas serão utilizadas
como geradores de parâmetros aleatórios, como as cores e os tons dos efeitos visuais a serem exibidos, e não
serão diretamente responsáveis pela determinação do estado emocional.
Detalhamento dos equipamentos
O sistema de exibição do vídeo é baseado em um projetor de alta definição, com resolução de 1920
por 1080 pontos e luminosidade de 1600 lumens. A projeção deve passar por um filtro óptico polarizador,
alinhado verticalmente, de forma a polarizar a luz no sentido vertical.
No centro da tela de projeção será posicionada uma câmera de vídeo de alta definição, com resolução
de 960 por 720 pontos. Essa câmera possui motores de posicionamento e um software automático para
reconhecimento e enquadramento de faces, o que a torna perfeita para o projeto em questão. Em frente ao
obturador da câmera será posicionado um filtro óptico polarizador alinhado horizontalmente. Os filtros servem
para impedir a incidência da luz originada pelo projetor sobre a câmera e permitir que a mesma capte, sem
interferências, a luz não-polarizada proveniente da face do observador. Com isso, é eliminado o efeito paralaxe
entre a câmera e o observador, possibilitando ao mesmo ver seu rosto como se estivesse olhando para um
espelho.
Uma consequência do uso de filtros polarizadores é a perda de pouco mais da metade da capacidade
luminosa do projetor. Assim, da luminosidade de 1600 lumens, característica do projetor, cerca de 700 lumens
poderão ser aproveitados para projeção. Tal efeito colateral deve ser compensado por meio de uma iluminação
muito reduzida no ambiente em que for realizada uma eventual exposição da obra.
Com relação à captação dos estados emocionais, trata-se de um capacete, similar a um headfone, que
capta sinais cognitivos via sinais de EEG (electroencefalograma) e de sinais sobre os músculos da face.
Desenvolvido para uso em jogos de computadores, o EPOC extrai parte de suas informações diretamente dos
músculos da face, identificando expressões como riso, tristeza, surpresa, espanto e, inclusive, a direção do
olhar. As informações cognitivas são utilizadas, principalmente, para gerar e determinar dados que,
anteriormente, seriam aleatórios, como, por exemplo, as cores.
Assim que o EPOC estiver devidamente configurado e gerando uma saída de dados similar a um
Joystick ou Mouse, será realizada a configuração dos efeitos no software Isadora. É no Isadora, com base no
desenvolvimento de plugins, que a parte artística do projeto será desenvolvida. A leitura do capacete será
realizada (seja ela muscular ou cognitiva) e os dados resultantes alimentarão o software Isadora para criar os
efeitos decorrentes dos estímulos emocionais. Esse ciclo se repete continuamente.
Considerações finais
A proposta do Inner Universe proporciona a vivência como uma forma de reflexão sobre como nossas
emoções transparecem em nosso semblante. Por meio da atividade lúdica, a obra busca desconstruir modelos
fotográficos e propor um olhar mais atento aos sentimentos, que estão além das aparências, e os quais
expressamos através da nossa emotividade.
Bibliografia
PETRANTONAKIS, P.C.; HADJILEONTIADIS, L.J.; , "Adaptive extraction of emotion-related EEG segments using
multidimensional directed information in time-frequency domain," Engineering in Medicine and Biology Society
(EMBC), 2010 Annual International Conference of the IEEE , vol., no., pp.1-4, Aug. 31 2010-Sept. 4 2010. doi:
10.1109/IEMBS.2010.5626588
SHUGRINA, M., BETKE, M., COLLOMOSSE J. P. Proceedings of the 4th international symposium on
Nonphotorealistic animation and rendering. ACM Press. SHUGRINA, M. 2006. Empathic Painting: Interactive
stylization through observed emotional state. 87-96.
RUSSEL, J. A., AND FERNANDEZ-DOLS, J. M. 1997. The Psychology of Facial Expression. Cambridge University
Press. RUSSELL, J. A. 1997. Reading emotion from and into faces: Resurrecting a dimensionalcontextual
perspective. In Russel and Fernandez-Dols [Russel and Fernandez-Dols 1997], 295–320.
PRETTE, M. C. Para entender a arte: história, linguagem, época, estilo. Tradução Maria Margherita de Luca. São
Paulo: Globo, 2008, p. 100.
BROWN, P. Architecture, interaction, systems. Catálogo da exposição Pask Present, 2008, p. 128 in Kujawski, G.
A arte cibernética de segunda ordem. Enciclopédia Itaú Cultural, arte e tecnologia. Disponível em:
<http://www.cibercultura.org.br/tikiwiki/tiki-read_article.php?articleId=65&highlight=cibern%C3%A9tica>.
Acesso em: 24 de agosto, 2011.
KUJAWSKI, G. A arte cibernética de segunda ordem. Enciclopédia Itaú Cultural, arte e tecnologia. Disponível
em: <http://www.cibercultura.org.br/tikiwiki/tiki-read_article.php?articleId=65&highlight=cibern%C3%A9tica>.
Acesso em: 24 de agosto, 2011.
PRADO, G. Arte telemática: dos intercâmbios pontuais aos ambientes virtuais multiusuário. Apresentação
Arlindo Machado, Júlio Plaza - São Paulo: Itaú Cultural, 2003, p. 15.
BUENO, J. R & Lemes, R. P. Pintura, poesia e ambiente digital: a expeirência virtual do leitor-espectador rente
às obras de Munch e Drummond. Anais do 8º Encontro Internacional de Arte e Tecnologia (#8.ART): Arte,
Tecnologia e Territórios ou a Metáfora das Identidades. Suzete Venturelli (org.)
SILVEIRA, G. A. Realidade virtual: percepções a partir de VRAquarium (2005), de Diana Domingues. Anais do 8º
Encontro Internacional de Arte e Tecnologia (#8.ART): Arte, Tecnologia e Territórios ou a Metáfora das
Identidades. Suzete Venturelli (org.)
AUGUSTO, L. Bio-sonitus-lux. Anais do 8º Encontro Internacional de Arte e Tecnologia (#8.ART): Arte,
Tecnologia e Territórios ou a Metáfora das Identidades. Suzete Venturelli (org.)
ZANINI, Walter. A arte de comunicação telemática: a interatividade no ciberespaço. 1988. 36p.
CAUQUELIN, Anne. Frequentar os incorporais: contribuição a uma teoria da arte contemporânea. São Paulo:
Martins, 2008.