O gesto musical nos sistemas computacionais

XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
O gesto musical nos sistemas computacionais
José Guilherme Allen Lima
USP – MOBILE –FAPESP- [email protected]
Resumo: Como forma de estruturar uma investigação sobre o uso do computador como instrumento
musical, o presente artigo relata um levantamento sobre o desenvolvimento de sistemas de computação
com finalidades musicais buscando uma aproximação com os estudos sobre gesto musical, tendo como
marco teórico a produção de Bernadete Zagonel e Fernando Iazzetta sobre o tema. Esta investigação
sugere que o potencial do gesto musical físico ainda é pouco explorado no desenvolvimento destes
sistemas, em que prevalece a noção do gesto mental.
Palavras-chave: gesto musical, computação, luteria digital, música eletrônica, Século XX,
performance.
Musical Gesture in computer music systems
Abstract: This paper describes the development of computer music systems, approached from the
perspective proposed by studies on musical gesture by Bernadete Zagonel and Fernando Iazzetta. Such
analysis is proposed as an aid to further investigations on the usage of the computer as a musical
instrument. At first, our investigation suggests an unexplored potential of physical gesture in the
development of such systems, where the tendency is favouring the musical gesture of an abstract sort.
Keywords: musical gesture, computing, digital lutherie, electronic music, XX th Century, performance.
Nesta comunicação, relatamos um levantamento do desenvolvimento dos sistemas
de computação musical levando em conta a ideia de gesto musical e seus desdobramentos,
realizada como forma de estruturar uma investigação sobre o uso do computador como
instrumento musical, e demais questões relativas à performance musical envolvendo
ferramentas digitais.
Gesto musical
Até as últimas décadas do século XIX, as relações entre gesto e prática musical
nas tradições de interpretação já estabelecidas não chega a se constituir em um objeto de
estudo. Em um período de aproximadamente meio século, a introdução de tecnologias de
telefonia, fixação, difusão e produção sonora por meios eletroeletrônicos provocou uma série
de rupturas no processo de percepção destes fenômenos, produzindo a necessidade de se
entender o gesto musical segundo um outro ponto de vista. A partir destes “deslocamentos
acusmáticos”1 (EMMERSON, 1994: 95) entre fonte e resultado sonoro, e entre prática
musical e um intérprete progressivamente ausente 2, o corpo e o gesto passam a ser objeto de
estudos visando um entendimento de sua importância na prática musical. Embora abrangente,
XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
a noção de gesto como elemento intrínseco à prática musical passa a ser interpretada de
acordo com o que se entende por gesto e com quais funções lhe são atribuídas.
Dessa maneira o termo “gesto” ou “gesto musical”, pode fazer referência não só
ao gesto físico em si, no sentido literal, como ser usado metaforicamente para traduzir
diferentes processos criativos e interpretativos. Como metáfora, o termo é utilizado na análise
musical para descrever o uso de convenções musicais específicas de forma simbólica, ou fazer
referência a estruturas musicais e sonoras estabelecidas, constituindo-se em um “gesto
mental” (ZAGONEL, 1992: 16), um conceito que também inclui a abstração mental do gesto
físico. Em geral, o gesto musical enquanto metáfora está relacionado com os processos
criativos, tradicionalmente atribuídos à área de atuação do compositor, que podem ser
traduzidos fisicamente por intérpretes, ou eletronicamente a partir da geração e manipulação
sonora.
Já o gesto físico pode ser entendido como “um movimento com finalidades
expressivas e que produz significado” (IAZZETTA, 2000: 260). Nesse sentido, o gesto
musical é entendido como uma elaboração do movimento corporal a partir de um repertório
estabelecido de referências que auxiliam na percepção de um fenômeno sonoro e musical,
podendo ser classificado de acordo com três categorias: o gesto que efetua, o gesto que
acompanha e o gesto figurado (ZAGONEL, Ibidem: 22). Nesta classificação há uma gradação
na percepção do gesto, a partir da ação diretamente relacionada com a produção mecânica do
som – o gesto que efetua; cuja percepção é auxiliada através da associação de outros
movimentos e ações complementares – o gesto que acompanha; e cujo sentido é atribuído
tanto pelo intérprete quanto pelo ouvinte de forma dinâmica – o gesto figurado. Esta última
categoria cria uma conexão com a dimensão metafórica do gesto musical, ao associar gestos
físicos com estruturas sonoras.
Físico ou mental, o gesto desempenha no fazer musical o papel de uma ação
geradora para iniciar um processo ou responder a um estímulo, mas não se constitui em um
resultado sonoro per se. Sendo o som um fenômeno essencialmente mecânico-acústico,
qualquer tipo de gesto necessita de uma interação com um meio elástico para ser
transformado em um resultado sonoro.
XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
Computação musical e instrumentos musicais digitais
Além do vínculo direto com as ciências da computação, a Computação Musical é
um campo de estudos que, ao longo de seu desenvolvimento, vai receber influências externas
devido à consolidação de uma indústria de comunicação e entretenimento com um forte
elemento tecnológico, da industrialização do mercado de instrumentos musicais, e de
diferentes correntes estéticas, de modo que as relações entre música e novas tecnologias se reestruturam de modo constante e dinâmico.
O processo de apropriação de aparelhos de uso genérico para o vocabulário
musical possui alguns poucos precedentes históricos mas, mesmo ao longo do século XX,
esteve relacionado com a exploração das propriedades sonoras de seus corpos ressonantes, ou
com a manipulação de seus mecanismos ou circuitos geradores de som, processos diretamente
associados a uma interferência gestual e física no objeto. Já a exploração do potencial sonoro
e musical do computador ocorre de modo diferente, devido à ausência de um corpo ressonante
que inspire investigações sonoras, ou de circuitos cuja manipulação incorra em resultados
sonoros, partindo a priori de um deslocamento acusmático causal.
Para as finalidades aqui propostas, podemos classificar o desenvolvimento de
sistemas de computação musical em quatro períodos ou ciclos. O primeiro destes compreende
os anos 1950 e 1960, e pode ser considerado como o período em que a ideia de Computação
Musical tomou forma e se estabeleceu como um campo de estudos, gravitando inicialmente
ao redor do trabalho desenvolvido por Max Mathews no centro de pesquisas Bell
Laboratories, nos Estados Unidos. Apesar de existirem experimentos anteriores usando
computadores como fonte sonora3, a criação de música em ambiente digital tem início de fato
em 1957, com o primeiro de uma série de softwares contemplando tanto o seqüenciamento de
eventos sonoros quanto a síntese sonora digital com finalidades musicais, fazendo uso de
conversores que permitiam gerar sinais elétricos de áudio a partir de representações digitais
(CHADABE, 1997: 109).
Esta série viria a ser conhecida pelo nome “Music-N”, compreendendo tanto as
versões do programa desenvolvidas diretamente por Mathews – Music I a V – quanto as
versões desenvolvidas por outros colaboradores a partir do compartilhamento dos códigos
originais. Sua estrutura era baseada em módulos básicos que se combinavam para construir
XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
instrumentos simplificados, constituindo uma espécie de orquestra virtual responsável pela
execução de uma partitura, que por sua vez consistia em séries de instruções descritas
textualmente (MATHEWS, 1969)4, princípios que influenciaram de um modo geral o
desenvolvimento de programas de computação musical nas últimas décadas (GEIGER, 2005:
15). O compositor então submetia esse conjunto de especificações ao processamento
propriamente dito, gerando séries de tabelas numéricas que representavam digitalmente o
sinal correspondente ao resultado sonoro. A informação destas tabelas era convertida
posteriormente em sinais de áudio por um segundo computador, e estes sinais gravados em
uma fita magnética convencional. Levando em conta somente o tempo de computação e o
processo de conversão, o resultado das especificações iniciais do compositor poderia demorar
entre duas a quatro semanas até ser ouvido 5.
O segundo período tem início na passagem para os anos 1970, e é marcado pelo
desenvolvimento de sistemas que permitem a interação com o usuário a partir de informações
sonoras em tempo real, e pelo estabelecimento de centros dedicados à pesquisa em
computação musical e relações entre música e tecnologia, como o CCRMA, nos Estados
Unidos e o IRCAM6, na França.
O sistema GROOVE, desenvolvidos por Mathews e F. Richard Moore, propõe
uma abordagem diferente para o uso do gesto físico com o papel do usuário modelado na
figura do regente de coro ou orquestra, fundamentado em dois princípios básicos: a
interpretação de gestos físicos como forma de controle sobre a geração de sons e outros
processos; e o estabelecimento de um sistema de interação a partir da percepção sensorial do
usuário que, segundo os autores, permitia “desempenhar tarefas mais complexas”
(MATHEWS; MOORE, 1969: 715). Neste período também são introduzidos os primeiros
instrumentos musicais digitais desenvolvidos para produção em série e comercialização em
pequena escala, que surgem como uma opção economicamente viável para outras
Universidades e centros de pesquisa, assim como para artistas ligados ao mercado de
produção fonográfica e de audiovisual 7.
O terceiro ciclo tem início na primeira metade dos anos 1980, quando a
popularização dos computadores de uso pessoal, associada ao desenvolvimento e introdução
do protocolo MIDI8 viabiliza a interação intérprete-máquina em um nível mais próximo à
XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
interação intérprete-instrumento, e é marcado pelo início da produção em escala industrial de
computadores pessoais e de instrumentos musicais digitais. É nesse período em que as
decisões relacionadas com as estratégias de venda destes produtos no mercado consumidor
passa a ter uma influência maior em seu design, o que por sua vez passa a determinar as
limitações no uso com o qual o consumidor final precisa lidar.
Na segunda metade da década surgem as primeiras versões de softwares cuja
popularização se dá através de seu uso em computadores pessoais – como os programas
Csound e Cmix9 – modificando uma cadeia criativa que até então estava vinculada ao uso de
aparelhagens institucionais. Desenvolvido por volta de 1985, e comercializado a partir de
1990, o software Max foi concebido como um “ambiente computacional para a realização de
música eletrônica ao vivo” (PUCKETTE, 2001: 31), combinando elementos estruturais
herdados da série Music-N com o uso de uma interface de usuário baseada em gráficos,
diferente do formato predominante até então, baseado em linhas de texto. Os softwares desta
geração também se beneficiavam da comunicação entre módulos de hardware que o protocolo
MIDI possibilitava, o que permitia que as funções de síntese sonora e processamento de sinais
de áudio fossem realizadas por módulos externos, controlados pelo computador.
Durante a década de 1990 observa-se a consolidação de um mercado de softwares
musicais, atrelado às primeiras gerações de computadores pessoais capazes de converter,
armazenar e gerenciar o processamento de sinais de áudio a partir de uma mesma máquina.
Nesse período surgem as primeiras versões do formato Digital Audio Workstation, modelando
o fluxo de trabalho e os equipamentos encontrados em estúdios de gravação, e também
incluindo modelagens digitais de instrumentos físicos tradicionais, modificando a concepção
de instrumento virtual observada nos sistemas de computação musical até então.
Podemos situar na transição entre o séc. XX e o séc. XXI o início de um quarto
ciclo de desenvolvimento, cujas fronteiras ainda estão um pouco difusas, mas se relacionam
com a internacionalização e a popularização do uso da internet de modo colaborativo, a
revisão da noção de propriedade intelectual a partir da digitalização dos processos criativos e
de distribuição de conteúdo, e a mudança gradual no uso de computadores pessoais, que vão
se tornando equipamentos progressivamente portáteis ao mesmo tempo em que outros
XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
equipamentos de uso cotidiano, como telefones e eletrodomésticos, passam a se integrar mais
e mais com sistemas computacionais.
Conclusões
O modelo reproduzido ao longo do período que vai dos anos 1950 até meados da
década de 1980 está mais próximo de conjuntos instrumentais como a orquestra européia do
que de instrumentos individuais, e a interação entre o usuário e o sistema se dá na mesma
medida em que o compositor interage com a orquestra, aonde prevalece o gesto mental, e não
como o executante interage com o instrumento. De acordo, o acesso aos computadores da
época só era possível através instituições que possuíam condições de adquirir, acomodar e
manter seu maquinário. Levando em conta que estes equipamentos eram compartilhados e
precisavam suprir as demandas de outros departamentos acadêmicos, é possível também que
algumas das escolhas que influenciaram o desenvolvimento de softwares e sistemas tenham
sido baseadas na orquestra como uma espécie de metainstrumento a ser modelado pelo
computador, como forma de limitar suas possibilidades de uso.
A partir do momento em que o desenvolvimento de tecnologia nos centros de
pesquisa passa a dialogar mais intensamente com o mercado consumidor de equipamentos
musicais eletrônicos, a demanda por interfaces instrumentais baseadas em modelos
tradicionais colabora para consolidar como formato padrão da indústria o teclado de órgão e
adaptações de sua lógica10, com uma representatividade menor de interfaces modeladas em
outros instrumentos. Com essa individualização do uso dos computadores e periféricos, o
gesto musical físico passa desempenhar um papel de maior destaque, ainda que baseado em
modelos instrumentais herdados de outros contextos, ou da organização espacial e lógica dos
estúdios de gravação.
No que diz respeito às linguagens, softwares e sistemas de computação musical é
possível traçar um histórico de descendência no tocante à forma como estas contemplam as
diversas formas do gesto musical mental, ou metafórico. Já se levarmos em conta o gesto
musical em sua manifestação física, um histórico semelhante não se delineia de forma tão
clara, esta sendo uma história feita de iniciativas isoladas e não raro, descontinuadas. Existe
um potencial a ser explorado no sentido de buscar outras conexões possíveis entre a
expressividade física do gesto no corpo do intérprete e as ferramentas de controle e de síntese
XXII Congresso da Associação Nacional de Pesquisa e Pós-Graduação em Música – João Pessoa – 2012
que os sistemas computacionais tornam acessíveis na atualidade. A introdução gradual, ao
longo das últimas duas décadas, de ferramentas de interação baseadas em interfaces distintas
do teclado QWERTY e do mouse oferecem possíveis pontos de partida para estas explorações,
mas acreditamos ser necessária também uma revisão da maneira como a porção software
destes sistemas entende e reage aos inputs gestuais.
Agradecimento
Esta pesquisa é realizada com o apoio da FAPESP -
Fundação de Amparo à
Pesquisa do Estado de São Paulo ( proc. nº 2008/08632-8).
Referências:
CHADABE, Joel. Electric Sound: The past and promise of Electronic Music. New Jersey:
Prentice-Hall, 1997
DOORNBUSCH, Paul. Computer Sound Synthesis in 1951: The Music of CSIRAC.
Computer Music Journal.
EMMERSON, Simon. 'Live' versus 'Real-time'. Contemporary Music Review. London, Vol.
10, No. 2, pp. 95-101, 1994.
GEIGER, Günter. Abstraction in Computer Music Software Synthesis. Barcelona, 2005. 104p.
Tese (Doutorado em Ciências da Computação). Universitat Pompeu Fabra.
IAZZETTA, Fernando. Sons de silício: Corpos e máquinas fazendo música. São Paulo, 1996.
228 p. Tese (Doutorado em Comunicação e Semiótica). Pontifícia Universidade Católica.
_____________. Meaning in Musical Gesture. In: WANDERLEY, Marcelo; BATTIER, Marc.
Trends in Gestural Control of Music. Paris: IRCAM – Centre Pompidou, 2000. pp. 259-268.
JORDÀ, Sergi. Instruments and players: Some thoughts on Digital Lutherie. Journal of New
Music Research. Local, Vol. 33, No. 3, pp. 321-341, 2004.
MATHEWS, Max V. The technology of Computer Music. Cambridge: MIT Press, 1969.
_____________; MOORE, F. Richard. GROOVE – A program to compose, store, and edit
functions of time. Communications of the ACM. Local, Vol. 13, N. 12, p. 715-721, 1970.
PUCKETTE, Miller. Max at Seventeen. Computer Music Journal. Local, Vol. 26, No. 4, p.
31-43. 2002.
ZAGONEL, Bernadete. O que é gesto musical? São Paulo: Brasiliense, 1992
De acordo com a natureza do processo de ruptura, estes deslocamentos podem ser classificados como temporais,
espaciais e causais.
1
Tanto na situação de escuta regular (IAZZETTA, 2000: 259), quanto na musique concrète e na música eletrônica
alemã.
2
No início da década de 1950 experimentos foram realizados em universidades na Austrália – no computador CSIR
Mk1 / CSIRAC, e no Reino Unido – no computador Ferranti Mark I, e seu repertório consistia na reprodução de
melodias de canções tradicionais ou de temas populares na época, como “In the Mood” de Glenn Miller, “God Save the
King” e a marcha militar “Colonel Bogey”, entre outras. Em ambos os experimentos utilizava-se um alto-falante já
incorporado aos computadores, cuja função principal era fornecer ao usuário informações sobre o funcionamento da
máquina na forma de alertas sonoros, que consistiam em pulsos elétricos simples enviados ao alto-falante
(DOORNBUSCH, 2004). A definição da altura ocorria a partir do envio repetido de pulsos de acordo com a frequência
resultante desejada. É possível ouvir exemplos que buscam reconstruir o processo de geração sonora do CSIRAC em:
http://www.csse.unimelb.edu.au/dept/about/csirac/music/reconstruction.html, e há um registro de áudio do Ferranti
Mark I feito na época pela BBC, disponível em: http://news.bbc.co.uk/2/hi/technology/7458479.stm. Acesso em 26 de
dezembro de 2011.
3
Esse processo é descrito em detalhe por Mathews em seu livro “The Technology of Computer Music”, de 1969, que
trata da versão Music V, já escrita em linguagem Fortran, o que facilitou seu uso em diversos outros centros de
pesquisa, assim como a reescrita e a criação de outras versões do programa.
4
Apesar de outros centros de pesquisa, como a Universidade de Columbia e a Universidade de Princeton, já trabalharem
com versões dos programas da série, o processo de conversão dos resultados em sinais de áudio era executado
principalmente em um computador da Bell Labs, por F. Richard Moore (CHADABE, Ibidem: 113).
5
As siglas representam “Center for Computer Research in Music and Acoustics” e “ Institut de Recherche et
Coordination Acoustique / Musique”, respectivamente.
6
Desenvolvidos a partir do advento dos microprocessadores, estes instrumentos adotavam em geral uma interface de
usuário semelhante àquela encontrada nos sintetizadores analógicos da época, construída ao redor de um teclado de
órgão e um painel de controle com chaves e botões deslizantes. Uma exceção a esta regra é o Fairlight Computer
Musical Instrument, ou CMI, que dispunha também de um teclado alfanumérico e de uma caneta óptica que interagia
com um monitor CRT. Essa geração marca o início de um processo de digitalização dos equipamentos voltados para o
mercado de instrumentos musicais eletrônicos.
7
Apesar de suas limitações técnicas e conceituais, o protocolo MIDI tornou possível a comunicação entre
computadores, interfaces de controle e sintetizadores, permanecendo até os dias de hoje como um padrão industrial sem
nenhum equivalente em escala.
8
9
Desenvolvidos por Barry Vercoe e Paul Lansky, respectivamente.
Como por exemplo no uso de pads percussivos de diversos tamanhos, em instrumentos como o sampler MPC60 da
Akai, desenhados para serem tocados percussivamente com os dedos.
10