Template Artigos para AES Brasil

Projeto referente ao programa “SAE Ação Cultural: Educação, Comunidade e Campus” 2014 da Universidade
Estadual de Campinas – UNICAMP.
Criação de espaço sonoro virtual interativo utilizando o
software Pure Data e a biblioteca HoaLibrary
Eduardo Aparecido Lopes Meneses
Unicamp – Universidade Estadual de Campinas
Campinas, SP, 13083-854, Brasil
[email protected]
RESUMO
Este projeto propõe a criação de uma instalação interativa utilizando o software Pure Data (http://puredata.info/)
e a biblioteca HoaLibrary (http://www.mshparisnord.fr/hoalibrary/). Esta instalação proporcionará um review
acerca do HoaLibrary e sua interação com o PD (Pure Data). Para este projeto serão utilizados um notebook (ou
equipamento similar capaz de rodar Pure Data com a biblioteca HoaLibrary), uma webcam (podendo ser
integrada ao notebook mas preferencialmente externa), e equipamento com no mínimo 4 saídas de audio (ou
outra adaptação que forneça o número de saídas necessárias).
0. INTRODUÇÃO
O Pure Data é uma linguagem de programação de
código aberto (open-source) originalmente desenvolvido no IRCAM1 por Miller Puckette [1] e idealizada
para funcionar como uma partitura e possibilitar a
manipulação de audio ou vídeo tanto em estúdio ou
em tempo real. Esta programação é realizada através
de plataforma visual e usualmente distribuído em
duas versões: PD vanilla e PD extended. A versão
vanilla possui apenas o núcleo de programação
enquanto a versão extended acrescenta em sua
distribuição diversas bibliotecas criadas por desenvolvedores independentes, incluindo renderização
gráfica, comunicação via OSC2, processamento de
arquivos binários, streaming, interação com sensores,
entre outros [2].
Para a implementação de uma instalação
quadrifônica com possibilidade de manipulação da
posição de uma (ou várias) fonte(s) sonora(s) em um
espaço sonoro virtual é necessária a utilização de
bibliotecas criadas especificamente para este fim.
Uma destas bibliotecas é a HoaLibrary.
HoaLibrary (high Order Ambisonics Library) é
uma biblioteca criada pelo CICM (Centre de
recherche Informatique et Création Musicale) da
Universidade Paris VIII para manipulação do espaço
sonoro de forma visual por instrumentistas e
1
O Instituto de Pesquisa e Coordenação de
Acústica/Música/ (Institut de Recherche et Coordination
Acoustique/Musique) é uma renomada instituição de pesquisa
fundada em 1970 por Pierre Boulez a pedido do então presidente
francês Georges Pompidou e sediada em Paris. O IRCAM se
dedica à pesquisa em música eletroacústica contemporânea.
2
Open Sound Control (OSC) é um protocolo de
comunicação entre computadores, sintetizadores de som e outros
dispositivos multimídia através de uma rede. As vantagens do
OSC incluem o uso dos avanços tecnológicos das atuais redes de
computadores, a interoperabilidade, a precisão, fexibilidade e
maior organização e documentação.
compositores, utilizando conceitos do Ambisonics
para criar ambientes sonoros virtuais [3]. A biblioteca
está disponível para FAUST, Max, PureData e VST
pode sua instalação permite a utilização de
ferramentas de manipulação do ambiente sonoro e
sua conversão para difusão sonora em diversas
configurações de auto-falantes.
1. PROPOSTA DE ESPAÇO SONORO
INTERATIVO:
Para aplicar os conceitos fundamentais de
Ambisonics e analisar os programas envolvidos foi
idealizado um espaço sonoro virtual composto por
cinco fontes sonoras distribuídas livremente por este
espaço virtual. O conteúdo sonoro gerado por estas
fontes será formado por geradores de onda
previamente programados, além de moduladores FM
e AM e do som ambiente captado através de um
microfone, e seu comportamento será determinado
pelo “centro de gravidade” da luminosidade do
ambiente, calculado através do objeto PIX_BLOB,
presente no PD Extended, utilizando uma webcam.
A localização destas fontes sonoras será controlada
pelos objeto HOA.MAP, presente na HoaLibrary e
pode ser movida livremente pelo espaço sonoro
virtual. O mapeamento deste espaço sonoro e sua
conversão para Ambisonics de 3ª ordem será feira
pelos objetos HOA.OPTIM e HOA.DECODER. A
configuração de caixas de som sugerida no ambiente
de escuta é quadrifônica com posições em 45º, 135º,
225º e 315º. Caso haja mudanças na disposição das
caixas este ajuste pode ser realizado em tempo real.
Os equipamentos necessários para esta instalação
são: um computador rodando PD Extended com
HoaLibrary; uma webcam (podendo ser integrada ao
computador); uma interface de audio com 4 canais de
MENESES, E. A. L.
CRIAÇÃO DE ESPAÇO SONORO
INTERATIVO – PD E HOALIBRARY
saída (ou adaptação equivalente); um sistema de som
composto com 4 caixas amplificadas de som
passíveis de equalização.
É esperada que esta instalação atinga o nível 4 na
escala de imersão sonora proposta por Regis Faria
(et. al.):
“Nível 4 permite a formação de um campo sonoro
mais realístico e estável. Técnicas pantofônicas e
perifônicas – como o Ambisonics, Ambiophonics e
Wave Field Synthesis (WFS) - são capazes de
fornecer este nível de qualidade espacial (ou
superior). O mapeamento do mundo virtual em um
espaço de escuta é mais preciso. É necessário no
mínimo 4 alto-falantes e é exigido maior sincronismo
de fase entre canais/caixas de som [4].” (Tradução do
autor3).
principais objetos, mas o conceito de manipulação
sonora contido no software.
1.2 Criando o patch com os elementos
necessários
A utilização de webcam para manipulação sonora
ou visual no PD requer objetos da biblioteca GEM 4.
O PD Extended contém em sua distribuição todas as
bibliotecas necessárias para a tarefa.
Com todas as ferramentas citadas no item 1 até o
momento já é possível criar o espaço sonoro
projetado utilizando o PD. Utilizando um notebook, a
entrada de microfone e webcam integradas ao
equipamento, podemos programar um modulador
FM, um modulador AM, e os geradores de onda
necessários à tarefa.
1.1 Instalação da biblioteca HoaLibrary
A instalação da biblioteca HoaLibrary para
utilização no PD Extended se dá por simples cópia
dos arquivos na pasta EXTRA do aplicativo. Após
este processo, os objetos da biblioteca estarão
disponíveis para uso, bem como os arquivos de ajuda
estarão visíveis na seção correspondente.
Figura 2: montagem da instalação interativa utilizando a
quantidade mínima de caixas necessárias. Em amarelo
temos a área estimada de atuação do microfone e da
webcam integradas ao notebook.
Estes elementos atuarão como módulos que
receberão as informações de luminosidade da
webcam e informação sonora do microfone,
alterando os parâmetros de geração de onda e
modulação (portadora e moduladora).
Figura 1: Tela com diversos objetos da HoaLibrary. Imagem
disponível em
http://www.mshparisnord.fr/hoalibrary/en/downloads/puredata/.
Como diversas outras bibliotecas, o HoaLibrary
possui arquivos de ajuda, porém não possui nenhum
tutorial de utilização. É procedimento comum criar
arquivos de ajuda onde todas as informações
referentes a determinado objeto se encontram na
mesma página, facilitando assim a busca. No entanto,
a ausência de um tutorial onde o usuário aprende,
passo a passo, o funcionamento de cada objeto
prejudica a curva de aprendizado.
Estas cinco resultantes sonoras serão mixadas em
tempo real utilizando a ferramenta HOA.MAP para
criar o espaço sonoro virtual e passarão pelo
codificador de ambisonics de 3ª ordem da
HoaLibrary para posteriormente ter o sinal
decodificado para 4 saídas (alto-falantes).
Estes quatro sinais de saída são diretamente
enviados às quatro caixas de som para criar o espaço
de escuta da instalação.
Um bom exemplo de tutorial eficiente é o próprio
tutorial do PD, onde você aprende não somente os
3
Level 4 permits the formation of a stable and more
realistic 2D sound feld. Pantophonic and periphonic techniques –
such as Ambisonics, Ambiophonics, and Wave Field Synthesis
(WFS) - are capable of delivering this level of spatial quality (and
higher). Mapping of the virtual world onto local auditor area is
more accurate. A minimum of 4 speakers is required, and phase
synchronization between channels/speakers is more critical.
2
4
GEM (Graphics Environment for Multimedia) é uma
linguagem de programação escrita por Mark Danks para geração
de gráfcos computacionais em tempo real. Escrita originalmente
para Max, atualmente o desenvolvimento do GEM está vinculado
ao PD.
MENESES, E. A. L.
CRIAÇÃO DE ESPAÇO SONORO
INTERATIVO – PD E HOALIBRARY
novembro de 2014 em local a ser definido pelo
Serviço de Apoio ao Estudante (SAE).
3. CRONOGRAMA
O cronograma abaixo possui uma estimativa para
execução das atividades previstas, podendo ser
alterado de acordo com a necessidade do Serviço de
Apoio ao Estudante (SAE).
Figura 3: Imagem de um possível patch para criação de
instalação e espaço sonoro proposto.
Atividade
Quinzena / Mês / Ano
Revisão do patch criado
Agosto / 2014
Encontro 1 – música e 2ª quinzena / Agosto / 2014
dispositivos tecnológicos
2. METODOLOGIA E JUSTIFICATIVA
Encontro 2 – softwares 1ª quinzena / Setembro / 2014
de notação musical
Durante o segundo semestre de 2014 serão
realizados os procedimentos para a montagem desta
instalação, incluindo a finalização do patch e os
testes necessários para seu funcionamento, além dos
testes com os equipamentos necessários.
Verifcação de equipamentos e testes de Setembro / 2014
funcionamento
Ao longo deste tempo, ocorrerão workshops
quinzenais sobre Pure Data, live electronics e edição
de audio. Nestes workshops teremos uma introdução
aos programas de manipulação sonora em tempo real
comumente utilizados para performance e instalação,
além de atualizações do andamento do projeto.
Defnição para local de Setembro / 2014
exibição
Serão abordados nestes encontros a utilização de
softwares de notação musical e edição de partitura
(MuseScore e LilyPond); gravação, mixagem e
edição sonora (Audacity) e manipulação sonora em
tempo real (Pure Data, Max/MSP e Ableton Live). A
maioria dos programas abordados é gratuito e de
licença aberta, permitindo uma maior flexibilidade e
experimentação por parte dos alunos e demais
interessados.
Encontro 5 – softwares
de manipulação sonora 2ª quinzena / Outubro / 2014
em tempo real
Este tema foi escolhido diante de observações
realizadas ao longo do primeiro semestre de 2014 na
disciplina Tópicos Especiais em Educação Musical “Desenvolvimento infantil e ensino musical”
(MS108-A), ministrada pela professora Adriana N.
A. Mendes. Ao longo desta disciplina alguns alunos
observaram uma lacuna no aprendizado acadêmico
na área de música e tecnologia. Grande parte dos
alunos possui dificuldades relacionadas ao uso do
computador como suporte para atividades
relacionadas à música. Os workshops deste projeto
pretendem fornecer informação básica para suprir
esta lacuna, fornecendo ao ouvinte ferramentas que
incentivem a autonomia e a busca por informações
da área.
Por se tratar de instalação é recomendada a
exibição em local público e por um extenso prazo
para que possa ser aproveitado pela comunidade
acadêmica e visitantes. É esperada a conclusão da
programação da instalação em outubro,
possibilitando a exibição durante todo o mês de
3
Encontro 3 – gravação e 2ª quinzena / Setembro / 2014
edição de áudio
Encontro 4 – ferramentas
de apoio ao professor de 1ª quinzena / Outubro / 2014
música
Início da exibição
registro em vídeo
Encontro 6 – Pure Data
e 2ª quinzena / Outubro / 2014
1ª quinz. / Novembro / 2014
Montagem da exibição Novembro / 2014
para evento de fnalização
Encontro 7 – Pure Data 2ª quinz. / Novembro / 2014
(2)
Evento de fnalização
das atividades
Dezembro / 2014
4. EQUIPAMENTOS NECESSÁRIOS À
INSTALAÇÃO
•
01 computador (disponível durante todo o
período de exibição da instalação);
•
04 caixas acústicas ativas (quantidade
mínima, recomendado 08 caixas), com
pedestais OU 04 caixas acústicas passivas
(quantidade mínima, recomendado 08
caixas) com pedestais e amplificador de
potência (disponível durante todo o período
de exibição da instalação);
•
01 interface de áudio com número de canais
de saída equivalentes à quantidade de caixas
disponíveis (disponível durante todo o
período de exibição da instalação);
MENESES, E. A. L.
CRIAÇÃO DE ESPAÇO SONORO
INTERATIVO – PD E HOALIBRARY
•
01 webcam compatível com o computador
fornecido (disponível durante todo o
período de exibição da instalação);
•
Cabos de ligação para as caixas, interface de
áudio e o computador, bem como ponto de
energia para os equipamentos solicitados.
5. EXPECTATIVA DE EXECUÇÃO DO
PROJETO
e manipulação de sons do próprio espaço, gerando
texturas complexas e possibilitando o deslocamento
de determinado som ocorrido através do espaço
sonoro.
Além da utilização de geradores de onda, é
possível a utilização de sons pré-gravados
(manipulados ou não em tempo real), samplers
controlados por MIDI, além de manipulações
complexas e análise espectral.
REFERÊNCIAS BIBLIOGRÁFICAS
É esperada uma montagem rápida para execução
do projeto. Todo o processamento e posterior entrega
do áudio será realizado por um único computador,
devendo apenas haver conexão deste equipamento
com o sistema de som responsável dela difusão
sonora.
Alguns problemas são esperados, como a possível
realimentação causada pelo uso do microfone e
emissão dos sons manipulados pelo sistema de
difusão. A possibilidade de ocorrência deste
problema é diminuída pelo fato do som captado ser
altamente manipulado.
Outra questão a ser resolvida é o alcance da
webcam. A limitação da câmera integrada ao
equipamento pode comprometer a captura e diminuir
as possibilidades sonoras. Em uma elaboração futura
deste projeto é desejável a utilização de um
dispositivo externo, ou até mesmo o Microsoft
Kinect, que possibilitaria uma maior manipulação
das imagens, aumentando as possibilidades artísticas
de exploração do ambiente da instalação [6, 7].
[1] IRCAM, homepage. Página inicial. Disponível
[2]
[3]
[4]
[5]
[6]
[7]
Figura 4: Microsoft Kinect v.2, lançado em 2014.
6. PRÓXIMOS PASSOS
Enquanto esta instalação propõe a cobertura de
certa área delimitada pelo alcance da webcam
utilizada, há a possibilidade de uso de diversas
câmeras para cobrir toda a área da instalação. A
utilização do Microsoft Kinect pode também
fornecer novas possibilidades com a utilização de
captura de movimento, identificação de rosto e
esqueleto, entre outros. É possível que cada pessoa
dentro da instalação gere uma resposta diferente no
espaço sonoro virtual.
A utilização de microfones omnidirecionais pode
ampliar também a sensibilidade do patch na captura
4
em http://www.ircam.fr/. Acessado em
20/04/2014.
PURE DATA, homepage. Página Inicial.
Disponível em: http://puredata.info/. Acessado
em 19/04/2014.
HOALIBRARY, homepage. Presentation.
Disponível em:
http://www.mshparisnord.fr/hoalibrary/en/.
Acessado em 19/04/2014.
FARIA, R. R. A. ; ZUFFO, M. K. ; ZUFFO, J.
A. Improving spatial perception through
sound feld simulation in VR. In: VECIMS
2005 – IEEE Conference on Virtual
Environments, Human-Computer Interfaces and
Measurement Systems, 2005, Giardini Naxos.
Proceedings of the 2005 IEEE International
Conference on Virtual Environments, HumanComputer Interfaces and Measurement Systems,
2005. p. 103-108.
FORNARI, José. Designing Bodiless Musical
Instruments. Proceedings of AES Brasil. 8 – 10
maio 2012. Expo Center Norte. São Paulo.
Brasil. 2012.
BONGERS, Bert. Physical Interfaces in the
Electronic Arts. Interaction Theory and
Interfacing Techniques for Real-time
Performance. In M. Wanderley and M. Battier,
eds. Trends in Gestural Control of Music.
IRCAM – Centre Pompidou, pp. 41-70, 2000.
STEINER, Hans-Christoph. bang | pure data,
chapter Building your own instrument with Pd,
Wolke Verlag, 2006.Artigo disponível em
http://puredata.info/groups/pdgraz/label/book01/bang_09_steiner_72-79.pdf,
acessado em 29/07/2013 às 08h50.