Template Artigos para AES Brasil
Transcrição
Template Artigos para AES Brasil
Projeto referente ao programa “SAE Ação Cultural: Educação, Comunidade e Campus” 2014 da Universidade Estadual de Campinas – UNICAMP. Criação de espaço sonoro virtual interativo utilizando o software Pure Data e a biblioteca HoaLibrary Eduardo Aparecido Lopes Meneses Unicamp – Universidade Estadual de Campinas Campinas, SP, 13083-854, Brasil [email protected] RESUMO Este projeto propõe a criação de uma instalação interativa utilizando o software Pure Data (http://puredata.info/) e a biblioteca HoaLibrary (http://www.mshparisnord.fr/hoalibrary/). Esta instalação proporcionará um review acerca do HoaLibrary e sua interação com o PD (Pure Data). Para este projeto serão utilizados um notebook (ou equipamento similar capaz de rodar Pure Data com a biblioteca HoaLibrary), uma webcam (podendo ser integrada ao notebook mas preferencialmente externa), e equipamento com no mínimo 4 saídas de audio (ou outra adaptação que forneça o número de saídas necessárias). 0. INTRODUÇÃO O Pure Data é uma linguagem de programação de código aberto (open-source) originalmente desenvolvido no IRCAM1 por Miller Puckette [1] e idealizada para funcionar como uma partitura e possibilitar a manipulação de audio ou vídeo tanto em estúdio ou em tempo real. Esta programação é realizada através de plataforma visual e usualmente distribuído em duas versões: PD vanilla e PD extended. A versão vanilla possui apenas o núcleo de programação enquanto a versão extended acrescenta em sua distribuição diversas bibliotecas criadas por desenvolvedores independentes, incluindo renderização gráfica, comunicação via OSC2, processamento de arquivos binários, streaming, interação com sensores, entre outros [2]. Para a implementação de uma instalação quadrifônica com possibilidade de manipulação da posição de uma (ou várias) fonte(s) sonora(s) em um espaço sonoro virtual é necessária a utilização de bibliotecas criadas especificamente para este fim. Uma destas bibliotecas é a HoaLibrary. HoaLibrary (high Order Ambisonics Library) é uma biblioteca criada pelo CICM (Centre de recherche Informatique et Création Musicale) da Universidade Paris VIII para manipulação do espaço sonoro de forma visual por instrumentistas e 1 O Instituto de Pesquisa e Coordenação de Acústica/Música/ (Institut de Recherche et Coordination Acoustique/Musique) é uma renomada instituição de pesquisa fundada em 1970 por Pierre Boulez a pedido do então presidente francês Georges Pompidou e sediada em Paris. O IRCAM se dedica à pesquisa em música eletroacústica contemporânea. 2 Open Sound Control (OSC) é um protocolo de comunicação entre computadores, sintetizadores de som e outros dispositivos multimídia através de uma rede. As vantagens do OSC incluem o uso dos avanços tecnológicos das atuais redes de computadores, a interoperabilidade, a precisão, fexibilidade e maior organização e documentação. compositores, utilizando conceitos do Ambisonics para criar ambientes sonoros virtuais [3]. A biblioteca está disponível para FAUST, Max, PureData e VST pode sua instalação permite a utilização de ferramentas de manipulação do ambiente sonoro e sua conversão para difusão sonora em diversas configurações de auto-falantes. 1. PROPOSTA DE ESPAÇO SONORO INTERATIVO: Para aplicar os conceitos fundamentais de Ambisonics e analisar os programas envolvidos foi idealizado um espaço sonoro virtual composto por cinco fontes sonoras distribuídas livremente por este espaço virtual. O conteúdo sonoro gerado por estas fontes será formado por geradores de onda previamente programados, além de moduladores FM e AM e do som ambiente captado através de um microfone, e seu comportamento será determinado pelo “centro de gravidade” da luminosidade do ambiente, calculado através do objeto PIX_BLOB, presente no PD Extended, utilizando uma webcam. A localização destas fontes sonoras será controlada pelos objeto HOA.MAP, presente na HoaLibrary e pode ser movida livremente pelo espaço sonoro virtual. O mapeamento deste espaço sonoro e sua conversão para Ambisonics de 3ª ordem será feira pelos objetos HOA.OPTIM e HOA.DECODER. A configuração de caixas de som sugerida no ambiente de escuta é quadrifônica com posições em 45º, 135º, 225º e 315º. Caso haja mudanças na disposição das caixas este ajuste pode ser realizado em tempo real. Os equipamentos necessários para esta instalação são: um computador rodando PD Extended com HoaLibrary; uma webcam (podendo ser integrada ao computador); uma interface de audio com 4 canais de MENESES, E. A. L. CRIAÇÃO DE ESPAÇO SONORO INTERATIVO – PD E HOALIBRARY saída (ou adaptação equivalente); um sistema de som composto com 4 caixas amplificadas de som passíveis de equalização. É esperada que esta instalação atinga o nível 4 na escala de imersão sonora proposta por Regis Faria (et. al.): “Nível 4 permite a formação de um campo sonoro mais realístico e estável. Técnicas pantofônicas e perifônicas – como o Ambisonics, Ambiophonics e Wave Field Synthesis (WFS) - são capazes de fornecer este nível de qualidade espacial (ou superior). O mapeamento do mundo virtual em um espaço de escuta é mais preciso. É necessário no mínimo 4 alto-falantes e é exigido maior sincronismo de fase entre canais/caixas de som [4].” (Tradução do autor3). principais objetos, mas o conceito de manipulação sonora contido no software. 1.2 Criando o patch com os elementos necessários A utilização de webcam para manipulação sonora ou visual no PD requer objetos da biblioteca GEM 4. O PD Extended contém em sua distribuição todas as bibliotecas necessárias para a tarefa. Com todas as ferramentas citadas no item 1 até o momento já é possível criar o espaço sonoro projetado utilizando o PD. Utilizando um notebook, a entrada de microfone e webcam integradas ao equipamento, podemos programar um modulador FM, um modulador AM, e os geradores de onda necessários à tarefa. 1.1 Instalação da biblioteca HoaLibrary A instalação da biblioteca HoaLibrary para utilização no PD Extended se dá por simples cópia dos arquivos na pasta EXTRA do aplicativo. Após este processo, os objetos da biblioteca estarão disponíveis para uso, bem como os arquivos de ajuda estarão visíveis na seção correspondente. Figura 2: montagem da instalação interativa utilizando a quantidade mínima de caixas necessárias. Em amarelo temos a área estimada de atuação do microfone e da webcam integradas ao notebook. Estes elementos atuarão como módulos que receberão as informações de luminosidade da webcam e informação sonora do microfone, alterando os parâmetros de geração de onda e modulação (portadora e moduladora). Figura 1: Tela com diversos objetos da HoaLibrary. Imagem disponível em http://www.mshparisnord.fr/hoalibrary/en/downloads/puredata/. Como diversas outras bibliotecas, o HoaLibrary possui arquivos de ajuda, porém não possui nenhum tutorial de utilização. É procedimento comum criar arquivos de ajuda onde todas as informações referentes a determinado objeto se encontram na mesma página, facilitando assim a busca. No entanto, a ausência de um tutorial onde o usuário aprende, passo a passo, o funcionamento de cada objeto prejudica a curva de aprendizado. Estas cinco resultantes sonoras serão mixadas em tempo real utilizando a ferramenta HOA.MAP para criar o espaço sonoro virtual e passarão pelo codificador de ambisonics de 3ª ordem da HoaLibrary para posteriormente ter o sinal decodificado para 4 saídas (alto-falantes). Estes quatro sinais de saída são diretamente enviados às quatro caixas de som para criar o espaço de escuta da instalação. Um bom exemplo de tutorial eficiente é o próprio tutorial do PD, onde você aprende não somente os 3 Level 4 permits the formation of a stable and more realistic 2D sound feld. Pantophonic and periphonic techniques – such as Ambisonics, Ambiophonics, and Wave Field Synthesis (WFS) - are capable of delivering this level of spatial quality (and higher). Mapping of the virtual world onto local auditor area is more accurate. A minimum of 4 speakers is required, and phase synchronization between channels/speakers is more critical. 2 4 GEM (Graphics Environment for Multimedia) é uma linguagem de programação escrita por Mark Danks para geração de gráfcos computacionais em tempo real. Escrita originalmente para Max, atualmente o desenvolvimento do GEM está vinculado ao PD. MENESES, E. A. L. CRIAÇÃO DE ESPAÇO SONORO INTERATIVO – PD E HOALIBRARY novembro de 2014 em local a ser definido pelo Serviço de Apoio ao Estudante (SAE). 3. CRONOGRAMA O cronograma abaixo possui uma estimativa para execução das atividades previstas, podendo ser alterado de acordo com a necessidade do Serviço de Apoio ao Estudante (SAE). Figura 3: Imagem de um possível patch para criação de instalação e espaço sonoro proposto. Atividade Quinzena / Mês / Ano Revisão do patch criado Agosto / 2014 Encontro 1 – música e 2ª quinzena / Agosto / 2014 dispositivos tecnológicos 2. METODOLOGIA E JUSTIFICATIVA Encontro 2 – softwares 1ª quinzena / Setembro / 2014 de notação musical Durante o segundo semestre de 2014 serão realizados os procedimentos para a montagem desta instalação, incluindo a finalização do patch e os testes necessários para seu funcionamento, além dos testes com os equipamentos necessários. Verifcação de equipamentos e testes de Setembro / 2014 funcionamento Ao longo deste tempo, ocorrerão workshops quinzenais sobre Pure Data, live electronics e edição de audio. Nestes workshops teremos uma introdução aos programas de manipulação sonora em tempo real comumente utilizados para performance e instalação, além de atualizações do andamento do projeto. Defnição para local de Setembro / 2014 exibição Serão abordados nestes encontros a utilização de softwares de notação musical e edição de partitura (MuseScore e LilyPond); gravação, mixagem e edição sonora (Audacity) e manipulação sonora em tempo real (Pure Data, Max/MSP e Ableton Live). A maioria dos programas abordados é gratuito e de licença aberta, permitindo uma maior flexibilidade e experimentação por parte dos alunos e demais interessados. Encontro 5 – softwares de manipulação sonora 2ª quinzena / Outubro / 2014 em tempo real Este tema foi escolhido diante de observações realizadas ao longo do primeiro semestre de 2014 na disciplina Tópicos Especiais em Educação Musical “Desenvolvimento infantil e ensino musical” (MS108-A), ministrada pela professora Adriana N. A. Mendes. Ao longo desta disciplina alguns alunos observaram uma lacuna no aprendizado acadêmico na área de música e tecnologia. Grande parte dos alunos possui dificuldades relacionadas ao uso do computador como suporte para atividades relacionadas à música. Os workshops deste projeto pretendem fornecer informação básica para suprir esta lacuna, fornecendo ao ouvinte ferramentas que incentivem a autonomia e a busca por informações da área. Por se tratar de instalação é recomendada a exibição em local público e por um extenso prazo para que possa ser aproveitado pela comunidade acadêmica e visitantes. É esperada a conclusão da programação da instalação em outubro, possibilitando a exibição durante todo o mês de 3 Encontro 3 – gravação e 2ª quinzena / Setembro / 2014 edição de áudio Encontro 4 – ferramentas de apoio ao professor de 1ª quinzena / Outubro / 2014 música Início da exibição registro em vídeo Encontro 6 – Pure Data e 2ª quinzena / Outubro / 2014 1ª quinz. / Novembro / 2014 Montagem da exibição Novembro / 2014 para evento de fnalização Encontro 7 – Pure Data 2ª quinz. / Novembro / 2014 (2) Evento de fnalização das atividades Dezembro / 2014 4. EQUIPAMENTOS NECESSÁRIOS À INSTALAÇÃO • 01 computador (disponível durante todo o período de exibição da instalação); • 04 caixas acústicas ativas (quantidade mínima, recomendado 08 caixas), com pedestais OU 04 caixas acústicas passivas (quantidade mínima, recomendado 08 caixas) com pedestais e amplificador de potência (disponível durante todo o período de exibição da instalação); • 01 interface de áudio com número de canais de saída equivalentes à quantidade de caixas disponíveis (disponível durante todo o período de exibição da instalação); MENESES, E. A. L. CRIAÇÃO DE ESPAÇO SONORO INTERATIVO – PD E HOALIBRARY • 01 webcam compatível com o computador fornecido (disponível durante todo o período de exibição da instalação); • Cabos de ligação para as caixas, interface de áudio e o computador, bem como ponto de energia para os equipamentos solicitados. 5. EXPECTATIVA DE EXECUÇÃO DO PROJETO e manipulação de sons do próprio espaço, gerando texturas complexas e possibilitando o deslocamento de determinado som ocorrido através do espaço sonoro. Além da utilização de geradores de onda, é possível a utilização de sons pré-gravados (manipulados ou não em tempo real), samplers controlados por MIDI, além de manipulações complexas e análise espectral. REFERÊNCIAS BIBLIOGRÁFICAS É esperada uma montagem rápida para execução do projeto. Todo o processamento e posterior entrega do áudio será realizado por um único computador, devendo apenas haver conexão deste equipamento com o sistema de som responsável dela difusão sonora. Alguns problemas são esperados, como a possível realimentação causada pelo uso do microfone e emissão dos sons manipulados pelo sistema de difusão. A possibilidade de ocorrência deste problema é diminuída pelo fato do som captado ser altamente manipulado. Outra questão a ser resolvida é o alcance da webcam. A limitação da câmera integrada ao equipamento pode comprometer a captura e diminuir as possibilidades sonoras. Em uma elaboração futura deste projeto é desejável a utilização de um dispositivo externo, ou até mesmo o Microsoft Kinect, que possibilitaria uma maior manipulação das imagens, aumentando as possibilidades artísticas de exploração do ambiente da instalação [6, 7]. [1] IRCAM, homepage. Página inicial. Disponível [2] [3] [4] [5] [6] [7] Figura 4: Microsoft Kinect v.2, lançado em 2014. 6. PRÓXIMOS PASSOS Enquanto esta instalação propõe a cobertura de certa área delimitada pelo alcance da webcam utilizada, há a possibilidade de uso de diversas câmeras para cobrir toda a área da instalação. A utilização do Microsoft Kinect pode também fornecer novas possibilidades com a utilização de captura de movimento, identificação de rosto e esqueleto, entre outros. É possível que cada pessoa dentro da instalação gere uma resposta diferente no espaço sonoro virtual. A utilização de microfones omnidirecionais pode ampliar também a sensibilidade do patch na captura 4 em http://www.ircam.fr/. Acessado em 20/04/2014. PURE DATA, homepage. Página Inicial. Disponível em: http://puredata.info/. Acessado em 19/04/2014. HOALIBRARY, homepage. Presentation. Disponível em: http://www.mshparisnord.fr/hoalibrary/en/. Acessado em 19/04/2014. FARIA, R. R. A. ; ZUFFO, M. K. ; ZUFFO, J. A. Improving spatial perception through sound feld simulation in VR. In: VECIMS 2005 – IEEE Conference on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2005, Giardini Naxos. Proceedings of the 2005 IEEE International Conference on Virtual Environments, HumanComputer Interfaces and Measurement Systems, 2005. p. 103-108. FORNARI, José. Designing Bodiless Musical Instruments. Proceedings of AES Brasil. 8 – 10 maio 2012. Expo Center Norte. São Paulo. Brasil. 2012. BONGERS, Bert. Physical Interfaces in the Electronic Arts. Interaction Theory and Interfacing Techniques for Real-time Performance. In M. Wanderley and M. Battier, eds. Trends in Gestural Control of Music. IRCAM – Centre Pompidou, pp. 41-70, 2000. STEINER, Hans-Christoph. bang | pure data, chapter Building your own instrument with Pd, Wolke Verlag, 2006.Artigo disponível em http://puredata.info/groups/pdgraz/label/book01/bang_09_steiner_72-79.pdf, acessado em 29/07/2013 às 08h50.