Desenvolvimento e Aplicação de Ferramentas para
Transcrição
Desenvolvimento e Aplicação de Ferramentas para
Desenvolvimento e Aplicação de Ferramentas para Visualização em Música∗ Pedro Kroger 21 de agosto de 2011 Resumo A visualização de informações tem auxiliado para o aumento da compreensão de dados complexos em diversas áreas como estatística, estudos sociais, e música. A visualização de dados em música pode abranger uma gama ampla de tópicos como fuga, forma, contraponto, série dodecafônica, escalas, harmonia, e conjuntos de notas, beneficiando leigos e profissionais. Ainda assim, estudos mais rigorosos sobre a eficiência da visualização não tem sido feitos e os poucos estudos indicam que a visualização pode auxiliar estudantes a aprender melhor o material estudado. A hipótese principal dessa pesquisa é que visualizações gráficas podem contribuir para o entendimento de diferentes elementos musicais. Os principais objetivos são desenvolver ferramentas para visualização musical e desenvolver metodologias para a visualização de conteúdo musical. Sumário 1 Introdução 2 2 Objetivos 5 2.1 Objetivos Principais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Objetivos Secundários . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3 Revisão de Literatura 4 Justificativa 10 5 Clientela 10 6 Recursos Humanos e materiais 10 7 Metodologia e Cronograma 11 ∗ Aprovado pela congregação da EMUS em 26 de novembro de 2010 6 1 Introdução A área de visualização de informações procura aumentar a compreensão de dados complexos através de métodos de representação visual. Por exemplo, Hans Rosling demonstrou como a visualização de dados estatísticos pode ajudar no entendimento do desenvolvimento das nações em diversas áreas [25]. A fundação Gapminder, criada por Rosling, desenvolveu o software Trendalyzer (figura 1) com o propósito de “unveil the beauty of statistical time series by converting boring numbers into enjoyable, animated and interactive graphics.” [12] Figura 1: Instantâneo do software Trendalyzer A partir de 2008 a Universidade de Harvard começou a oferecer um curso específico de visualização de dados [24] com todo o material disponível na internet, inclusive gravações em vídeos das aulas. Isso demostra a crescente importância da visualização de dados para a academia, industria, e ciência. Em música, temos a mesma necessidade de visualizar elementos complexos em grande quantidade de dados de maneira simples (por exemplo, a Sinfonia No 9 de L. V. Beethoven tem aproximadamente 130.000 notas). É importante dispor de meios para visualizar relacionamentos entre materiais de maneira simples e concisa, tanto para especialistas quanto para leigos. Naturalmente, a ideia de reduzir uma música graficamente para análise não é nova. Por exemplo, Heinrich Schenker criou uma notação gráfica para evidenciar certos elementos musicais como Ursatz (estrutura fundamental) e Bassbrechung (arpejo do baixo esboçando um protótipo harmônico) [7]. A teoria dos contornos provê outro exemplo do uso de visualizações de elementos musicais. Contornos musicais são abstrações de estruturas musicais que podem ser representadas graficamente, e reconhecidas tanto por músicos quanto por leigos. Contornos podem ser representados e visualizados em gráficos como o da figura 2d. Esta figura pode ser usada para visualizar os contornos de altura da figura 2a, de densidades de acordes da 2 figura 2b, e de dinâmicas da figura 2c. Contornos musicais têm aplicação tanto em análise [1, 6, 10, 20, 22] quanto em composição musical [27]. (a) alturas no tempo (b) densidade de acordes no tempo altura 3 p ppp mf ff (c) dinâmicas no tempo 2 1 0 0 1 2 tempo 3 (d) representação do contorno < 1 0 2 3 > Figura 2: Contornos musicais < 1 0 2 3 > Um exemplo comum de visualização gráfica para análise é a redução analítica de obras dodecafônicas para evidenciar, dentre outras coisas, simetrias na série. Podemos ver um exemplo dessas análises no apêndice da tradução em português por Carlos Kater do Caminho para a música nova de A. Webern [35]. A figura 3 mostra a redução da Sinfonia opus 21, Movimento II, Variação I, onde cada cor indica uma transformação da série original. Figura 3: A. Webern, Sinfonia opus 21, Movimento II, Variação I A visualização de elementos musicais pode servir para fins educacionais, além de analíticos. O autor desse projeto usa uma redução de textura de Spem in Alium, obra para 40 vozes independentes (organizada em 8 coros de 5 vozes cada) de Thomas Tallis na disciplina Literatura e Estruturação Musical V para demonstrar como as entradas dos coros são utilizadas como determinante composicional. Podemos ver a redução da obra completa (10 minutos de música em quase 140 compassos) inteiramente na figura 4. Podemos ver claramente que cada coro entra gradativamente em ordem até atingir um tutti no compasso 40. Em seguida os coros entram em ordem reversa até atingir outro tutti no compasso 70. Uma vantagem óbvia de reduções gráficas é que se pode ter uma visão geral da obra de uma maneira rápida e condensada. A vi3 sualização da figura 4 é usada em uma disciplina avançada do curso de graduação em música mas poderia igualmente ser utilizada em um curso de apreciação para leigos em música. Figura 4: Redução analítica de Spem in Alium de T. Tallis Ainda na mesma disciplina, um dos alunos (Marcos da Silva Sampaio) fez como parte do trabalho final uma análise motívica do Concerto para Orquestra de B. Bartok (parte desse trabalho pode ser vista na figura 5). A visualização na permite ver a concentração de motivos em cerca de 80 compassos da composição. Figura 5: Visualização de motivos no Concerto para Orquestra de B. Bartok Um exemplo de visualização simples e efetiva é o vídeo “J.S. Bach - Crab Canon on a Möbius Strip” no Youtube [18] (figura 6). O Canon no. 1 a 2 (“Cancrizans”) da Oferenda Musical de J. S. Bach é escrito em apenas um pentagrama onde um executante toca normalmente enquanto o outro vira a partitura de cabeça para baixo, executando o retrógrado da inversão. O vídeo demonstra isso e o fato do final da composição estar ligado ao início, formando uma fita de Möbius (em topologia, uma superfície com apenas um lado e apenas uma fronteira). O número de acessos ao vídeo (quase 250.000) atesta a efetividade desse tipo de abordagem. Além disso, esse vídeo levanta um ponto importante—música é algo que ocorre no tempo, de modo que visualizações dinâmicas (como vídeos) ou interativas (como o MuSA.RT, ver seção 3) pode 4 ser mais adequadas em alguns casos. Figura 6: Vídeo “J.S. Bach - Crab Canon on a Möbius Strip” Como pudemos ver, a visualização gráfica de elementos musicais pode auxiliar no entendimento musical tanto para fins analíticos quanto educacionais. Podemos visualizar graficamente diversos elementos musicais como temas em fugas, contraponto, forma, séries dodecafônicas, escalas, harmonia, modos, e conjuntos de notas. Acredito ser necessário um estudo mais rigoroso da visualização em música e seu uso na análise e educação, aliado a um estudo das ferramentas computacionais existentes e a criação de novas ferramentas específicas para diferentes tipos de visualizações musicais. Além disso, evidência sugere que o retorno visual em tempo-real ajuda no aprendizado da afinação [36]. A hipótese principal dessa pesquisa é que visualizações gráficas podem contribuir para o entendimento de diferentes elementos musicais. 2 Objetivos 2.1 Objetivos Principais 1. Desenvolver ferramentas para visualização musical 2. Desenvolver metodologias para a visualização de conteúdo musical 2.2 Objetivos Secundários 1. Testar ferramentas existentes para visualização musical 2. Fazer experimentos para testar a eficácia de certos tipos de visualização 3. Escrever e apresentar artigos em congressos 4. Investigar a efetividade de visualizações estáticas e dinâmicas 5. Testar os resultados e materiais obtidos em centros de ensino e documentar a sua eficiência na compreensão dos alunos 5 3 Revisão de Literatura Uma revisão de literatura com o estado da arte de visualização em musica até 2005 pode ser vista em [15] e [23]. Para uma visão geral sobre visualização ver [11] e para ver mais sobre visualização utilizando Python (uma das linguagens de programação que usaremos, como pode ser visto na seção 7) ver [34]. A visualização de metadados (como nome de grupos musicais, compositor, e gênero musical) é um dos usos mais comuns da visualização em música, como podemos ver em [16, 21, 31, 32]. Devido ao fato de usuários possuírem dispositivos como o ipod capazes de armazenar milhares de faixas, tem-se desenvolvidos novas maneiras de visualizar, procurar e explorar bibliotecas musicais pessoais [33]. A figura 7 mostra o software desenvolvido por Torrens et al. [33] para a organização visual de playlists, onde cada setor do disco representa um gênero musical. Figura 7: Organização visual de playlists A visualização e análise de performances tem sido um objeto de pesquisa do projeto Eroica [13] e do projeto Mazurka [8]. O projeto Eroica reuniu 397 gravações da Sinfonia no. 3 de L. V. Beethoven e comparou a variação de tempo entre as performances. O gráfico na figura 8 mostra o andamento médio do primeiro movimento em termos de pulsações por minuto em relação ao ano da gravação. A gravação mais rápida é de Hermann Scherchen e a mais lenta é de Otto Klemperer. Os pontos em vermelhos indicam que a repetição foi feita, enquanto o ponto azul indica que a repetição não foi executada. O projeto Eroica mereceu uma aparição no The New Yorker, demonstrando o interesse desse tipo de abordagem fora do meio acadêmico: No less revealing is the graph for flexibility, or change of tempo within a movement. The hyper-expressive Wilhelm Furtwängler and Willem Mengelberg, not surprisingly, are champion fluctuators; Toscanini, true to his strict reputation, is much more consistent, although he is interestingly unpredictable when it comes to 6 Figura 8: Comparação de performances da Sinfonia no. 3 de L. V. Beethoven the first-movement recapitulation. The duration graph shows, as Grunin says, that “performances are getting longer, but not necessarily slower”; many more conductors these days take the repeat. The modern master of the glacial “Eroica” appears to be the late Japanese conductor Takashi Asahina, who, at the end of his life, led several performances that clocked in at around an hour. The age graph demonstrates that while many conductors slow down as they get older many others do not. And so on. Be prepared for an extended period of procrastination if you click on the link. [26] O projeto Mazurka [8], liderado por Nicholas Cook, analisou a performance de 367 Mazurkas de F. Chopin. Além de inúmeras comparações interessantes entre performances, um caso de plágio foi detectado utilizando essa metodologia [30]. O Sonic Visualiser [4], software para ver e analisar o conteúdo de arquivos de áudio, foi desenvolvido especialmente para o projeto mazurka (ver figura 9). A visualização de elementos musicais como forma e harmonia é relativamente comum e tem as vantagens citadas anteriormente (visualização rápida de largas seções de música em um espaço curto). A figura 10 mostra o diagrama formal de um minueto e trio da Sonata para Piano op. 2, no. 1, III de Beethoven produzido pela ferramenta Variations2 [15]. Como Isaacson coloca: Thematic similarities are depicted with both similar text labels and similar colors. The large ABA structure depicts the overall arrangement, minuet, trio, and shortened minuet repeat. Internal bubbles reveal the essential bipartite division of each of those sections, while the ||: a :||: b a :|| structure of the A and B sections are apparent at the lowest level. Derived from a recorded performance, the sections 7 Figura 9: O Sonic Visualiser in this diagram are shown proportional to real, not musical time. (Numbers below the diagram are measure numbers.) [15] Figura 10: Diagrama formal da Sonata para Piano op. 2, no. 1, III de Beethoven O projeto MuSA.RT [5, 19], conduzido pela Dra. Chew, usa uma visualização em espiral tomando como base o espaço de alturas de Lerdahl [17]. ([3] é um outro projeto de visualização usando esse espaço de alturas). Um trecho da espiral básica pode ser visto na figura 11. Um dos pontos interessantes nesse projeto é o fato da análise ser efetuada enquanto o executante toca a música. Figura 11: Espiral harmônica no espaço de alturas de Lerdahl A figura 12 mostra um instantâneo do MuSA.RT, um sistema interativo para efetuar análise 8 harmônica de um modo visual, onde o triângulo indica uma tríade sendo tocada e as linhas verdes o caminho harmônico até o momento. Figura 12: Trajetória traçada pelo Centro de Efeito local no Canon de Pachelbel Na opinião do autor desse projeto, a análise harmônica gráfica efetuada pelo Keyscape [29, 28] representa um dos avanços mais significativo na área da visualização de análise harmônica por computador. Podemos ver na figura 13 a análise da Sinfonia no. 5, I de L. V. Beethoven feita pelo keyscape. Cada cor representa uma tonalidade (por exemplo, verde escuro representa dó menor) e cada “linha” representa um grau de granularidade da análise tonal. Por exemplo, o topo está todo em verde indicando que a tonalidade principal do movimento é dó menor, enquanto a linha inferior mostra diversas áreas tonais usando cores diferentes. Figura 13: Análise Sinfonia no. 5, I, L. V. Beethoven Como pudemos ver, tem-se pesquisado novas maneiras de visualizar metadados, performances musicais, e elementos musicais como forma e harmonia. Os resultados de pesquisas como o MuSA.RT [5] e keyscape [29] são animadores mas acredito que estamos apenas iniciando uma nova era na pesquisa sobre visualização em música. É necessário a criação de maneiras de visualizar diversos elementos musicais como temas, motivos e notas melódicas que sejam efetivos e práticos. 9 4 Justificativa A visualização de informações tem auxiliado para o aumento da compreensão de dados complexos em diversas áreas como estatística, estudos sociais, e música. A visualização de dados em música pode abranger uma gama ampla de tópicos como fuga, forma, contraponto, série dodecafônica, escalas, harmonia, e conjuntos de notas, beneficiando leigos e profissionais. Ainda assim, estudos mais rigorosos sobre a eficiência da visualização não tem sido feitos e os poucos estudos indicam que a visualização pode auxiliar estudantes a aprender melhor o material estudado [36]. 5 Clientela Compositores, teóricos, e professores de disciplinas como harmonia e contraponto podem se beneficiar de exemplos como a redução de Spem in Alium na figura 4 para ilustrar pontos específicos aos seus alunos. Educadores em geral e de apreciação musical em particular podem apresentar tópicos musicais de maneira mais acessível a uma clientela não-profissional. Desse modo, acredito que o resultado dessa pesquisa pode beneficiar compositores, teóricos, educadores, e o público mais geral interessado em música. 6 Recursos Humanos e materiais Para essa pesquisa contaremos com os recursos físicos do Grupo de Pesquisa Genos além de equipamento dos próprios membros da equipe. Espera-se ter oito participantes no total (3 professores, 1 aluno de doutorado, 2 alunos de mestrado e 2 alunos de graduação), contando com dois possíveis bolsistas do PIBIC. Os participantes dessa pesquisa serão: 1. Dr. Pedro Kroger, professor e coordenador 2. Me. Mara Pinheiro Menezes, professora 3. Me. Marcos da Silva Sampaio, professor e coordenador 4. Jean Menezes da Rocha, aluno mestrado (provável ingresso no doutorado em 2011) 5. Natanael Ourives, aluno graduação (provável ingresso no mestrado em 2011) 6. Dennis Carvalho, aluno graduação (provável ingresso no mestrado em 2011) 7. Francis Strappa, aluna graduação, bolsista PIBIC (a ser solicitado) 8. Bolsista PIBIC (a ser solicitado) 10 7 Metodologia e Cronograma Usaremos ferramentas como o Google Docs1 , Github2 , Dropbox3 , e Google Groups4 para cooperação e colaboração; programas para musicologia computacional como o Music21 [9] e Humdrum [14]; e bibliotecas de visualização como Protovis [2] e Google Chart Tools5 . As ferramentas de visualização serão desenvolvidas principalmente utilizando as linguagens de programação Python6 e Javascript. Como essa é uma pesquisa exploratória, algumas questões serão respondidas durante o processo de pesquisa enquanto outras aparecerão. E como é comum em pesquisas exploratórias, o próprio processo metodológico será mais detalhado à medida que os problemas forem melhor definidos. Além disso, nem sempre é possível contar antecipadamente com recursos como bolsas para alunos e materiais. Dessa maneira eu proponho um calendário geral para os próximos quatro anos que poderá ser modificado de acordo com os resultados de pesquisa e recursos materiais obtidos. Finalmente, dentro do possível escreveremos projetos para captar recursos perante as agências de fomento e escreveremos artigos para congressos e periódicos da área. Ano 2011 1. Revisão extensa de literatura 2. Revisão e teste de ferramentas existentes para visualização 3. Treinamento dos membros da equipe 4. Escrita de artigos e apresentação em congressos Ano 2012 1. Exploração das ferramentas existentes para visualizações 2. Desenvolvimento de ferramentas próprias para visualizações específicas (como em Fugas, Sonatas, etc) 3. Análises musicais utilizando as visualizações criadas 4. Criação de metodologias de análise utilizando visualizações 5. Escrita de artigos e apresentação em congressos 1 http://docs.google.com http://github.com 3 http://dropbox.com 4 http://groups.google.com 5 http://code.google.com/apis/charttools 6 http://python.org 2 11 Ano 2013 1. Avaliação do material gerado no ano anterior 2. Avaliação das metodologias de análise 3. Criação de novas ferramentas da análise e metodologias, se necessário 4. Escrita de artigos e apresentação em congressos Ano 2014 1. Empacotamento e refinamento das ferramentas 2. Avaliação final dos resultados 3. Apresentação dos resultados 4. Escrita de artigos e apresentação em congressos 12 Referências [1] R. Daniel Beard. Contour Modeling by Multiple Linear Regression of the Nineteen Piano Sonatas by Mozart. Phd diss., The Florida State University. School of Music, 2003. [2] Michael Bostock and Jeffrey Heer. Protovis: A graphical toolkit for visualization. IEEE Transactions on Visualization and Computer Graphics, 15:1121–1128, 2009. [3] J. Ashley Burgoyne and Lawrence K. Saul. Visualization of low dimensional structure in tonal pitch space. In Proceedings of the International Computer Music Conference, 2005. [4] Chris Cannam, Christian Landone, Mark Sandler, and Juan Pablo Bello. The Sonic Visualizer: A Visualization Platform for Semantic Descriptors from Music Signals. In Proceedings of ISMIR 2006, pages 324–327, Victoria, Canada, October 2006. University of Victoria. [5] Elaine Chew and Alexandre R. J. Francois. Interactive multi-scale visualizations of tonal evolution in MuSA.RT Opus 2. Computers in Entertainment, 3(4):3, October 2005. [6] Robert John Clifford. Contour as a structural element in selected pre-serial works by Anton Webern. Phd diss., University of Wisconsin-Madison, 1995. [7] Nicholas Cook. A guide to musical analysis. J.M.Dent, London, 1987. [8] Nicholas Cook. The mazurka project, 2010. Disponível em http://www.mazurka. org.uk/. [9] Michael Scott Cuthbert and Christopher Ariza. Music21: A toolkit for computer-aided musicology and symbolic music data. In Proceedings of ISMIR 2010, 2010. [10] Michael L. Friedmann. A methodology for the discussion of contour: its application to schoenberg’s music. Journal of Music Theory, 29(2):223–48, 1985. [11] Ben Fry. Visualizing Data: Exploring and Explaining Data with the Processing Environment. O’Reilly Media, 2007. [12] Gapminder. About gapminder, 2010. Disponível em http://www.gapminder.org/ about-gapminder/our-mission/. [13] Eric Grunin. The eroica project, 2010. Disponível em http://www.grunin.com/ eroica/index.htm. [14] David Huron. Music information processing using the Humdrum Toolkit: Concepts, examples, and lessons. Computer Music Journal, 26(2):11–26, 2002. [15] Eric Isaacson. What You See Is What You Get: on Visualizing Music. In Proceedings of ISMIR 2005, pages 389–395, London, UK, September 2005. University of London. [16] Stefan Leitich and Martin Topf. Globe of Music - Music Library Visualization Using Geosom. In Proceedings of ISMIR 2007, pages 167–170, Vienna, Austria, September 2007. Österreichische Computer Gesellschaft. 13 [17] Fred Lerdahl. Tonal Pitch Space. Oxford University Press, 2005. [18] Jos Leys and Xantox. J.s. bach - crab canon on a möbius strip, 2009. Vídeo disponível em http://www.youtube.com/watch?v=xUHQ2ybTejU&feature=related. [19] Arpi Mardirossian and Elaine Chew. Visualizing Music: Tonal Progressions and Distributions. In Proceedings of ISMIR 2007, pages 189–194, Vienna, Austria, September 2007. Österreichische Computer Gesellschaft. [20] Elizabeth West Marvin. A generalized theory of musical contour: its application to melodic and rhythmic analysis of non-tonal music and its perceptual and pedagogical implications. PhD thesis, University of Rochester, 1988. [21] Fabian Mörchen, Alfred Ultsch, Mario Nöcker, and Christian Stamm. Databionic Visualization of Music Collections According to Perceptual Distance. In Proceedings of ISMIR 2005, pages 396–403, London, UK, September 2005. University of London. [22] Robert Daniel Morris. New directions in the theory and analysis of musical contour. Music Theory Spectrum, xv:205–28, 1993. [23] Elias Pampalk and Stephan Baumann. Music Similarity and Visualization for Music IR. In Proceedings of ISMIR 2005, London, UK, September 2005. University of London. [24] Hanspeter Pfister. Cs 171 visualization, 2009. Disponível em http://www.cs171.org. [25] Hans Rosling. Hans rosling shows the best stats you’ve ever seen, 2006. Vídeo disponível em http://www.ted.com/talks/hans_rosling_shows_the_best_stats_ you_ve_ever_seen.html. [26] Alex Ross. Decoding the “eroica”. The New Yorker: Notes on music, 2009. Dis- ponível em http://www.newyorker.com/online/blogs/alexross/2009/12/ decoding-the-eroica.html. [27] Marcos da Silva Sampaio. Em torno da romã: aplicações de operações de contornos na composição. Master’s thesis, Universidade Federal da Bahia, Salvador, BA, 2008. [28] Craig Sapp. Harmonic visualizations of tonal music. In Proceedings of the International Computer Music Conference, volume 1001, pages 423–430. Citeseer, 2001. [29] Craig Sapp. Visual hierarchical key analysis. Computers in Entertainment (CIE), 3(4):3, October 2005. [30] Craig Sapp. Performance authenticity: a case study of the concert artist label. In Proceedings of the Association of Recorded Sound Collections Conference, 2008. [31] Markus Schedl, Peter Knees, and Gerhard Widmer. Discovering and Visualizing Prototypical Artists by Web-Based Co-Occurrence Analysis. In Proceedings of ISMIR 2005, pages 21–28, London, UK, September 2005. University of London. 14 [32] Markus Schedl, T Pohle, P Knees, and G Widmer. Assigning and Visualizing Music Genres by Web-based Co-Occurance Analysis. In Proceedings of ISMIR 2006, pages 260–265, Victoria, Canada, October 2006. University of Victoria. [33] Marc Torrens, Patrick Hertzog, and Josep Lluis Arcos. Visualizing and Exploring Personal Music Libraries. In Proceedings of ISMIR 2006, pages 421–424, Barcelona, Spain, October 2004. Universitat Pompeu Fabra. [34] Shai Vaingast. Beginning Python Visualization: Crafting Visual Transformation Scripts. Apress, 2009. [35] Anton Webern. O Caminho para a Música Nova. Novas Metas, São Paulo, 1984. Trad. Carlos Kater. [36] PH Wilson, Kerrie Lee, Jean Callaghan, and CW. Learning to sing in tune: Does real-time visual feedback help? In Conference on Interdisciplinary Musicology, 2007. 15
Documentos relacionados
Como criar visualizações impactantes
Todas essas histórias têm uma coisa em comum: elas mostram como a percepção humana é poderosa. Mesmo assim, nossas percepções podem ser auxiliadas e ampliadas por recursos visuais. Por exemplo, obs...
Leia mais