Desenvolvimento e Aplicação de Ferramentas para

Desenvolvimento e Aplicação de Ferramentas para
Visualização em Música∗
Pedro Kroger
21 de agosto de 2011
Resumo
A visualização de informações tem auxiliado para o aumento da compreensão de dados
complexos em diversas áreas como estatística, estudos sociais, e música. A visualização de
dados em música pode abranger uma gama ampla de tópicos como fuga, forma, contraponto, série dodecafônica, escalas, harmonia, e conjuntos de notas, beneficiando leigos e
profissionais. Ainda assim, estudos mais rigorosos sobre a eficiência da visualização não
tem sido feitos e os poucos estudos indicam que a visualização pode auxiliar estudantes a
aprender melhor o material estudado.
A hipótese principal dessa pesquisa é que visualizações gráficas podem contribuir para
o entendimento de diferentes elementos musicais. Os principais objetivos são desenvolver
ferramentas para visualização musical e desenvolver metodologias para a visualização de
conteúdo musical.
Sumário
1
Introdução
2
2
Objetivos
5
2.1
Objetivos Principais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.2
Objetivos Secundários . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
3
Revisão de Literatura
4
Justificativa
10
5
Clientela
10
6
Recursos Humanos e materiais
10
7
Metodologia e Cronograma
11
∗
Aprovado pela congregação da EMUS em 26 de novembro de 2010
6
1
Introdução
A área de visualização de informações procura aumentar a compreensão de dados complexos
através de métodos de representação visual. Por exemplo, Hans Rosling demonstrou como
a visualização de dados estatísticos pode ajudar no entendimento do desenvolvimento das
nações em diversas áreas [25]. A fundação Gapminder, criada por Rosling, desenvolveu o
software Trendalyzer (figura 1) com o propósito de “unveil the beauty of statistical time series
by converting boring numbers into enjoyable, animated and interactive graphics.” [12]
Figura 1: Instantâneo do software Trendalyzer
A partir de 2008 a Universidade de Harvard começou a oferecer um curso específico de
visualização de dados [24] com todo o material disponível na internet, inclusive gravações
em vídeos das aulas. Isso demostra a crescente importância da visualização de dados para a
academia, industria, e ciência.
Em música, temos a mesma necessidade de visualizar elementos complexos em grande
quantidade de dados de maneira simples (por exemplo, a Sinfonia No 9 de L. V. Beethoven
tem aproximadamente 130.000 notas). É importante dispor de meios para visualizar relacionamentos entre materiais de maneira simples e concisa, tanto para especialistas quanto para
leigos.
Naturalmente, a ideia de reduzir uma música graficamente para análise não é nova. Por
exemplo, Heinrich Schenker criou uma notação gráfica para evidenciar certos elementos musicais como Ursatz (estrutura fundamental) e Bassbrechung (arpejo do baixo esboçando um protótipo harmônico) [7]. A teoria dos contornos provê outro exemplo do uso de visualizações de
elementos musicais. Contornos musicais são abstrações de estruturas musicais que podem ser
representadas graficamente, e reconhecidas tanto por músicos quanto por leigos. Contornos
podem ser representados e visualizados em gráficos como o da figura 2d. Esta figura pode
ser usada para visualizar os contornos de altura da figura 2a, de densidades de acordes da
2
figura 2b, e de dinâmicas da figura 2c. Contornos musicais têm aplicação tanto em análise
[1, 6, 10, 20, 22] quanto em composição musical [27].
(a) alturas no tempo
(b) densidade de acordes no tempo
altura
3
p ppp
mf ff
(c) dinâmicas no tempo
2
1
0
0
1
2
tempo
3
(d) representação do contorno < 1 0 2 3 >
Figura 2: Contornos musicais < 1 0 2 3 >
Um exemplo comum de visualização gráfica para análise é a redução analítica de obras dodecafônicas para evidenciar, dentre outras coisas, simetrias na série. Podemos ver um exemplo
dessas análises no apêndice da tradução em português por Carlos Kater do Caminho para a música nova de A. Webern [35]. A figura 3 mostra a redução da Sinfonia opus 21, Movimento II,
Variação I, onde cada cor indica uma transformação da série original.
Figura 3: A. Webern, Sinfonia opus 21, Movimento II, Variação I
A visualização de elementos musicais pode servir para fins educacionais, além de analíticos. O autor desse projeto usa uma redução de textura de Spem in Alium, obra para 40 vozes
independentes (organizada em 8 coros de 5 vozes cada) de Thomas Tallis na disciplina Literatura e Estruturação Musical V para demonstrar como as entradas dos coros são utilizadas como
determinante composicional. Podemos ver a redução da obra completa (10 minutos de música
em quase 140 compassos) inteiramente na figura 4. Podemos ver claramente que cada coro entra gradativamente em ordem até atingir um tutti no compasso 40. Em seguida os coros entram
em ordem reversa até atingir outro tutti no compasso 70. Uma vantagem óbvia de reduções
gráficas é que se pode ter uma visão geral da obra de uma maneira rápida e condensada. A vi3
sualização da figura 4 é usada em uma disciplina avançada do curso de graduação em música
mas poderia igualmente ser utilizada em um curso de apreciação para leigos em música.
Figura 4: Redução analítica de Spem in Alium de T. Tallis
Ainda na mesma disciplina, um dos alunos (Marcos da Silva Sampaio) fez como parte
do trabalho final uma análise motívica do Concerto para Orquestra de B. Bartok (parte desse
trabalho pode ser vista na figura 5). A visualização na permite ver a concentração de motivos
em cerca de 80 compassos da composição.
Figura 5: Visualização de motivos no Concerto para Orquestra de B. Bartok
Um exemplo de visualização simples e efetiva é o vídeo “J.S. Bach - Crab Canon on a
Möbius Strip” no Youtube [18] (figura 6). O Canon no. 1 a 2 (“Cancrizans”) da Oferenda Musical
de J. S. Bach é escrito em apenas um pentagrama onde um executante toca normalmente enquanto o outro vira a partitura de cabeça para baixo, executando o retrógrado da inversão. O
vídeo demonstra isso e o fato do final da composição estar ligado ao início, formando uma fita
de Möbius (em topologia, uma superfície com apenas um lado e apenas uma fronteira). O número de acessos ao vídeo (quase 250.000) atesta a efetividade desse tipo de abordagem. Além
disso, esse vídeo levanta um ponto importante—música é algo que ocorre no tempo, de modo
que visualizações dinâmicas (como vídeos) ou interativas (como o MuSA.RT, ver seção 3) pode
4
ser mais adequadas em alguns casos.
Figura 6: Vídeo “J.S. Bach - Crab Canon on a Möbius Strip”
Como pudemos ver, a visualização gráfica de elementos musicais pode auxiliar no entendimento musical tanto para fins analíticos quanto educacionais. Podemos visualizar graficamente diversos elementos musicais como temas em fugas, contraponto, forma, séries dodecafônicas, escalas, harmonia, modos, e conjuntos de notas.
Acredito ser necessário um estudo mais rigoroso da visualização em música e seu uso na
análise e educação, aliado a um estudo das ferramentas computacionais existentes e a criação
de novas ferramentas específicas para diferentes tipos de visualizações musicais. Além disso,
evidência sugere que o retorno visual em tempo-real ajuda no aprendizado da afinação [36].
A hipótese principal dessa pesquisa é que visualizações gráficas podem contribuir para o
entendimento de diferentes elementos musicais.
2
Objetivos
2.1
Objetivos Principais
1. Desenvolver ferramentas para visualização musical
2. Desenvolver metodologias para a visualização de conteúdo musical
2.2
Objetivos Secundários
1. Testar ferramentas existentes para visualização musical
2. Fazer experimentos para testar a eficácia de certos tipos de visualização
3. Escrever e apresentar artigos em congressos
4. Investigar a efetividade de visualizações estáticas e dinâmicas
5. Testar os resultados e materiais obtidos em centros de ensino e documentar a sua eficiência na compreensão dos alunos
5
3
Revisão de Literatura
Uma revisão de literatura com o estado da arte de visualização em musica até 2005 pode ser
vista em [15] e [23]. Para uma visão geral sobre visualização ver [11] e para ver mais sobre
visualização utilizando Python (uma das linguagens de programação que usaremos, como
pode ser visto na seção 7) ver [34].
A visualização de metadados (como nome de grupos musicais, compositor, e gênero musical) é um dos usos mais comuns da visualização em música, como podemos ver em [16, 21, 31,
32]. Devido ao fato de usuários possuírem dispositivos como o ipod capazes de armazenar
milhares de faixas, tem-se desenvolvidos novas maneiras de visualizar, procurar e explorar
bibliotecas musicais pessoais [33]. A figura 7 mostra o software desenvolvido por Torrens et
al. [33] para a organização visual de playlists, onde cada setor do disco representa um gênero
musical.
Figura 7: Organização visual de playlists
A visualização e análise de performances tem sido um objeto de pesquisa do projeto Eroica
[13] e do projeto Mazurka [8].
O projeto Eroica reuniu 397 gravações da Sinfonia no. 3 de L. V. Beethoven e comparou a
variação de tempo entre as performances. O gráfico na figura 8 mostra o andamento médio do
primeiro movimento em termos de pulsações por minuto em relação ao ano da gravação. A
gravação mais rápida é de Hermann Scherchen e a mais lenta é de Otto Klemperer. Os pontos
em vermelhos indicam que a repetição foi feita, enquanto o ponto azul indica que a repetição
não foi executada.
O projeto Eroica mereceu uma aparição no The New Yorker, demonstrando o interesse desse
tipo de abordagem fora do meio acadêmico:
No less revealing is the graph for flexibility, or change of tempo within a movement. The hyper-expressive Wilhelm Furtwängler and Willem Mengelberg, not
surprisingly, are champion fluctuators; Toscanini, true to his strict reputation, is
much more consistent, although he is interestingly unpredictable when it comes to
6
Figura 8: Comparação de performances da Sinfonia no. 3 de L. V. Beethoven
the first-movement recapitulation. The duration graph shows, as Grunin says, that
“performances are getting longer, but not necessarily slower”; many more conductors these days take the repeat. The modern master of the glacial “Eroica” appears
to be the late Japanese conductor Takashi Asahina, who, at the end of his life, led
several performances that clocked in at around an hour. The age graph demonstrates that while many conductors slow down as they get older many others do
not. And so on. Be prepared for an extended period of procrastination if you click
on the link. [26]
O projeto Mazurka [8], liderado por Nicholas Cook, analisou a performance de 367 Mazurkas
de F. Chopin. Além de inúmeras comparações interessantes entre performances, um caso de
plágio foi detectado utilizando essa metodologia [30]. O Sonic Visualiser [4], software para ver
e analisar o conteúdo de arquivos de áudio, foi desenvolvido especialmente para o projeto
mazurka (ver figura 9).
A visualização de elementos musicais como forma e harmonia é relativamente comum e
tem as vantagens citadas anteriormente (visualização rápida de largas seções de música em
um espaço curto).
A figura 10 mostra o diagrama formal de um minueto e trio da Sonata para Piano op. 2, no.
1, III de Beethoven produzido pela ferramenta Variations2 [15]. Como Isaacson coloca:
Thematic similarities are depicted with both similar text labels and similar colors.
The large ABA structure depicts the overall arrangement, minuet, trio, and shortened minuet repeat. Internal bubbles reveal the essential bipartite division of each
of those sections, while the ||: a :||: b a :|| structure of the A and B sections are
apparent at the lowest level. Derived from a recorded performance, the sections
7
Figura 9: O Sonic Visualiser
in this diagram are shown proportional to real, not musical time. (Numbers below
the diagram are measure numbers.) [15]
Figura 10: Diagrama formal da Sonata para Piano op. 2, no. 1, III de Beethoven
O projeto MuSA.RT [5, 19], conduzido pela Dra. Chew, usa uma visualização em espiral
tomando como base o espaço de alturas de Lerdahl [17]. ([3] é um outro projeto de visualização
usando esse espaço de alturas). Um trecho da espiral básica pode ser visto na figura 11. Um
dos pontos interessantes nesse projeto é o fato da análise ser efetuada enquanto o executante
toca a música.
Figura 11: Espiral harmônica no espaço de alturas de Lerdahl
A figura 12 mostra um instantâneo do MuSA.RT, um sistema interativo para efetuar análise
8
harmônica de um modo visual, onde o triângulo indica uma tríade sendo tocada e as linhas
verdes o caminho harmônico até o momento.
Figura 12: Trajetória traçada pelo Centro de Efeito local no Canon de Pachelbel
Na opinião do autor desse projeto, a análise harmônica gráfica efetuada pelo Keyscape [29,
28] representa um dos avanços mais significativo na área da visualização de análise harmônica
por computador. Podemos ver na figura 13 a análise da Sinfonia no. 5, I de L. V. Beethoven feita
pelo keyscape. Cada cor representa uma tonalidade (por exemplo, verde escuro representa dó
menor) e cada “linha” representa um grau de granularidade da análise tonal. Por exemplo,
o topo está todo em verde indicando que a tonalidade principal do movimento é dó menor,
enquanto a linha inferior mostra diversas áreas tonais usando cores diferentes.
Figura 13: Análise Sinfonia no. 5, I, L. V. Beethoven
Como pudemos ver, tem-se pesquisado novas maneiras de visualizar metadados, performances musicais, e elementos musicais como forma e harmonia. Os resultados de pesquisas
como o MuSA.RT [5] e keyscape [29] são animadores mas acredito que estamos apenas iniciando uma nova era na pesquisa sobre visualização em música. É necessário a criação de
maneiras de visualizar diversos elementos musicais como temas, motivos e notas melódicas
que sejam efetivos e práticos.
9
4
Justificativa
A visualização de informações tem auxiliado para o aumento da compreensão de dados complexos em diversas áreas como estatística, estudos sociais, e música. A visualização de dados
em música pode abranger uma gama ampla de tópicos como fuga, forma, contraponto, série dodecafônica, escalas, harmonia, e conjuntos de notas, beneficiando leigos e profissionais.
Ainda assim, estudos mais rigorosos sobre a eficiência da visualização não tem sido feitos e
os poucos estudos indicam que a visualização pode auxiliar estudantes a aprender melhor o
material estudado [36].
5
Clientela
Compositores, teóricos, e professores de disciplinas como harmonia e contraponto podem se
beneficiar de exemplos como a redução de Spem in Alium na figura 4 para ilustrar pontos específicos aos seus alunos. Educadores em geral e de apreciação musical em particular podem
apresentar tópicos musicais de maneira mais acessível a uma clientela não-profissional. Desse
modo, acredito que o resultado dessa pesquisa pode beneficiar compositores, teóricos, educadores, e o público mais geral interessado em música.
6
Recursos Humanos e materiais
Para essa pesquisa contaremos com os recursos físicos do Grupo de Pesquisa Genos além de
equipamento dos próprios membros da equipe. Espera-se ter oito participantes no total (3
professores, 1 aluno de doutorado, 2 alunos de mestrado e 2 alunos de graduação), contando
com dois possíveis bolsistas do PIBIC. Os participantes dessa pesquisa serão:
1. Dr. Pedro Kroger, professor e coordenador
2. Me. Mara Pinheiro Menezes, professora
3. Me. Marcos da Silva Sampaio, professor e coordenador
4. Jean Menezes da Rocha, aluno mestrado (provável ingresso no doutorado em 2011)
5. Natanael Ourives, aluno graduação (provável ingresso no mestrado em 2011)
6. Dennis Carvalho, aluno graduação (provável ingresso no mestrado em 2011)
7. Francis Strappa, aluna graduação, bolsista PIBIC (a ser solicitado)
8. Bolsista PIBIC (a ser solicitado)
10
7
Metodologia e Cronograma
Usaremos ferramentas como o Google Docs1 , Github2 , Dropbox3 , e Google Groups4 para cooperação e colaboração; programas para musicologia computacional como o Music21 [9] e
Humdrum [14]; e bibliotecas de visualização como Protovis [2] e Google Chart Tools5 . As
ferramentas de visualização serão desenvolvidas principalmente utilizando as linguagens de
programação Python6 e Javascript.
Como essa é uma pesquisa exploratória, algumas questões serão respondidas durante o
processo de pesquisa enquanto outras aparecerão. E como é comum em pesquisas exploratórias, o próprio processo metodológico será mais detalhado à medida que os problemas forem
melhor definidos.
Além disso, nem sempre é possível contar antecipadamente com recursos como bolsas para
alunos e materiais. Dessa maneira eu proponho um calendário geral para os próximos quatro
anos que poderá ser modificado de acordo com os resultados de pesquisa e recursos materiais
obtidos. Finalmente, dentro do possível escreveremos projetos para captar recursos perante as
agências de fomento e escreveremos artigos para congressos e periódicos da área.
Ano 2011
1. Revisão extensa de literatura
2. Revisão e teste de ferramentas existentes para visualização
3. Treinamento dos membros da equipe
4. Escrita de artigos e apresentação em congressos
Ano 2012
1. Exploração das ferramentas existentes para visualizações
2. Desenvolvimento de ferramentas próprias para visualizações específicas (como em Fugas, Sonatas, etc)
3. Análises musicais utilizando as visualizações criadas
4. Criação de metodologias de análise utilizando visualizações
5. Escrita de artigos e apresentação em congressos
1
http://docs.google.com
http://github.com
3
http://dropbox.com
4
http://groups.google.com
5
http://code.google.com/apis/charttools
6
http://python.org
2
11
Ano 2013
1. Avaliação do material gerado no ano anterior
2. Avaliação das metodologias de análise
3. Criação de novas ferramentas da análise e metodologias, se necessário
4. Escrita de artigos e apresentação em congressos
Ano 2014
1. Empacotamento e refinamento das ferramentas
2. Avaliação final dos resultados
3. Apresentação dos resultados
4. Escrita de artigos e apresentação em congressos
12
Referências
[1] R. Daniel Beard. Contour Modeling by Multiple Linear Regression of the Nineteen Piano Sonatas
by Mozart. Phd diss., The Florida State University. School of Music, 2003.
[2] Michael Bostock and Jeffrey Heer. Protovis: A graphical toolkit for visualization. IEEE
Transactions on Visualization and Computer Graphics, 15:1121–1128, 2009.
[3] J. Ashley Burgoyne and Lawrence K. Saul. Visualization of low dimensional structure in
tonal pitch space. In Proceedings of the International Computer Music Conference, 2005.
[4] Chris Cannam, Christian Landone, Mark Sandler, and Juan Pablo Bello. The Sonic Visualizer: A Visualization Platform for Semantic Descriptors from Music Signals. In Proceedings
of ISMIR 2006, pages 324–327, Victoria, Canada, October 2006. University of Victoria.
[5] Elaine Chew and Alexandre R. J. Francois. Interactive multi-scale visualizations of tonal
evolution in MuSA.RT Opus 2. Computers in Entertainment, 3(4):3, October 2005.
[6] Robert John Clifford. Contour as a structural element in selected pre-serial works by Anton
Webern. Phd diss., University of Wisconsin-Madison, 1995.
[7] Nicholas Cook. A guide to musical analysis. J.M.Dent, London, 1987.
[8] Nicholas Cook. The mazurka project, 2010. Disponível em http://www.mazurka.
org.uk/.
[9] Michael Scott Cuthbert and Christopher Ariza. Music21: A toolkit for computer-aided
musicology and symbolic music data. In Proceedings of ISMIR 2010, 2010.
[10] Michael L. Friedmann. A methodology for the discussion of contour: its application to
schoenberg’s music. Journal of Music Theory, 29(2):223–48, 1985.
[11] Ben Fry. Visualizing Data: Exploring and Explaining Data with the Processing Environment.
O’Reilly Media, 2007.
[12] Gapminder. About gapminder, 2010. Disponível em http://www.gapminder.org/
about-gapminder/our-mission/.
[13] Eric Grunin.
The eroica project, 2010.
Disponível em http://www.grunin.com/
eroica/index.htm.
[14] David Huron. Music information processing using the Humdrum Toolkit: Concepts,
examples, and lessons. Computer Music Journal, 26(2):11–26, 2002.
[15] Eric Isaacson. What You See Is What You Get: on Visualizing Music. In Proceedings of
ISMIR 2005, pages 389–395, London, UK, September 2005. University of London.
[16] Stefan Leitich and Martin Topf. Globe of Music - Music Library Visualization Using Geosom. In Proceedings of ISMIR 2007, pages 167–170, Vienna, Austria, September 2007.
Österreichische Computer Gesellschaft.
13
[17] Fred Lerdahl. Tonal Pitch Space. Oxford University Press, 2005.
[18] Jos Leys and Xantox. J.s. bach - crab canon on a möbius strip, 2009. Vídeo disponível em
http://www.youtube.com/watch?v=xUHQ2ybTejU&feature=related.
[19] Arpi Mardirossian and Elaine Chew. Visualizing Music: Tonal Progressions and Distributions. In Proceedings of ISMIR 2007, pages 189–194, Vienna, Austria, September 2007.
Österreichische Computer Gesellschaft.
[20] Elizabeth West Marvin. A generalized theory of musical contour: its application to melodic
and rhythmic analysis of non-tonal music and its perceptual and pedagogical implications. PhD
thesis, University of Rochester, 1988.
[21] Fabian Mörchen, Alfred Ultsch, Mario Nöcker, and Christian Stamm. Databionic Visualization of Music Collections According to Perceptual Distance. In Proceedings of ISMIR
2005, pages 396–403, London, UK, September 2005. University of London.
[22] Robert Daniel Morris. New directions in the theory and analysis of musical contour. Music
Theory Spectrum, xv:205–28, 1993.
[23] Elias Pampalk and Stephan Baumann. Music Similarity and Visualization for Music IR.
In Proceedings of ISMIR 2005, London, UK, September 2005. University of London.
[24] Hanspeter Pfister. Cs 171 visualization, 2009. Disponível em http://www.cs171.org.
[25] Hans Rosling. Hans rosling shows the best stats you’ve ever seen, 2006. Vídeo disponível em http://www.ted.com/talks/hans_rosling_shows_the_best_stats_
you_ve_ever_seen.html.
[26] Alex Ross.
Decoding the “eroica”.
The New Yorker: Notes on music, 2009.
Dis-
ponível em http://www.newyorker.com/online/blogs/alexross/2009/12/
decoding-the-eroica.html.
[27] Marcos da Silva Sampaio. Em torno da romã: aplicações de operações de contornos na
composição. Master’s thesis, Universidade Federal da Bahia, Salvador, BA, 2008.
[28] Craig Sapp. Harmonic visualizations of tonal music. In Proceedings of the International
Computer Music Conference, volume 1001, pages 423–430. Citeseer, 2001.
[29] Craig Sapp. Visual hierarchical key analysis. Computers in Entertainment (CIE), 3(4):3,
October 2005.
[30] Craig Sapp. Performance authenticity: a case study of the concert artist label. In Proceedings of the Association of Recorded Sound Collections Conference, 2008.
[31] Markus Schedl, Peter Knees, and Gerhard Widmer. Discovering and Visualizing Prototypical Artists by Web-Based Co-Occurrence Analysis. In Proceedings of ISMIR 2005, pages
21–28, London, UK, September 2005. University of London.
14
[32] Markus Schedl, T Pohle, P Knees, and G Widmer. Assigning and Visualizing Music Genres by Web-based Co-Occurance Analysis. In Proceedings of ISMIR 2006, pages 260–265,
Victoria, Canada, October 2006. University of Victoria.
[33] Marc Torrens, Patrick Hertzog, and Josep Lluis Arcos. Visualizing and Exploring Personal
Music Libraries. In Proceedings of ISMIR 2006, pages 421–424, Barcelona, Spain, October
2004. Universitat Pompeu Fabra.
[34] Shai Vaingast.
Beginning Python Visualization: Crafting Visual Transformation Scripts.
Apress, 2009.
[35] Anton Webern. O Caminho para a Música Nova. Novas Metas, São Paulo, 1984. Trad. Carlos
Kater.
[36] PH Wilson, Kerrie Lee, Jean Callaghan, and CW. Learning to sing in tune: Does real-time
visual feedback help? In Conference on Interdisciplinary Musicology, 2007.
15