Emilia Gómez, pesquisador do Grupo de Pesquisa em Tecnologia Musical (MTG) do Departamento de Tecnologias da Informação e Comunicação (DTIC) da UPF, tentou criar novas abordagens digitais para enriquecer a experiência de um concerto de música clássica antes, durante e depois do concerto em si, para levar a música clássica a novos públicos de forma inovadora por meio da tecnologia.

“Uma das aplicações que investigamos no contexto pós-concerto foi um tipo de instalação em que o usuário assume o papel de maestro para que seus movimentos 'conduzam' uma orquestra virtual. Este tipo de instalação tem tido sucesso em locais como a Casa da Música em Viena, "diz Álvaro Sarasúa, primeiro autor de um estudo publicado em 25 de fevereiro na revista Fronteiras nas Humanidades Digitais , liderado por Emilia Gómez.

Na interação humano-computador, metáforas de interface fornecem aos usuários uma maneira de interagir com a máquina que se assemelha a uma atividade conhecida. Essas metáforas são amplamente utilizadas em instrumentos musicais digitais. Neste estudo, os autores usaram a metáfora do condutor. O interesse em usar essas metáforas é que o usuário, em uma instalação virtual para controlar o tempo e a dinâmica em que uma orquestra toca, pode aplicar seu conhecimento ou sua intuição anterior sobre como uma determinada atividade funciona no mundo real - neste caso, regendo uma orquestra.

“Do ponto de vista da pesquisa, neste estudo, estávamos interessados ​​em determinar como as noções intuitivas disponíveis para os usuários deste tipo de instalação podem ser usadas explicitamente pelo sistema para responder aos seus gestos de condução de uma orquestra de forma mais intuitiva, e portanto, pode fornecer uma atuação mais expressiva, "diz Sarasúa.

Nos estágios iniciais do projeto, os pesquisadores realizaram estudos observacionais nos quais pediram a pessoas com diferentes graus de treinamento musical que ouvissem vários trechos de música clássica e, em seguida, enquanto a música tocava novamente, para fazer movimentos corporais que fariam durante a condução de uma orquestra para comunicar vários aspectos, como ritmo e intensidade. Eles gravaram os movimentos dos participantes usando uma câmera Kinect, que registrava a posição de várias partes do corpo.

Diferentes tendências interpretativas observadas

A análise desses dados revelou tendências diferentes entre os sujeitos. Por um lado, para comunicar o ritmo da música, houve pessoas que comunicaram consistentemente a batida um pouco à frente do ritmo da música, enquanto outros o fizeram em total sincronia ou com algum atraso. Em relação à dinâmica com que os instrumentos tocavam, algumas pessoas tendiam a se mover com mais energia durante as partes do forte, enquanto outros simplesmente levantaram mais os braços.

"Nossa hipótese inicial para este estudo foi que um sistema que permite controlar o andamento e o volume de uma peça musical por movimentos que imitam os de um maestro pode ser mais intuitivo se puder ser adaptado a essas tendências pessoais, "explica Sarasúa

"No exemplo de nosso experimento, há uma vantagem "implícita" em usar a metáfora, nisso, dizendo ao usuário que ele deve "conduzir" a orquestra, eles sabem que devem mover os braços e ter alguma intuição quanto à sua capacidade de controlar o ritmo e a dinâmica. Usando o sistema proposto, esta melhoria é mais explícita na medida em que o sistema observa e analisa o que o usuário sente que deve fazer e se adapta para executar de acordo com essas intuições. "

Os autores referem-se a esta estratégia como mapeamento por observação, desde o mapeamento, ou a forma como os movimentos do usuário estão conectados à música resultante, adapta-se especificamente para cada usuário, observando o que eles fazem quando solicitados a realizar movimentos imitando um condutor, sem fornecer instruções específicas.

Ao avaliar o sistema, os pesquisadores observaram 24 participantes que executaram primeiro com um sistema de linha de base que não se adaptou a cada usuário, e então um sistema baseado na estratégia de mapeamento, e comparou os resultados. Essa comparação foi realizada em um contexto em que os usuários aprenderam a "conduzir" a orquestra virtual por meio da prática. Os dois sistemas foram comparados com base em medidas objetivas e subjetivas em uma série de tarefas nas quais os participantes tiveram que fazer a orquestra tocar em volumes diferentes e fazê-lo em sincronia com o metrônomo em ritmos diferentes.

A usabilidade do sistema sob medida é melhor

Os resultados do experimento mostraram que a usabilidade do sistema adaptado é melhor, tanto em termos de fornecer um controle mais intuitivo da dinâmica com a qual o usuário conduz a orquestra, e em termos de ter um controle mais preciso sobre o andamento. Além disso, os resultados também mostram uma forte correlação entre as medidas que podem ser extraídas dos dados usados ​​para fazer a adaptação e melhoria introduzida pelo sistema, o que indica que é possível estimar com antecedência até que ponto os movimentos espontâneos de um determinado usuário serão realmente úteis para adaptar o sistema ao seu estilo.

Os resultados deste estudo são particularmente relevantes em contextos onde a interação é projetada a partir do uso de metáforas de interface, como é o caso do maestro de uma orquestra. "No exemplo de nosso experimento, há uma vantagem "implícita" em usar a metáfora, nisso, dizendo ao usuário que ele deve "conduzir" a orquestra, eles sabem que devem mover os braços e ter alguma intuição sobre como controlar o ritmo e a dinâmica. Usando o sistema proposto, esta melhoria é mais "explícita" na medida em que o sistema observa e analisa o que o usuário sente que deve fazer e se adapta para executar de acordo com essas intuições, "concluem os autores.