Os avanços nas imagens geradas por computador trouxeram vívidos, animações realistas para a vida, mas os sons associados ao que vemos simulados na tela, como dois objetos colidindo, são frequentemente gravações. Agora, pesquisadores da Universidade de Stanford desenvolveram um sistema que renderiza automaticamente sons precisos para uma ampla variedade de fenômenos animados.

"Existe um Santo Graal na computação de ser capaz de simular a realidade para humanos. Podemos animar cenas e renderizá-las visualmente com física e computação gráfica, mas, quanto aos sons, eles geralmente são feitos, "disse Doug James, professor de ciência da computação na Universidade de Stanford. "Atualmente, não existe uma maneira de gerar sons sincronizados realistas para conteúdo animado complexo, como respingos de água ou objetos colidindo, automaticamente. Isso preenche esse vazio. "

Os pesquisadores apresentarão seu trabalho neste sistema de síntese de som como parte do ACM SIGGRAPH 2018, a conferência líder em computação gráfica e técnicas interativas. Além de animar filmes e mundos de realidade virtual, este sistema também pode ajudar as empresas de engenharia a criar um protótipo de como os produtos soariam antes de serem produzidos fisicamente, e espero que incentive designs mais silenciosos e menos irritantes, disseram os pesquisadores.

"Passei anos tentando resolver equações diferenciais parciais - que governam como o som se propaga - à mão, "disse Jui-Hsien Wang, um estudante de pós-graduação no laboratório de James e no Instituto de Engenharia Matemática e Computacional (ICME), e autor principal do artigo. "Este é realmente um lugar onde você não apenas resolve a equação, mas também pode ouvi-la depois de fazer isso. Isso é muito emocionante para mim e é divertido."

Previsão de som

Informado pela geometria e movimento físico, o sistema descobre as vibrações de cada objeto e como, como um alto-falante, essas vibrações estimulam as ondas sonoras. Ele calcula as ondas de pressão emitidas por superfícies que se movem e vibram rapidamente, mas não reproduz a acústica do ambiente. Então, embora não recrie os ecos em uma grande catedral, pode resolver sons detalhados de cenários como um prato batendo, uma tigela de cabeça para baixo girando até parar, um copo se enchendo de água ou um personagem virtual falando em um megafone.

A maioria dos sons associados a animações dependem de clipes pré-gravados, que requerem grande esforço manual para sincronizar com a ação na tela. Esses clipes também são restritos aos ruídos existentes - eles não podem prever nada de novo. Outros sistemas que produzem e prevêem sons tão precisos como os de James e sua equipe funcionam apenas em casos especiais, ou suponha que a geometria não se deforme muito. Eles também requerem uma longa fase de pré-computação para cada objeto separado.

"O nosso é essencialmente apenas um botão de renderização com pré-processamento mínimo que trata todos os objetos juntos em uma simulação de onda acústica, "disse Ante Qu, um estudante de pós-graduação no laboratório de James e co-autor do artigo.

O som simulado que resulta deste método é altamente detalhado. Ele leva em consideração as ondas sonoras produzidas por cada objeto em uma animação, mas também prevê como essas ondas se dobram, saltar ou amortecer com base em suas interações com outros objetos e ondas sonoras na cena.

Desafios adiante

Em sua forma atual, o processo do grupo demora um pouco para criar o produto acabado. Mas, agora que eles provaram o potencial desta técnica, eles podem se concentrar em otimizações de desempenho, como a implementação de seu método em hardware de GPU paralelo, isso deve torná-lo drasticamente mais rápido.

E, mesmo em seu estado atual, os resultados valem a espera.

"Os primeiros sons de água que geramos com o sistema estavam entre os melhores que simulamos - e a água é um grande desafio no som gerado por computador, "disse James." Achamos que poderíamos melhorar um pouco, mas é dramaticamente melhor do que as abordagens anteriores, mesmo assim que sai da caixa. Foi realmente impressionante. "

Embora o trabalho do grupo tenha reproduzido fielmente sons de vários objetos girando, caindo e batendo um no outro, objetos e interações mais complexos - como os tons reverberantes de um violino Stradivarius - permanecem difíceis de modelar de forma realista. Este, o grupo disse, terá que esperar por uma solução futura.