Os pesquisadores desenvolveram um sistema usando inteligência artificial que pode editar as expressões faciais dos atores para corresponder com precisão às vozes dubladas, economizando tempo e reduzindo custos para a indústria cinematográfica. Também pode ser usado para corrigir o olhar e a postura da cabeça em videoconferências, e permite novas possibilidades de pós-produção de vídeo e efeitos visuais.

A técnica foi desenvolvida por uma equipe internacional liderada por um grupo do Instituto Max Planck de Informática e incluindo pesquisadores da Universidade de Bath, Technicolor, TU Munich e Stanford University. O trabalho, chamado Deep Video Portraits, foi apresentado pela primeira vez na conferência SIGGRAPH 2018 em Vancouver em 16 de agosto.

Ao contrário dos métodos anteriores, que se concentram em movimentos apenas do interior do rosto, Os Deep Video Portraits também podem animar todo o rosto, incluindo os olhos, sobrancelhas, e a posição da cabeça em vídeos, usando controles conhecidos de animação de face de gráficos de computador. Ele pode até mesmo sintetizar um fundo de vídeo estático plausível se a cabeça for movida.

Hyeongwoo Kim, do Instituto Max Planck de Informática, explica:"Funciona usando a captura de desempenho facial 3D baseada em modelo para registrar os movimentos detalhados das sobrancelhas, boca, nariz, e a posição da cabeça do ator dublador em um vídeo. Em seguida, ele transpõe esses movimentos para o ator 'alvo' no filme para sincronizar com precisão os lábios e os movimentos faciais com o novo áudio. "

A pesquisa está atualmente na fase de prova de conceito e ainda deve funcionar em tempo real, no entanto, os pesquisadores antecipam que a abordagem pode fazer uma diferença real para a indústria de entretenimento visual.

Professor Christian Theobalt, do Instituto Max Planck de Informática, disse:"Apesar da extensa manipulação de pós-produção, dobrar filmes em línguas estrangeiras sempre apresenta uma incompatibilidade entre o ator na tela e a voz dublada.

"Nossa nova abordagem de Deep Video Portrait nos permite modificar a aparência de um ator-alvo transferindo a pose da cabeça, expressões faciais, e movimento dos olhos com alto nível de realismo. "

Co-autor do artigo, Dr. Christian Richardt, do centro de pesquisa de captura de movimento da Universidade de Bath, CAMERA, acrescenta:"Essa técnica também poderia ser usada para pós-produção na indústria cinematográfica, onde a edição gráfica de rostos por computador já é amplamente usada nos filmes de hoje."

Um ótimo exemplo é 'O Curioso Caso de Benjamin Button', em que o rosto de Brad Pitt foi substituído por uma versão de computação gráfica modificada em quase todos os quadros do filme. Este trabalho continua sendo um processo muito demorado, frequentemente exigindo muitas semanas de trabalho de artistas treinados.

"Deep Video Portraits mostra como esse efeito visual pode ser criado com menos esforço no futuro. Com nossa abordagem, até mesmo o posicionamento da cabeça de um ator e sua expressão facial podem ser facilmente editados para alterar os ângulos da câmera ou alterar sutilmente o enquadramento de uma cena para contar melhor a história. "

Além disso, esta nova abordagem também pode ser usada em outras aplicações, que os autores mostram no site do projeto, por exemplo, em videoconferência e teleconferência de RV, onde pode ser usado para corrigir o olhar e a postura da cabeça de modo que um ambiente de conversa mais natural seja alcançado. O software permite muitas novas aplicações criativas na produção de mídia visual, mas os autores também estão cientes do potencial do uso indevido da tecnologia moderna de edição de vídeo.

Dr. Michael Zollhöfer, da Stanford University, explica:"A indústria de mídia vem retocando fotos com software de edição de fotos há muitos anos, o que significa que a maioria de nós aprendeu a tirar o que vemos nas fotos com uma pitada de sal. Com a tecnologia de edição de vídeo cada vez mais aprimorada, também devemos começar a ser mais críticos sobre o conteúdo de vídeo que consumimos todos os dias, especialmente se não houver prova de origem. Acreditamos que o campo da perícia digital deve e receberá muito mais atenção no futuro para desenvolver abordagens que possam provar automaticamente a autenticidade de um videoclipe. Isso levará a abordagens cada vez melhores que podem detectar tais modificações, mesmo que nós, humanos, não possamos identificá-las com nossos próprios olhos. "

Para endereçar isto, a equipe de pesquisa está usando a mesma tecnologia para desenvolver redes neurais em tandem treinadas para detectar vídeos gerados ou editados sinteticamente em alta precisão para facilitar a detecção de falsificações. Os autores não têm planos de disponibilizar o software publicamente, mas afirmam que qualquer software que implemente os muitos casos de uso criativos deve incluir esquemas de marca d'água para marcar claramente as modificações.