Em um mundo de fotógrafos e videomakers novatos, capturando um dilúvio de conteúdo por meio de seus smartphones e dispositivos portáteis, há uma necessidade de um inteligente, ferramenta fácil de usar para automatizar a criação de filmes e montagens de vídeo. A data, muitos vídeos de qualidade ainda contam com ferramentas profissionais de edição baseadas em quadros para manipular filmagens brutas e produzir um vídeo coerente com um enredo cativante.

Uma equipe global de cientistas da computação, das Universidades de Tsinghua e Beihang na China, Harvard University nos EUA e IDC Herzliya em Israel, desenvolveram "Write-A-Video, "uma nova ferramenta que gera vídeos a partir de textos temáticos. Usando palavras e edição de texto, a ferramenta determina automaticamente quais cenas ou tomadas são escolhidas em um repositório para ilustrar o enredo desejado. A ferramenta permite que usuários novatos produzam montagens de vídeo de qualidade de uma maneira simples e amigável que não requer produção profissional de vídeo e habilidades de edição.

A equipe está pronta para apresentar seu trabalho na ACM SIGGRAPH Ásia, realizada de 17 a 20 de novembro em Brisbane, Austrália. SIGGRAPH Ásia, agora em seu 12º ano, atrai as pessoas técnicas e criativas mais respeitadas de todo o mundo em computação gráfica, animação, interatividade, jogos, e tecnologias emergentes.

Embora as ferramentas de edição de vídeo existentes ainda exijam conhecimento em processamento e edição de vídeo, o novo método dos pesquisadores permite que os novatos criem vídeos que contam histórias de forma mais natural. Write-A-Video, dizem os pesquisadores, permite aos usuários criar uma montagem de vídeo simplesmente editando o texto que acompanha o vídeo. Por exemplo, adicionar ou deletar texto, e mover frases convertidas em operações de edição de vídeo, como encontrar fotos correspondentes, cortando e reorganizando fotos, e criar um resultado final de montagem de vídeo.

"Write-A-Video usa os avanços atuais na compreensão automática de vídeo e uma interface de usuário exclusiva para permitir a criação de vídeo mais natural e mais simples, "diz o professor Ariel Shamir, Reitor da Escola Efi Arazi de Ciência da Computação do IDC Herzliya. "Com nossa ferramenta, o usuário fornece dados principalmente na forma de edição de texto. A ferramenta procura automaticamente por fotos candidatas correspondentes semanticamente a partir de um repositório de vídeo, e então usa um método de otimização para montar a montagem de vídeo cortando e reordenando as tomadas automaticamente. "

"O Write-A-Video também permite que os usuários explorem estilos visuais para cada cena usando expressões cinematográficas gerando, por exemplo, filmes mais rápidos ou mais lentos, menos ou mais movimentos de conteúdo, etc. ", explica o Dr. Miao Wang da Universidade Beihang.

Ao selecionar fotos candidatas do repositório de vídeo, o método também considera o apelo estético das fotos, escolhendo aqueles que são idealmente iluminados, que estão bem focados e não são borrados ou instáveis. "A qualquer momento, o usuário pode renderizar o filme e visualizar o resultado da montagem do vídeo com uma narração em off ”, diz o professor Shi-Min Hu da Universidade de Tsinghua.

A pesquisa da equipe mostra que ferramentas digitais inteligentes que combinam as habilidades dos humanos e algoritmos podem ajudar os usuários no processo criativo. "Nosso trabalho demonstra o potencial da correspondência visual-semântica automática na edição computacional baseada em idioma, oferecendo uma maneira inteligente de tornar a criação de vídeos mais acessível a não profissionais, "diz Shamir.

Para o estudo, a abordagem foi testada em várias partes de textos temáticos e repositórios de vídeo, com avaliação quantitativa e estudos de usuários. Usuários sem qualquer experiência em edição de vídeo podem produzir vídeos satisfatórios usando a ferramenta Write-A-Video, às vezes até mais rápido do que os profissionais que utilizam software de edição baseado em quadros. Na SIGGRAPH Asia, a equipe demonstrará o aplicativo Write-A-Video e uma variedade de exemplos de produções de texto para vídeo.