Criadores de vídeo:Quer trocar planos de fundo? Divirtam-se. Os pesquisadores do Google estão trabalhando em uma maneira de permitir que você troque os planos de fundo do seu vídeo usando uma rede neural - sem a necessidade de tela verde.
Está sendo lançado no YouTube Stories no celular de forma limitada, disse TechCrunch .

John Anon, Android Headlines , disse que os criadores do YouTube podem mudar o plano de fundo para criar vídeos mais envolventes.

Valentin Bazarevsky e Andrei Tkachenka, engenheiros de software, Pesquisa Google, fez o anúncio, intitulado "Segmentação de vídeo em tempo real móvel".

Os criadores de conteúdo de vídeo sabem que o fundo de uma cena pode ser separado do fundo tratado como duas camadas diferentes. A manobra é feita para atingir o humor, ou insira um local divertido ou aumente o impacto da mensagem.

A operação, disseram os dois no site de pesquisa do Google, é "um processo manual demorado (por exemplo, um artista rotoscopeando cada quadro) ou requer um ambiente de estúdio com uma tela verde para remoção de fundo em tempo real (uma técnica conhecida como chroma keying)."

Tradução:Hillary Grigonis em Tendências digitais disse, "Substituir o plano de fundo em um vídeo normalmente requer software de desktop avançado e muito tempo livre, ou um estúdio completo com uma tela verde. "

Agora os dois anunciaram uma nova técnica, e funcionará em telefones celulares.

Sua técnica permitirá que os criadores substituam e modifiquem planos de fundo sem equipamento especializado.

Eles o chamaram de novo formato de vídeo leve do YouTube, projetado especificamente para criadores do YouTube.

Eles emitiram um anúncio de 1º de março de um "preciso, tempo real, segmentação de vídeo móvel no dispositivo para o aplicativo do YouTube, integrando essa tecnologia em histórias. "

Como eles fizeram isso? Anon disse que "o ponto crucial de tudo é o aprendizado de máquina".

Bazarevsky e Tkachenka disseram que alavancaram o "aprendizado de máquina para resolver uma tarefa de segmentação semântica usando redes neurais convolucionais".

Tradução:"O Google está desenvolvendo uma alternativa de inteligência artificial que funciona em tempo real, de uma câmera de smartphone, "Grigonis escreveu.

Os dois engenheiros descreveram uma arquitetura e um procedimento de treinamento adequado para telefones celulares. Eles mantiveram em mente que "uma solução móvel deve ser leve e funcionar pelo menos 10-30 vezes mais rápido do que os modelos de segmentação de fotos de última geração existentes."

Quanto a um conjunto de dados, eles "anotaram dezenas de milhares de imagens". Eles capturaram um amplo espectro de poses de primeiro plano e configurações de plano de fundo.

"Com esse conjunto de dados, o grupo treinou o programa para separar o fundo do primeiro plano, "disse Grigonis.

Devin Coldewey em TechCrunch :"A rede aprendeu a identificar as características comuns de uma cabeça e ombros, e uma série de otimizações reduziu a quantidade de dados necessários para processar para fazer isso. "

Tendências digitais explicou como funciona:"Assim que o software mascarar o fundo da primeira imagem, o programa usa a mesma máscara para prever o plano de fundo no próximo quadro. Quando o próximo quadro tiver apenas pequenos ajustes desde o primeiro ... o programa fará pequenos ajustes na máscara. Quando o próximo quadro for muito diferente do anterior ... o software descartará essa previsão de máscara inteiramente e criará uma nova máscara. "

Um resultado final de seu trabalho, como dito no blog de pesquisa do Google, é que "nossa rede funciona incrivelmente rápido em dispositivos móveis, atingindo 100+ FPS no iPhone 7 e 40+ FPS no Pixel 2 com alta precisão (realizando 94,8% de IOU em nosso conjunto de dados de validação), proporcionando uma variedade de efeitos responsivos e de execução suave nas histórias do YouTube. "

Qual é o próximo?

Ele está em versão beta limitada. "Nosso objetivo imediato é usar o lançamento limitado nas histórias do YouTube para testar nossa tecnologia neste primeiro conjunto de efeitos. À medida que melhoramos e expandimos nossa tecnologia de segmentação para mais rótulos, planejamos integrá-lo aos serviços de realidade aumentada do Google. "

© 2018 Tech Xplore