Pessoas entrando e saindo de fotos costumavam ser reservadas para o mundo de Harry Potter. Mas agora os cientistas da computação da Universidade de Washington trouxeram essa magia para a vida real.

Seu algoritmo, Photo Wake-Up, pode tirar uma pessoa de uma foto 2-D ou uma obra de arte e fazê-la correr, ande ou pule para fora do quadro. O sistema também permite aos usuários visualizar a animação em três dimensões usando ferramentas de realidade aumentada. Os pesquisadores apresentarão seus resultados em 19 de junho na Conferência sobre Visão Computacional e Reconhecimento de Padrões em Long Beach, Califórnia. Essa pesquisa atraiu a atenção da mídia pela primeira vez quando foi postada em formato pré-impresso em dezembro no ArXiv.

"Este é um problema fundamental muito difícil na visão computacional, "disse o co-autor Ira Kemelmacher-Shlizerman, professor associado da Escola Paul G. Allen de Ciência da Computação e Engenharia da UW. "O grande desafio aqui é que a entrada vem apenas de uma única posição da câmera, então parte da pessoa é invisível. Nosso trabalho combina o avanço técnico em um problema aberto no campo com a visualização criativa artística. "

Anteriormente, pesquisadores pensaram que seria impossível animar uma pessoa sem uma única foto.

"Há alguns trabalhos anteriores que tentam criar um personagem 3-D usando vários pontos de vista, "disse o co-autor Brian Curless, professor da Allen School. "Mas você ainda não poderia trazer alguém à vida e fazê-lo sair de uma cena, e você não poderia incluir AR nisso. Foi realmente surpreendente que pudéssemos obter alguns resultados atraentes usando apenas uma foto. "

As aplicações do Photo Wake-Up são numerosas, a equipe diz. Os pesquisadores imaginam que isso pode levar a uma nova maneira de os jogadores criarem avatares que realmente se pareçam com eles, um método para os visitantes interagirem com pinturas em um museu de arte - digamos, sentando-se para tomar chá com Mona Lisa - ou algo que permite que as crianças dêem vida a seus desenhos. Exemplos no artigo de pesquisa incluem animar Stephen Curry, do Golden State Warriors, a fugir da quadra, Paul McCartney para saltar fora da capa da revista "Help!" álbum e "Icarus" de Matisse para deixar seu quadro.

Para tornar a magia uma realidade, O Photo Wake-Up começa identificando uma pessoa em uma imagem e fazendo uma máscara do contorno do corpo. De lá, ele combina um modelo 3-D com a posição corporal do sujeito. Em seguida, o algoritmo faz algo surpreendente:a fim de distorcer o modelo para que ele realmente se pareça com a pessoa na foto, ele projeta a pessoa 3-D de volta ao 2-D.

"É muito difícil de manipular precisamente em 3-D, "disse o co-autor Chung-Yi Weng, estudante de doutorado na Allen School. "Talvez você consiga fazer mais ou menos, mas qualquer erro será óbvio quando você animar o personagem. Portanto, temos que encontrar uma maneira de lidar com as coisas perfeitamente, e é mais fácil fazer isso em 2-D. "

O Photo Wake-Up armazena informações 3-D para cada pixel:sua distância da câmera ou do artista e como as juntas de uma pessoa são conectadas. Depois que o modelo foi distorcido para coincidir com a forma da pessoa, o algoritmo cola na textura - as cores da imagem. Ele também gera as costas da pessoa usando informações da imagem e do modelo 3-D. Em seguida, a ferramenta costura os dois lados para formar uma pessoa 3-D que será capaz de se virar.

Assim que o personagem 3-D estiver pronto para ser executado, o algoritmo precisa configurar o fundo para que o personagem não deixe um espaço em branco para trás. O Photo Wake-Up preenche a lacuna atrás da pessoa, pegando emprestadas informações de outras partes da imagem.

No momento, o Photo Wake-Up funciona melhor com imagens de pessoas olhando para a frente, e pode animar criações artísticas e fotografias de pessoas reais. O algoritmo também pode lidar com algumas fotos em que os braços das pessoas estão bloqueando parte de seus corpos, mas ainda não é capaz de animar pessoas que estão com as pernas cruzadas ou que bloqueiam grandes partes de si mesmas.

"O Photo Wake-Up é uma nova maneira de interagir com as fotos, "Weng disse." Não pode fazer tudo ainda, mas isso é apenas o começo. "