Os cientistas da computação estão focados em adicionar funcionalidade aprimorada para tornar a "realidade" em ambientes de realidade virtual (VR) altamente crível. Um aspecto fundamental da RV é permitir interações sociais remotas e a possibilidade de torná-la mais envolvente do que qualquer mídia de telecomunicação anterior. Pesquisadores do Facebook Reality Labs (FRL) desenvolveram um sistema revolucionário chamado Codec Avatars que dá aos usuários de RV a capacidade de interagir com outras pessoas enquanto se representam com avatares realistas precisamente animados em tempo real. Os pesquisadores pretendem construir o futuro da conexão dentro da realidade virtual, e eventualmente, realidade aumentada, oferecendo a experiência mais socialmente engajada possível para usuários no mundo da RV.

A data, avatares altamente fotorrealistas renderizados em tempo real foram obtidos e usados ​​com frequência em animação por computador, por meio do qual os atores são equipados com sensores colocados de forma ideal para capturar computacionalmente detalhes geométricos de seus rostos e expressões faciais. Esta tecnologia de sensor, Contudo, não é compatível com os designs ou plataformas de fone de ouvido VR existentes, e os fones de ouvido de RV típicos obstruem diferentes partes do rosto, tornando difícil a tecnologia de captura facial completa. Portanto, esses sistemas são mais adequados para performances unilaterais em vez de interações bidirecionais em que duas ou mais pessoas usam fones de ouvido de realidade virtual.

"Nosso trabalho demonstra que é possível animar avatares fotorrealistas com precisão a partir de câmeras montadas em um fone de ouvido de realidade virtual, "diz o autor principal Shih-En Wei, cientista pesquisador do Facebook. Wei e colaboradores configuraram um fone de ouvido com sensores mínimos para captura facial, e seu sistema permite duas vias, interação social autêntica em RV.

Wei e seus colegas do Facebook demonstrarão seu sistema de animação facial em tempo real de RV no SIGGRAPH 2019, realizada de 28 de julho a 1º de agosto em Los Angeles. Este encontro anual mostra os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

Nesse trabalho, os pesquisadores apresentam um sistema que pode animar cabeças de avatares com semelhanças pessoais altamente detalhadas, rastreando com precisão as expressões faciais dos usuários em tempo real usando um conjunto mínimo de câmeras montadas em fones de ouvido (HMC). Eles abordam dois desafios principais:visualizações difíceis da câmera no HMC e as grandes diferenças de aparência entre as imagens capturadas pelas câmeras dos fones de ouvido e representações do avatar real da pessoa.

A equipe desenvolveu um protótipo de fone de ouvido de "treinamento", que não só tem câmeras no fone de ouvido de rastreamento regular para animação em tempo real, mas é adicionalmente equipado com câmeras em posições mais confortáveis ​​para rastreamento facial ideal. Os pesquisadores apresentam uma técnica de inteligência artificial baseada em Generative Adversarial Networks (GANs) que realiza uma tradução consistente do estilo de imagem multi-view para converter automaticamente imagens infravermelhas HMC em imagens que se parecem com um avatar renderizado, mas com a mesma expressão facial da pessoa.

"Comparando essas imagens convertidas usando cada pixel - não apenas características faciais esparsas - e as renderizações do avatar 3-D, "observa Wei, "podemos mapear com precisão entre as imagens do headset de rastreamento e o status do avatar 3-D por meio de renderização diferenciável. Depois que o mapeamento for estabelecido, treinamos uma rede neural para prever o parâmetro facial a partir de um conjunto mínimo de imagens de câmera em tempo real. "

Eles demonstraram uma variedade de exemplos neste trabalho, e foram capazes de mostrar que seu método pode encontrar mapeamentos de alta qualidade até mesmo para expressões faciais sutis na parte superior da face - uma área que é muito difícil de capturar - onde o ângulo da câmera do fone de ouvido é torto e muito próximo ao assunto. Os pesquisadores também mostram uma captura facial extremamente detalhada, incluindo diferenças sutis de línguas, dentes, e olhos, onde o avatar não tem geometria detalhada.

Além de animar os avatares em RV, a equipe da FRL também está construindo sistemas que podem um dia permitir que as pessoas criem seus avatares de forma rápida e fácil a partir de apenas algumas imagens ou vídeos. Embora os Codec Avatars de hoje sejam criados automaticamente, o processo requer um grande sistema de câmeras e microfones para capturar o indivíduo. FRL também tem como objetivo criar e animar corpos inteiros para expressar sinais sociais mais completos. Embora essa tecnologia esteja a anos de chegar aos fones de ouvido do consumidor, o grupo de pesquisa já está trabalhando em possíveis soluções para manter os dados dos avatares seguros e garantir que os avatares só possam ser acessados ​​pelas pessoas que eles representam.