O Google revelou uma nova experiência imersiva de realidade virtual (VR) baseada em um novo sistema que captura e renderiza de alta qualidade, imagens realistas do mundo real usando campos de luz. Criado por uma equipe de pesquisadores líderes do Google, Welcome to Light Fields é o respingo do gigante da tecnologia na arena nascente de experiências de RV de campos de luz, um excitante canto da tecnologia de vídeo VR ganhando força por sua promessa de fornecer imagens e experiências de altíssima qualidade no mundo virtual.

O Google lançou Welcome to Light Fields no início deste ano como um aplicativo gratuito no Steam VR para HTC Vive, Oculus Rift, e fones de ouvido de realidade mista do Windows. Os criadores irão demonstrar a experiência de RV no SIGGRAPH 2018, no Pavilhão Imersivo, um novo espaço para a conferência deste ano. O Pavilhão é dedicado exclusivamente ao virtual, aumentado, e realidade mista e conterá:o Vrcade, um espaço para RV, AR, e jogos ou experiências de MR; o VR Theatre, uma extravagância de contação de histórias que faz parte do Festival de Animação por Computador; e a conhecida Vila, para apresentar projetos de grande escala. SIGGRAPH 2018, realizada de 12 a 16 de agosto em Vancouver, Columbia Britânica, é um encontro anual que mostra os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

Os destinos em Welcome to Light Fields incluem o Space Shuttle Discovery da NASA, entregando aos espectadores a visão de um astronauta dentro da cabine de comando, que nunca foi aberto ao público; os interiores imaculados de teca e mogno da Gamble House, um tesouro arquitetônico em Pasadena, CA; e a gloriosa Igreja de Santo Estêvão em Granada Hills, CA, casa com uma parede impressionante de mais de 14, 000 peças de vitrais cintilantes.

"Adoro que os campos de luz em RV possam teletransportá-lo para lugares exóticos no mundo real, e realmente fazer você acreditar que está lá, "diz Ryan Overbeck, engenheiro de software do Google que co-liderou o projeto. "Para mim, Isto é mágico."

Para dar vida a essa experiência, Overbeck trabalhou com uma equipe que incluía Paul Debevec, engenheiro sênior da equipe do Google, que gerenciou o projeto e liderou a peça de hardware com os engenheiros Xueming Yu, Jay Busch, e Graham Fyffe. Com Overbeck, Daniel Erickson e Daniel Evangelakos focaram na extremidade do software. Os pesquisadores desenvolveram um sistema abrangente para capturar e renderizar de alta qualidade, imagens estáticas de campo de luz esférica de imagens capturadas no mundo real. Eles desenvolveram dois equipamentos de câmera de campo de luz fáceis de usar, baseado na câmera esportiva GoPro Hero4action, que capturam com eficiência milhares de imagens na superfície de uma esfera. Essas imagens foram então passadas por um pipeline de processamento de campo de luz baseado em nuvem.

Entre outras coisas, explica Overbeck, "O pipeline de processamento usa visão computacional para colocar as imagens em 3-D e gerar mapas de profundidade, e usamos uma versão modificada do nosso codec de vídeo vp9 [formatação de vídeo] para comprimir os dados do campo de luz até um tamanho gerenciável. "Para renderizar um conjunto de dados de campo de luz, ele observa, a equipe usou um algoritmo de renderização que combina milhares de imagens de campo de luz em tempo real.

A equipe contou com o talentoso pool de engenheiros do Google em visão computacional, gráficos, compressão de vídeo, e aprendizado de máquina para superar os desafios exclusivos impostos pela tecnologia de campos leves. Eles também colaboraram de perto com a equipe WebM (que faz o codec de vídeo vp9) para desenvolver o formato de compressão de campo de luz de alta qualidade incorporado em seu sistema, e apoiou-se fortemente na experiência da equipe Jump VR para ajudar a posicionar as imagens e gerar mapas de profundidade. (Jump é o sistema VR profissional do Google para alcançar produção de vídeo 3-D-360 em escala.)

De fato, com Welcome to Light Fields, a equipe do Google está demonstrando o potencial e a promessa da tecnologia de RV de campo de luz, mostrando a capacidade da tecnologia de fornecer uma experiência verdadeiramente envolvente com um nível de realismo incomparável. Embora a tecnologia de campos leves tenha sido pesquisada e explorada em computação gráfica por mais de 30 anos, sistemas práticos para realmente fornecer experiências de campo de luz de alta qualidade ainda não foram possíveis.

Parte da motivação da equipe por trás da criação desta experiência de campo de luz VR é revigorar o campo nascente.

"Welcome to Light Fields prova que agora é possível fazer um visualizador de realidade virtual de campo de luz atraente que roda em hardware de consumo, e esperamos que este conhecimento incentive outros a se envolverem com a construção de mídia e tecnologia de campo leve, "diz Overbeck." Entendemos que, a fim de eventualmente fazer produtos de consumo atraentes com base em campos leves, precisamos de um ecossistema de campo de luz próspero. Precisamos de codecs de campo de luz aberta, precisamos de artistas criando belas imagens de campo de luz, e precisamos de pessoas usando VR para nos envolvermos com campos de luz. "