p Mesmo os fotógrafos e videógrafos novatos que dependem de seus dispositivos portáteis para tirar fotos ou fazer vídeos costumam considerar a iluminação do assunto. A iluminação é fundamental na produção de filmes, jogos, e ambientes de realidade virtual / aumentada e podem fazer ou quebrar a qualidade de uma cena e dos atores e performers nela. A replicação da iluminação realista dos personagens continua sendo um desafio difícil na computação gráfica e na visão computacional. p Embora um progresso significativo tenha sido feito em sistemas de captura volumétrica, com foco na reconstrução geométrica 3-D com texturas de alta resolução, como métodos para obter formas e texturas realistas do rosto humano, muito menos trabalho foi feito para recuperar as propriedades fotométricas necessárias para reacender os caracteres. Os resultados de tais sistemas carecem de detalhes finos e o sombreamento do assunto é pré-elaborado na textura.

p Os cientistas da computação do Google estão revolucionando essa área da tecnologia de captura volumétrica com um romance, sistema abrangente que é capaz, pela primeira vez, para capturar a refletância de corpo inteiro de performances humanas 3-D, e mesclá-los perfeitamente com o mundo real por meio de RA ou em cenas digitais em filmes, jogos, e mais. O Google apresentará seu novo sistema, chamado The Relightables, na ACM SIGGRAPH Asia, realizada de 17 a 20 de novembro em Brisbane, Austrália. SIGGRAPH Ásia, agora em seu 12º ano, atrai as pessoas técnicas e criativas mais respeitadas de todo o mundo em computação gráfica, animação, interatividade, jogos, e tecnologias emergentes.

p Houve grandes avanços neste campo de trabalho que a indústria chama de sistemas de captura 3-D. Por meio desses sistemas sofisticados, os espectadores puderam experimentar personagens digitais ganhando vida na tela grande, por exemplo, em sucessos de bilheteria como Avatar e a série Avengers e muito mais.

p De fato, a tecnologia de captura volumétrica atingiu um alto nível de qualidade, mas muitas dessas reconstruções ainda carecem de fotorrealismo verdadeiro. Em particular, apesar de esses sistemas usarem configurações de estúdio de última geração com telas verdes, eles ainda lutam para capturar detalhes de alta frequência de humanos e só recuperam uma condição de iluminação fixa. Isso torna esses sistemas de captura volumétrica inadequados para renderização fotorrealística de atores ou performers em cenas arbitrárias sob diferentes condições de iluminação.

p O sistema Relightables do Google torna possível personalizar a iluminação dos personagens em tempo real ou reiluminá-los em qualquer cenário ou ambiente.

p Eles demonstram isso em assuntos que são gravados dentro de uma esfera geodésica personalizada equipada com 331 luzes LED de cores personalizadas (também chamado de sistema de captura Light Stage), uma série de câmeras de alta resolução, e um conjunto de sensores de profundidade personalizados de alta resolução. O sistema Relightables captura cerca de 65 GB por segundo de dados brutos de quase 100 câmeras e sua estrutura computacional permite o processamento dos dados de maneira eficaz nesta escala.

p O sistema deles captura as informações de refletância de uma pessoa - a maneira como a luz interage com a pele é um fator importante na aparência real de pessoas digitais. As tentativas anteriores usaram iluminação plana ou caracteres gerados por computador necessários. Eles não são apenas capazes de capturar informações de refletância em uma pessoa, mas eles são capazes de gravar enquanto a pessoa se move livremente dentro do volume. Como resultado, eles são capazes de reacender sua animação em ambientes arbitrários.

p Historicamente, câmeras gravam pessoas de um único ponto de vista e condição de iluminação. Este novo sistema, observe os pesquisadores, permite aos usuários gravar alguém e vê-lo de qualquer ponto de vista e condição de iluminação, eliminando a necessidade de uma tela verde para criar efeitos especiais e permitindo condições de iluminação mais flexíveis.

p As interações do espaço, luz, e a sombra entre um artista e seu ambiente desempenha um papel crítico na criação de uma sensação de presença. Além de apenas 'cortar e colar' uma captura de vídeo 3-D, o sistema dá a capacidade de gravar alguém e, em seguida, colocá-lo perfeitamente em novos ambientes - seja em seu próprio espaço para experiências de RA - ou no mundo de um VR, filme, ou experiência de jogo.

p Na SIGGRAPH Asia, A equipe Relightables apresentará os componentes de seu sistema, da captura ao processamento e exibição, com demonstrações em vídeo de cada etapa. Eles conduzirão os participantes pelos meandros da construção de The Relightables, descrevendo os principais desafios que enfrentaram no trabalho e apresentando alguns aplicativos e renderizações interessantes.