Cientistas do laboratório Skoltech ADASE (Advanced Data Analytics in Science and Engineering) encontraram uma maneira de melhorar a resolução do mapa de profundidade, o que deve tornar a realidade virtual e a computação gráfica mais realistas. Eles apresentaram seus resultados de pesquisa na prestigiosa Conferência Internacional sobre Visão Computacional 2019 na Coréia.

Ao tirar uma foto, captamos informações visuais sobre os objetos ao nosso redor, com os diferentes pixels da imagem contendo as cores das respectivas partes do objeto. Mapas de profundidade são fotos que capturam informações espaciais e seus pixels contêm as distâncias da câmera aos respectivos pontos no espaço. Aplicativos como computação gráfica e realidade aumentada ou virtual usam informações espaciais para reconstruir a forma de um objeto 3-D e, por exemplo, exibi-lo na tela do computador.

Um dos problemas das câmeras de profundidade é que sua resolução, isso é, a frequência espacial de medições de distância, é insuficiente para restaurar a forma de alta qualidade do objeto, fazendo as reconstruções virtuais parecerem pouco realistas.

Os pesquisadores enfrentam o desafio de encontrar uma maneira de obter mapas de profundidade de alta resolução a partir de mapas de profundidade de baixa resolução.

Cientistas do laboratório Skoltech ADASE propuseram avaliar a qualidade da reconstrução usando um novo método intimamente relacionado à percepção humana. Treinar uma rede neural artificial com esta técnica de avaliação de qualidade produz um método de super-resolução de mapa de profundidade que supera em muito os métodos existentes na qualidade visual do resultado.

"Ao lidar com mapas de profundidade super-resolvidos, deve-se avaliar a qualidade do resultado para primeiro comparar o desempenho de diferentes métodos, e, em segundo lugar, para usá-lo como feedback para melhorias futuras. A maneira mais fácil é comparar o resultado com alguma referência. A esmagadora maioria dos trabalhos sobre o uso da super-resolução de mapas de profundidade para este propósito significa a diferença entre os valores de profundidade superdeterminados e de referência. De forma alguma este método reflete a qualidade visual da reconstrução 3-D obtida a partir do mapa de profundidade super-resolvido, "explica o primeiro autor do estudo, Oleg Voynov.

"Propomos um método totalmente diferente, que alavanca a percepção humana da diferença entre as visualizações das reconstruções 3-D obtidas a partir de mapas de profundidade super-resolvidos e de referência. Os gráficos obtidos com este método parecem altamente realistas. Esperamos que nosso método seja amplamente utilizado, "diz um dos desenvolvedores, Alexey Artemov.