• Home
  • Química
  • Astronomia
  • Energia
  • Natureza
  • Biologia
  • Física
  • Eletrônicos
  • O novo método de remoção de ruído gera imagens fotorrealísticas mais nítidas mais rapidamente

    Crédito:Siggraph

    Os métodos computacionais de Monte Carlo estão por trás de muitas das imagens realistas em jogos e filmes. Eles automatizam as complexidades na simulação da física de luzes e câmeras para gerar renderizações de alta qualidade a partir de amostras de diversos recursos de imagem e cenas. Mas o processo de renderização de Monte Carlo é lento e pode levar horas - ou até dias - para produzir uma única imagem, e muitas vezes os resultados ainda estão pixelados, ou "barulhento".

    Uma equipe global de cientistas da computação do MIT, Adobe, e a Aalto University desenvolveu um método inovador para produzir imagens de alta qualidade e designs de cena em muito menos tempo, usando uma abordagem baseada em aprendizagem profunda que reduz consideravelmente o ruído nas imagens. Seu método resulta em imagens mais nítidas que capturam efetivamente detalhes intrincados de recursos de amostra, incluindo componentes de iluminação complexos, como sombreamento, iluminação indireta, borrão de movimento, e profundidade de campo.

    Os pesquisadores estão prontos para apresentar seus trabalhos no SIGGRAPH 2019, realizada de 28 de julho a 1º de agosto em Los Angeles. Este encontro anual mostra os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

    "Nosso algoritmo pode produzir imagens limpas a partir de imagens de entrada barulhentas com muito poucas amostras, e pode ser útil para produzir pré-visualizações renderizadas rápidas enquanto iterando no design da cena, "diz o autor principal do estudo, Michaël Gharbi, cientista pesquisador da Adobe. Gharbi começou a pesquisa como um Ph.D. aluno do MIT no laboratório de Frédo Durand, que também é co-autor.

    O trabalho da equipe se concentra no chamado "denoising, "uma técnica de pós-processamento para reduzir o ruído da imagem na renderização de Monte Carlo. Basicamente, ela retém os detalhes de uma imagem e remove tudo o que diminui sua nitidez. Em trabalhos anteriores, os cientistas da computação desenvolveram métodos que suavizam o ruído tirando a média dos pixels de uma imagem de amostra e dos pixels vizinhos.

    "Isso funciona razoavelmente bem, e vários filmes realmente usaram isso na produção, "observa o co-autor Tzu-Mao Li, um recente Ph.D. graduado pelo MIT, que também estudou com Durand. "Contudo, se as imagens forem muito barulhentas, muitas vezes, os métodos de pós-processamento não são capazes de recuperar imagens limpas e nítidas. Normalmente, os usuários ainda precisam de centenas de amostras por pixel, em média, para uma imagem com qualidade razoável - uma tarefa entediante, processo demorado. "

    Algo comparável é o processo de edição de uma foto em um programa de software gráfico. Se um usuário não estiver trabalhando a partir do original, arquivo RAW, versões alteradas da foto provavelmente não resultarão em uma imagem afiado, imagem final de alta resolução. Um problema semelhante, porém mais complexo, é a redução de ruído na imagem.

    Para este fim, o novo método computacional dos pesquisadores envolve trabalhar diretamente com as amostras de Monte Carlo, em vez da média, imagens barulhentas em que a maior parte das informações já foi perdida. Ao contrário dos métodos típicos de aprendizagem profunda que lidam com imagens ou vídeos, os pesquisadores demonstram um novo tipo de rede convolucional que pode aprender a diminuir o ruído das renderizações diretamente do conjunto bruto de amostras de Monte Carlo, em vez de reduzidas, representações baseadas em pixels.

    Uma parte importante de seu trabalho é uma nova estrutura computacional de previsão de kernel que "espalha" amostras individuais - cores e texturas - em pixels próximos para tornar mais nítida a composição geral da imagem. No processamento de imagem tradicional, um kernel é usado para embaçar ou aumentar a nitidez. Splatting é uma técnica que trata de borrões de movimento ou problemas de profundidade de campo e torna mais fácil nivelar uma área pixelada de uma amostra.

    Nesse trabalho, o algoritmo de splatting da equipe gera um kernel 2-D para cada amostra, e "splats" a amostra na imagem. “Argumentamos que esta é uma forma mais natural de fazer o pós-processamento, "diz Li. A equipe treinou sua rede usando um gerador de cena aleatória e testou exaustivamente seu método em uma variedade de cenas realistas, incluindo vários cenários de iluminação, como iluminação indireta e direta.

    "Nosso método oferece resultados mais limpos em contagens de amostra muito baixas, onde os métodos anteriores normalmente lutam, "acrescenta Gharbi.

    Em trabalho futuro, os pesquisadores pretendem abordar a escalabilidade com seu método para estender a mais recursos de amostra e explorar técnicas para reforçar a suavidade quadro a quadro das imagens sem ruído.

    O papel, "Denoising Monte Carlo baseado em amostra usando uma rede de expansão de kernel, "também é co-autoria de Miika Aittala no MIT e Jaakko Lehtinen na Aalto University e Nvidia. Para mais detalhes e um vídeo, visite a página do projeto da equipe.


    © Ciência https://pt.scienceaq.com