p Para aqueles que ainda não estão familiarizados com as ferramentas de reconstrução de fotos, o título deste artigo sobre o arXiv pode ser totalmente intrigante:"Pintura de imagens para orifícios irregulares usando convoluções parciais." A pesquisa, no entanto, de uma equipe NVIDIA, aponta o caminho para melhorias empolgantes reservadas para aqueles que devem realizar a edição de imagens e que desejam bons resultados. p A pintura interna de imagens trata do preenchimento de buracos em uma imagem. Ele pode ser usado para remover o conteúdo da imagem que não é desejado, enquanto preenche o espaço com imagens plausíveis. De volta ao título do artigo, a equipe explorou sua opinião sobre um processo aprimorado, que pode ser implementado em software de edição de fotos.

p No NVIDIA Developer News Center há uma visão geral sobre suas pesquisas. Eles vieram com um método que serve para (1) editar imagens ou (2) reconstruir uma imagem corrompida, um que tem buracos ou pixels faltando. E quando eles disseram "editar, "que inclui a remoção do conteúdo e o preenchimento dos buracos.

p O vídeo mostra claramente como isso pode ser interessante, apresentar conjuntos de fotos antes e depois do início do processo de whiting-out. As cenas para um são uma rocha ao ar livre e o outro é uma biblioteca dentro de casa. Ainda outro conjunto mostra rostos humanos, incluindo uma mulher, jovens do sexo masculino e um homem idoso.

p Sobre o que é o trabalho deles?

p "Pesquisadores da NVIDIA, liderado por Guilin Liu, introduziu um método de aprendizagem profunda de última geração que pode editar imagens ou reconstruir uma imagem corrompida, um que tem buracos ou pixels faltando. O método também pode ser usado para editar imagens removendo o conteúdo e preenchendo os buracos resultantes. ”Isso está de acordo com as notas do vídeo.

p Em jogo estavam duas fases, a fase de treinamento e a fase de teste.

p Para se preparar para treinar sua rede neural, a equipe primeiro gerou máscaras de faixas aleatórias e buracos de formas e tamanhos arbitrários para treinamento, disse a reportagem do centro de notícias. As categorias foram criadas com base nos tamanhos relativos à imagem de entrada, para melhorar a precisão da reconstrução. O treinamento da rede neural envolveu as máscaras geradas para imagens do ImageNet, Conjuntos de dados Places2 e CelebA-HQ.

p “Durante a fase de treinamento, furos ou peças faltantes são introduzidos em imagens de treinamento completo a partir dos conjuntos de dados acima, para permitir que a rede aprenda a reconstruir os pixels ausentes. Durante a fase de teste, furos diferentes ou peças faltando, não aplicado durante o treinamento, são introduzidos nas imagens de teste no conjunto de dados, para realizar uma validação imparcial da precisão da reconstrução. "

p Por que seu trabalho se destaca:"Até onde sabemos, somos os primeiros a demonstrar a eficácia do aprendizado profundo em modelos de pintura de imagens em orifícios de formato irregular. "

p Os pesquisadores estavam cientes da existência de métodos de pintura de imagem baseados em aprendizado profundo. Eles estavam usando "uma rede convolucional padrão sobre a imagem corrompida, usando respostas de filtro convolucionais condicionadas em pixels válidos, bem como os valores substitutos nos orifícios mascarados (normalmente o valor médio). "Eles disseram que" muitas vezes leva a artefatos como discrepância de cores e borrões. O pós-processamento é geralmente usado para reduzir esses artefatos, mas são caros e podem falhar. "

p Eles disseram que estavam propondo convoluções parciais - com isso "a convolução é mascarada e renormalizada para ser condicionada apenas em pixels válidos".

p Eles mostraram comparações qualitativas e quantitativas com outros métodos para validar sua abordagem, e afirmaram que seu modelo "supera outros métodos para máscaras irregulares".

p Os autores do artigo são Guilin Liu, Fitsum Reda, Kevin Shih, Ting-Chun Wang, Andrew Tao e Bryan Catanzaro. p © 2018 Tech Xplore