Muitos designers do mundo virtual consideram um desafio projetar texturas ou padrões complexos e eficientes em grande escala. De fato, a chamada "síntese de textura, "o design de texturas precisas, como ondas de água em um rio, paredes de concreto, ou padrões de folhas, continua a ser uma tarefa difícil para os artistas. Uma infinidade de texturas não estacionárias no "mundo real" poderia ser recriada em jogos ou mundos virtuais, mas as técnicas existentes são tediosas e demoradas.

Para enfrentar este desafio, uma equipe global de cientistas da computação desenvolveu uma técnica única baseada em inteligência artificial que treina uma rede para aprender a expandir pequenas texturas em texturas maiores. O método baseado em dados dos pesquisadores alavanca uma técnica de IA chamada redes adversárias gerativas (GANs) para treinar computadores para expandir texturas de um patch de amostra em instâncias maiores que melhor se assemelham à amostra original.

"Nossa abordagem lida com sucesso com texturas não estacionárias, sem qualquer descrição de alto nível ou semântica da estrutura em grande escala, "diz Yang Zhou, autor principal do trabalho e professor assistente na Universidade de Shenzhen e na Universidade de Ciência e Tecnologia de Huazhong. "Ele pode lidar com texturas muito desafiadoras, que, para nosso conhecimento, nenhum outro método existente pode manipular. Os resultados são designs realistas produzidos em alta resolução, eficientemente, e em uma escala muito maior. "

O objetivo básico da síntese de textura baseada em exemplos é gerar uma textura, geralmente maior em tamanho do que a entrada, que captura de perto as características visuais da entrada de amostra - embora não totalmente idêntica a ela - e mantém uma aparência realista. Exemplos de texturas não estacionárias incluem texturas com estruturas irregulares em grande escala, ou aqueles que exibem variação espacial em certos atributos, como cor, orientação local, e escala local. No papel, os pesquisadores testaram seu método em exemplos complexos como penas de pavão e ondulações de tronco de árvore, que são aparentemente intermináveis ​​em seus padrões repetitivos.

Zhou e seus colaboradores, incluindo Zhen Zhu e Xiang Bai (Universidade Huazhong), Dani Lischinski (Universidade Hebraica de Jerusalém), Daniel Cohen-Or (Universidade de Shenzhen e Universidade de Tel Aviv), e Hui Huang (Universidade de Shenzhen), apresentará seu trabalho no SIGGRAPH 2018, realizada de 12 a 16 de agosto em Vancouver, Columbia Britânica. Este encontro anual mostra os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

Seu método envolve o treinamento de uma rede generativa, chamado gerador, para aprender a expandir (ou seja, o dobro da extensão espacial de) um bloco de textura arbitrário recortado de um exemplar, de modo que o resultado expandido é visualmente semelhante a um bloco exemplar contendo o tamanho apropriado (duas vezes maior). A semelhança visual entre o bloco expandido automaticamente e o bloco contendo real é avaliada usando uma rede discriminativa (discriminador). Como é típico dos GANs, o discriminador é treinado em paralelo ao gerador para distinguir entre blocos grandes reais do exemplar e aqueles produzidos pelo gerador.

Zhou diz, "Surpreendentemente, descobrimos que, ao usar um conceito tão simples, estratégia de treinamento adversarial auto-supervisionada, a rede treinada funciona quase perfeitamente em uma ampla gama de texturas, incluindo texturas estacionárias e altamente não estacionárias. "

A ferramenta se destina a auxiliar artistas de textura no design de videogame, realidade virtual, e animação. Uma vez que o treinamento adversarial auto-supervisionado ocorre para cada amostra de textura dada, a estrutura pode ser usada para gerar texturas estendidas automaticamente, até o dobro do tamanho da amostra original. Na estrada, os pesquisadores esperam que seu sistema seja capaz de realmente extrair informações de alto nível de texturas de uma forma não supervisionada.

Adicionalmente, no trabalho futuro, a equipe pretende treinar um modelo "universal" em um conjunto de dados de textura em grande escala, bem como aumentar o controle do usuário. Para artistas de textura, a síntese controlada com interação do usuário provavelmente será ainda mais útil, uma vez que os artistas tendem a manipular as texturas para seus próprios projetos.

Para o artigo completo e vídeo, visite a página do projeto da equipe.