Uma equipe de cientistas da computação do Centro Interdisciplinar de Israel desenvolveu um método inovador para analisar automaticamente o retrato artístico, capturando um alto nível de detalhe e precisão dos retratos, bem como do estilo individual dos artistas. Focado em desenvolver um método computacional para detectar características faciais em obras de arte, ou pontos de referência faciais, como cantos dos olhos ou da boca, os pesquisadores ampliaram com sucesso o trabalho realizado em fotografias de imagens de rostos naturais para o campo do retrato artístico.

"Como não há dados de treinamento de pinturas de retratos que contenham pontos de referência faciais, nossa ideia principal era criar esses dados usando o que chamamos de 'aumento artístico, '"diz o professor Ariel Shamir, autor principal do estudo e reitor da Escola Efi Arazi de Ciência da Computação do Centro Interdisciplinar de Herzliya. "Transformamos os dados fotográficos do rosto para serem mais semelhantes aos retratos artísticos e os usamos para treinar novos modelos para redes neurais que funcionam melhor para entradas artísticas. Ao usar nossos modelos, não só ganhamos melhor precisão nos retratos, mas também não perdemos muita precisão nas faces naturais. "

Shamir, junto com seus alunos Jordan Yaniv e Yael Newman, estão prontos para apresentar seu trabalho no SIGGRAPH 2019, realizada de 28 de julho a 1º de agosto em Los Angeles. Este encontro anual mostra os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

Pontos de referência guiam o estilo

As principais diferenças entre retratos artísticos e imagens faciais naturais são duas:diferenças de aparência de textura e diferenças geométricas. Trabalhos anteriores nesta área de pesquisa focaram principalmente em capturar o estilo de aparência da arte, e não o estilo geométrico. Com retratos artísticos, o estilo geométrico é imperativo, observe os autores do estudo, mas difícil de capturar, já que cada artista tem seu próprio criativo, estilo distinto.

"Por exemplo, o pintor italiano Clemente Modigliani é conhecido por pintar rostos alongados, e a pintora americana Margaret Keane é conhecida por pintar rostos com grandes, olhos exagerados, "diz Shamir." Nosso trabalho permite que computadores e algoritmos revelem essas informações e reconheçam esse aspecto do estilo geométrico em pinturas de retratos. "

Para capturar estilos geométricos em retratos, é necessário reconhecer os traços faciais e a estrutura do rosto na pintura. Para este fim, o método dos pesquisadores se concentra na detecção de características faciais na obra de arte, usando pontos de referência no rosto. Dependendo do estilo do artista, esses recursos podem ser diversos em forma e exagerados, não se parece com rostos humanos reais. Para superar este desafio, eles aplicam um método conhecido chamado "aumento" de imagens naturais de rosto, transformar fotografias de imagens faciais naturais para serem mais semelhantes a retratos "artísticos", e treinar redes neurais para detectar os pontos de referência.

Os pesquisadores avaliaram seu método de detecção de pontos de referência criando um conjunto de dados de rostos artísticos contendo 160 retratos artísticos de 16 artistas diferentes de vários gêneros e estilos, com grandes variações na geometria e textura. No artigo que descreve seu trabalho, eles também demonstram várias aplicações para detecção de traços faciais artísticos e análise de estilo geométrico. Isso inclui a compreensão do estilo de artistas específicos, comparando estilos de diferentes artistas, e seguindo possíveis tendências de estilos artísticos. Outra aplicação popular é a transferência de estilo:onde se pode transformar uma determinada imagem de entrada de um rosto em uma pintura no estilo de um determinado artista, tanto em textura quanto em geometria.

Em trabalho futuro, a equipe espera usar a assinatura do estilo geométrico para construir classificadores que possam reconhecer um artista específico e expandir a definição do estilo geométrico para além dos rostos - um desafio atual em computação gráfica e arte.