Pesquisadores da TU Delft, na Holanda, desenvolveram recentemente um modelo baseado em rede neural convolucional (CNN) para reconstruir desenhos que se deterioraram com o tempo. Em seu estudo, publicado na Springer's Visão de máquina e aplicações , eles usaram especificamente o modelo para reconstruir alguns dos desenhos de Vincent Van Gogh que foram arruinados ao longo dos anos devido ao desbotamento e descoloração da tinta.

"A Holanda tem uma reputação internacional no que diz respeito às artes, com artistas famosos como Rembrandt, Mondrian e Van Gogh, "Jan van der Lubbe, um dos pesquisadores que realizou o estudo, disse TechXplore. "Portanto, a pesquisa histórica da arte e a pesquisa sobre como preservar o patrimônio cultural desempenham um papel importante na Holanda. "

Nos últimos anos, um número crescente de pesquisadores tem tentado desenvolver técnicas de aprendizado de máquina, como CNNs, para a análise de obras de arte. Até aqui, essas ferramentas foram usadas principalmente para identificar o artista que criou obras de arte específicas ou para determinar se as pinturas são reais ou falsas.

Em contraste com pesquisas anteriores, van der Lubbe e seus colegas começaram a investigar o uso de técnicas de aprendizado de máquina para a reconstrução em pixels de pinturas deterioradas. Quando se trata de preservação de arte, a deterioração de pinturas e desenhos é um desafio fundamental, portanto, ferramentas que podem reconstruir automaticamente obras de arte incompletas ou arruinadas simplificariam muito o trabalho dos historiadores da arte.

A equipe de pesquisadores da TU Delft treinou seu modelo baseado na CNN em reproduções de desenhos deteriorados do pintor pós-impressionista Van Gogh. Na verdade, alguns dos desenhos a tinta de Van Gogh deterioraram-se significativamente ao longo do século passado, e os historiadores da arte muitas vezes tentaram reproduzi-los.

Esses desenhos não podem ser exibidos no momento, e em algumas décadas eles podem se deteriorar completamente. Com isso em mente, Van der Lubbe e seus colegas queriam desenvolver um modelo que pudesse reconstruir automaticamente essas obras de arte inestimáveis, a fim de preservá-las e torná-las acessíveis ao público.

"Um dos principais objetivos da nossa pesquisa era prever o original, aparições passadas e futuras de obras de arte em papel por meio de métodos de aprendizado de máquina que integram os resultados de estudos aprofundados das cores usadas e sua descoloração ao longo do tempo, "disse van der Lubbe." Isso pode ajudar a imaginar como, por exemplo, um desenho de Van Gogh pode ter olhado para a época de sua criação. "

A abordagem desenvolvida por van der Lubbe e seus colegas combina técnicas de análise de imagem em multi-resolução e CNNs profundas para prever as aparições passadas de desenhos em pixels. CNNs são algoritmos inspirados por redes neurais biológicas, como as do cérebro humano, que podem ser treinados para concluir tarefas específicas por meio da análise de grandes quantidades de dados.

"Até onde sabemos, não há ou há poucos estudos anteriores sobre o uso de métodos de aprendizado de máquina para a reconstrução digital de obras de arte, "van der Lubbe disse." Essa é a ideia-chave que impulsiona nossa pesquisa e o uso de aprendizado de máquina para reconstruir obras de arte. De estudos anteriores, onde consideramos diferentes algoritmos de aprendizado de máquina, As abordagens de rede neural convolucional (CNN) pareciam mais promissoras. "

Em seu estudo, os pesquisadores treinaram especificamente uma CNN para reconstruir digitalmente desenhos desbotados de Van Gogh no papel. O algoritmo foi treinado em um conjunto de dados contendo reproduções dos desenhos originais de qualidade variada, feito em épocas diferentes durante o século passado.

"Os exemplos que usamos em nosso estudo são reproduções de desenhos de Van Gogh nos quais o conteúdo e a cor foram desbotados com menos gravidade, portanto, eles estão mais próximos do desenho original feito por Van Gogh, "Van der Lubbe disse." Obtivemos os desenhos e reproduções originais da coleção do Museu Van Gogh. "

Além de revelar como os desenhos eram no passado, a abordagem proposta por van der Lubbe e seus colegas pode ajudar os historiadores da arte a identificar estratégias adequadas de conservação e restauração de obras de arte, bem como práticas eficazes de preservação e exibição de obras de arte.

Os pesquisadores avaliaram seu modelo em uma série de experimentos e descobriram que ele alcançou resultados notáveis. Suas descobertas destacam a viabilidade do uso de aprendizado de máquina para a reconstrução preditiva de imagens degradadas, documentos e obras de arte. Embora os pesquisadores tenham usado especificamente seu modelo para reconstruir os desenhos de Van Gogh, também poderia ser aplicado a outras obras de arte em papel ou a manuscritos do século XIX.

“Obtivemos resultados melhores para a reconstrução digital dos desenhos de Van Gogh do que os obtidos até agora usando outros métodos, "van der Lubbe disse." Claro, Van Gogh foi apenas um teste ou exemplo. Nossa técnica também pode se estender além dos desenhos de Van Gogh para desenhos de outros artistas, pinturas e documentos antigos. "

No futuro, a ferramenta desenvolvida por van der Lubbe e seus colegas pode ajudar os historiadores da arte a criar reconstruções realistas de obras de arte que, de outra forma, poderiam se deteriorar completamente. Em seu estudo recente, os pesquisadores se concentraram em um desenho de cada vez, treinar sua CNN em um número limitado de reproduções. Contudo, o modelo também pode ser usado para prever a aparência do desenho original com base em uma quantidade muito maior de reproduções.

Além disso, essa técnica atualmente funciona por meio da análise de informações visuais. Em seus próximos estudos, os pesquisadores gostariam de investigar se a análise de informações visuais e relacionadas à química (por exemplo, a composição da tinta e sua taxa de degradação) podem melhorar o desempenho do modelo.

"No presente estudo, tínhamos um desenho degradado dos dias de hoje, "disse van der Lubbe." Sentimos que também seria um grande desafio reconstruir o desenho original, particularmente nos casos em que o original não está disponível ou desapareceu, portanto, só temos reproduções do passado. "

© 2019 Science X Network