As molduras vazias penduradas dentro do Museu Isabella Stewart Gardner servem como um lembrete concreto do maior roubo de arte não resolvido do mundo. Embora nunca possamos descobrir essas obras-primas originais, uma equipe do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) pode ajudar, com um novo sistema destinado a projetar reproduções de pinturas.

"RePaint" usa uma combinação de impressão 3-D e aprendizado profundo para recriar autenticamente suas pinturas favoritas - independentemente das diferentes condições de iluminação ou posicionamento. O RePaint pode ser usado para refazer arte para sua casa, proteja os originais do desgaste em museus, ou até mesmo ajudar empresas a criar estampas e cartões postais de peças históricas.

"Se você apenas reproduzir a cor de uma pintura como ela aparece na galeria, pode parecer diferente em sua casa, "diz Changil Kim, um dos autores em um novo artigo sobre o sistema, que será apresentado no ACM SIGGRAPH Asia em dezembro. "Nosso sistema funciona em qualquer condição de iluminação, que mostra uma capacidade de reprodução de cores muito maior do que quase qualquer outro trabalho anterior. "

Para testar RePaint, a equipe reproduziu uma série de pinturas a óleo criadas por seu colaborador artista. A equipe descobriu que o RePaint era mais de quatro vezes mais preciso do que os modelos físicos de última geração na criação dos tons de cores exatos para diferentes obras de arte.

No momento, as reproduções têm apenas o tamanho de um cartão de visita, devido à natureza demorada da impressão. No futuro, a equipe espera que mais avançados, impressoras 3-D comerciais podem ajudar a fazer pinturas maiores com mais eficiência.

Como funciona Enquanto as impressoras 2-D são mais comumente usadas para reproduzir pinturas, se você tem um céu azul ou um vestido roxo em sua obra de arte, você pode estar sem sorte. Isso ocorre porque as impressoras 2-D têm um conjunto fixo de apenas quatro tintas (ciano, magenta, amarelo, e preto).

Os pesquisadores, Contudo, encontrou uma maneira melhor de capturar um espectro mais completo de Degas e Dali. Eles usaram uma técnica especial que desenvolveram chamada "color-contoning", que envolve o uso de uma impressora 3D e 10 tintas transparentes diferentes empilhadas em camadas muito finas, muito parecido com as bolachas e chocolate em uma barra Kit-Kat. Eles combinaram seu método com uma técnica de décadas chamada "meio-tom", onde uma imagem é criada por toneladas de pequenos pontos de tinta, em vez de tons contínuos. Combinando estes, a equipe diz, capturou melhor as nuances das cores.

Com um escopo de cores maior para trabalhar, a questão de quais tintas usar para as quais ainda restavam pinturas. Em vez de usar abordagens físicas mais trabalhosas, a equipe treinou um modelo de aprendizado profundo para prever a pilha ideal de diferentes tintas. Uma vez que o sistema controlou isso, eles então alimentaram imagens de pinturas, e usou o modelo para determinar quais cores deveriam ser usadas em quais áreas particulares para pinturas específicas.

Apesar do progresso até agora, a equipe diz que tem algumas melhorias a fazer antes de poder preparar um estonteante idiota de "Starry Night". De acordo com o engenheiro mecânico Mike Foshey, eles não podiam reproduzir completamente certas cores como o azul cobalto devido a uma biblioteca de tintas limitada.

No futuro, eles planejam expandir esta biblioteca, bem como criar um algoritmo específico de pintura para selecionar tintas. Eles também podem esperar obter melhores detalhes para levar em conta aspectos como a textura da superfície e o reflexo, para que possam obter efeitos específicos, como acabamentos brilhantes e foscos.

"O valor das belas-artes aumentou rapidamente nos últimos anos, portanto, há uma tendência cada vez maior de ficar trancado em depósitos longe dos olhos do público, "diz Foshey." Estamos construindo a tecnologia para reverter essa tendência, e para criar reproduções precisas e baratas que podem ser apreciadas por todos. "

Kim e Foshey trabalharam no sistema junto com o autor principal Liang Shi, Professor do MIT Wojciech Matusik, ex-pós-doutorado do MIT Vahid Babaei, agora é líder de grupo no Max Planck Institute of Informatics, Szymon Rusinkiewicz, professor de ciência da computação da Universidade de Princeton, e o ex-pós-doutorado do MIT Pitchaya Sitthi-Amorn, agora professor na Chulalongkorn University em Bangkok, Tailândia.