p Pesquisadores da UC Berkeley e da Ecole des Ponts Paris Tech desenvolveram recentemente uma abordagem de aprendizado profundo para descobrir padrões visuais recorrentes em coleções de arte. Seu papel, pré-publicado no arXiv, será apresentado na CVPR 2019, um renomado evento de visão computacional em junho. p Embora cada obra de arte possa parecer única, artistas costumam usar elementos visuais recorrentes ou motivos (por exemplo, anjos, moinhos de vento, etc.). Por exemplo, os críticos acreditam que algumas pinturas do pintor flamengo Jan Brueghel foram meramente imitações ou adaptações de suas próprias obras, bem como as de seu pai, Pieter Breughel.

p Em sua pesquisa, historiadores da arte muitas vezes tentam mapear conexões visuais entre diferentes obras de arte, pois isso poderia lançar alguma luz sobre sua origem e autoria. Contudo, descobrir padrões visuais semelhantes em grandes coleções de arte pode ser muito desafiador para humanos e máquinas.

p “Começamos este projeto após uma apresentação e discussão com um historiador da arte, Elizabeth Honig, onde ela apresentou tais correspondências e por que elas foram importantes para ela em seu estudo das obras de Brueghel, "Mathieu Aubry, um dos pesquisadores que realizou o estudo, disse TechXplore. "Nosso primeiro objetivo era tornar o trabalho dos historiadores da arte mais fácil e escalonável, identificando automaticamente em coleções de imagens digitais detalhes que foram copiados diretamente entre diferentes obras, apesar de pequenas modificações e diferenças no estilo da representação (por exemplo, gravação, quadro, desenhando, etc.). "

p Em seu estudo recente, Aubry e seus colegas propuseram uma abordagem que pode descobrir automaticamente padrões visuais recorrentes em grandes coleções de arte. Essencialmente, eles treinaram um modelo de aprendizado de máquina não supervisionado para encontrar correspondências entre elementos visuais quase duplicados em diferentes obras de arte.

p “A principal novidade da nossa abordagem é aprender, sem supervisão humana, um descritor de imagem profunda adaptado especificamente para a nossa tarefa:correspondência de cópias exatas em diferentes estilos de representação, "Aubry explicou." Para fazer isso, introduzimos um procedimento que valida correspondências candidatas usando consistência espacial entre correspondências vizinhas. "

p Os pesquisadores usaram a consistência espacial entre correspondências de características vizinhas como um sinal de ajuste fino de supervisão. Este recurso adaptado leva a uma correspondência invariante de estilo mais precisa. Combinado com uma abordagem de descoberta padrão com base na verificação geométrica, o recurso permite que sua abordagem de aprendizado profundo identifique padrões duplicados em grandes conjuntos de dados de arte.

p "Nosso trabalho CVPR focou nos aspectos da visão computacional. As colaborações com historiadores da arte para aplicar o método que desenvolvemos para analisar coleções de obras de arte ainda estão em andamento, "Aubry disse." Achamos que isso realmente mudará tanto a escala quanto o tipo de estudo que os historiadores da arte realizarão, permitindo que procurem e analisem conexões entre obras de arte em uma escala muito maior. De fato, ao tentar anotar conexões para apenas alguns detalhes em um conjunto de dados de média escala, vimos em primeira mão como esse processo era tedioso e caro para ser executado manualmente. "

p Aubry e seus colegas avaliaram seu método em vários conjuntos de dados, incluindo o conjunto de dados de fotos Oxford5K e um conjunto de dados recém-anotado de obras de arte atribuídas à família Brueghel. Nessas avaliações, sua abordagem alcançou resultados notáveis, superando outras técnicas de ponta para descobrir padrões visuais em obras de arte. Além disso, sua abordagem alcançou desempenho de ponta no conjunto de dados Large Time Gap Location, efetivamente localizando fotografias de arquitetura histórica e modernas.

p No futuro, a abordagem de aprendizagem profunda desenvolvida por Aubry e seus colegas pode ajudar os historiadores da arte a descobrir padrões visuais em grandes coleções de arte. De acordo com os pesquisadores, sua abordagem também pode ser facilmente transferida para outros problemas, como localização geográfica e reconhecimento de marca d'água histórica.

p "Queremos impulsionar as aplicações de nossa abordagem em humanidades, trabalhando diretamente com historiadores da arte para ajustar nosso método às suas necessidades específicas e ajudando-os a usá-lo, "Aubry disse." Também planejamos trabalhar para estender a ideia de aproveitar a redundância e a consistência espacial no aprendizado profundo para diferentes tipos de imagens e diferentes tipos de aplicativos. " p © 2019 Science X Network