Em plataformas populares de mídia social, os usuários postam inúmeras imagens todos os dias. Só no Instagram, há mais de 40 bilhões de fotos carregadas - um número que dispara em 95 milhões diariamente. Isso apresenta uma necessidade clara de ferramentas de edição de fotos intuitivas, porém robustas, que permitam ao usuário médio realizar funções de edição avançadas.

E embora haja uma necessidade definitiva de edição de imagens interativas com relação às mídias sociais, ferramentas e sistemas de edição aprimorados também continuam sendo um aspecto importante da computação gráfica e da visão computacional. Contudo, faltam ferramentas que apresentem funções de edição mais complexas para usuários inexperientes, como alterar a expressão facial em uma foto.

Uma equipe de pesquisa, liderado por cientistas da computação da Universidade de Bern-Suíça e da Universidade de Maryland-College Park, desenvolveram uma estrutura de edição baseada em esboço que permite ao usuário editar suas fotos "esboçando" alguns traços em cima delas. Seu sistema, chamado FaceShop, também oferece uma função de copiar e colar, que permite aos usuários editar qualquer parte de uma foto copiando e colando a parte a ser editada de outra (melhor) foto, eliminando a necessidade de desenhar ou esboçar qualquer coisa à mão.

A abordagem da equipe é baseada em técnicas de aprendizado de máquina, que, no fim, dê aos usuários mais controle sobre as edições desejadas em tempo real e produza resultados mais realistas.

"A maioria das outras abordagens dependem de métodos mais tradicionais, técnicas artesanais, que impõem algumas limitações. Por exemplo, esses sistemas são [por design] restritos a conjuntos limitados de operações de edição predefinidas, ou são muito flexíveis, mas difíceis de usar e exigem que usuários experientes gastem uma quantidade considerável de tempo para realizar edições básicas, "diz Tiziano Protenier, autor principal do trabalho e Ph.D. candidato na Universidade de Berna. "Em contraste, nosso sistema é muito flexível e permite que usuários não treinados façam edições complexas em minutos usando uma interface intuitiva. "

A Protenier desenvolveu o novo sistema com os colaboradores Qiyang Hu, Attila Szabó, Siavash Arjomand Bigdeli e Paolo Favaro da Universidade de Berna, e Matthias Zwicker, da University of Maryland. A equipe apresentará seu trabalho no SIGGRAPH 2018, realizada de 12 a 16 de agosto em Vancouver, Columbia Britânica. Este encontro anual apresenta os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

Em seu jornal, "FaceShop:Edição de imagens faciais com base em Sketch, "os pesquisadores demonstram seu novo sistema por meio de vários exemplos. Em um, o nariz de uma mulher é ligeiramente manipulado, e uma mecha de cabelo é editada de modo que seja afastada de seu rosto, removendo uma sombra escura que apareceu em apenas um lado de seu rosto na foto original. Outra foto mostra como um usuário é capaz de aprimorar a maquiagem dos olhos de uma mulher e realçar a cor de seus olhos. Os exemplos destacados no artigo mostram como o novo sistema funciona, intuitivamente, e produz alta qualidade, resultados realistas.

O método da equipe é baseado em redes neurais adversas geradoras (GANs), uma forma de inteligência artificial (IA) que, nos últimos anos, atraiu muito interesse de pesquisa por sua capacidade de gerar imagens de aparência realista. Esses GANs consistem em dois AIs que lutam entre si. O primeiro componente tenta distinguir as imagens geradas de imagens genuínas, enquanto o segundo componente tenta produzir imagens que enganam a outra IA. Durante o treinamento, os dois componentes aprendem um com o outro, eventualmente resultando em um sistema que aprendeu autonomamente a produzir imagens realistas, sem qualquer julgamento humano no circuito.

Ao contrário de outros métodos de edição de imagem baseados em IA, uma vez que o sistema é treinado, os usuários têm mais controle sobre as edições de suas fotos. "Nosso sistema apresenta um ótimo grau de controle, o que o torna muito interessante do ponto de vista da aplicação, "observa Portenier." Outras técnicas que tentam incorporar o controle do usuário são limitadas no escopo das edições possíveis ou têm funcionado bem com os dados usados ​​para treinar os sistemas, mas falham em produzir resultados convincentes com entradas reais do usuário. Estamos apresentando uma técnica que atenua esse problema, resultando em um sistema que funciona surpreendentemente bem na prática. "

Em trabalho futuro, os pesquisadores pretendem explorar ferramentas adicionais de interação do usuário para adicionar à sua estrutura, e considere como aproveitar a IA para edição de vídeos baseada em esboços.