O desenho de caricaturas é uma forma de arte distinta em que os artistas desenham o rosto de uma pessoa de maneira exagerada. na maioria das vezes para provocar humor. Automatizar essa técnica apresenta desafios devido à quantidade de detalhes e formas intrincados envolvidos e ao nível de habilidades profissionais necessárias para transformar uma pessoa artisticamente de seu eu da vida real em um criativamente exagerado.

Uma equipe de cientistas da computação da City University of Hong Kong e da Microsoft, desenvolveram uma abordagem inovadora baseada em aprendizagem profunda para gerar automaticamente a caricatura de um determinado retrato, e para permitir que os usuários façam isso de forma eficiente e realista.

"Comparado aos métodos tradicionais baseados em gráficos que definem regras feitas à mão, nossa nova abordagem aproveita Big Data e aprendizado de máquina para sintetizar caricaturas de milhares de exemplos desenhados por artistas profissionais, "diz Kaidi Cao, autor principal, que atualmente é estudante de graduação em ciência da computação na Universidade de Stanford, mas conduziu o trabalho durante seu estágio na Microsoft. "Embora os métodos de transferência de estilo existentes tenham se concentrado principalmente no estilo de aparência, nossa técnica atinge o exagero geométrico e a estilização da aparência envolvida no desenho da caricatura. "O método permite que os usuários automatizem caricaturas de retratos, e pode ser aplicado a tarefas como a criação de avatares caricaturados para mídias sociais, e desenhar personagens de desenhos animados. A técnica também tem aplicações potenciais em marketing, publicidade e jornalismo.

Cao colaborou na pesquisa com Jing Liao da City University de Hong Kong e Lu Yuan da Microsoft, e os três planos de apresentar seu trabalho no SIGGRAPH Asia 2018 em Tóquio de 4 a 7 de dezembro. A conferência anual apresenta os membros técnicos e criativos mais respeitados no campo da computação gráfica e técnicas interativas, e apresenta pesquisas de ponta em ciência, arte, jogos e animação, entre outros setores.

Nesse trabalho, os pesquisadores recorreram a uma técnica bem conhecida de aprendizado de máquina, Rede Adversarial Generativa (GAN), para tradução de foto em caricatura desemparelhada para gerar caricaturas que preservem a identidade do retrato. Chamado de "CariGANs", a estrutura computacional modela com precisão o exagero geométrico em fotos (formas de rostos, ângulos específicos) e estilização de aparência (aparência, sentir, traços de lápis, sombreamento) por meio de dois algoritmos que os pesquisadores rotularam, CariGeoGAN e CariStyGAN.

CariGeoGAN modela apenas o mapeamento de geometria para geometria de fotos de rosto a caricaturas e CariStyGAN transfere a aparência de estilo de caricaturas para fotos de rosto sem qualquer deformação para a geometria da imagem original. As duas redes são treinadas separadamente para cada tarefa para que o procedimento de aprendizagem seja mais robusto, observa os pesquisadores. A estrutura CariGANs permite que os usuários controlem o grau de exagero no estilo geométrico e de aparência arrastando slides ou dando um exemplo de caricatura.

Cao e colaboradores conduziram estudos de percepção para avaliar a capacidade de sua estrutura de gerar caricaturas de retratos que são facilmente reconhecíveis e não muito distorcidos em forma e estilo de aparência. Por exemplo, um estudo avaliou o quão bem a identidade de uma imagem é preservada usando o método CariGANs em comparação com os métodos existentes para traduzir a arte da caricatura. Eles demonstraram, através de vários exemplos, que os métodos existentes resultaram em tradução de caricatura irreconhecível. Os participantes do estudo acharam muito difícil combinar as caricaturas resultantes com os assuntos originais porque os resultados finais eram muito exagerados ou confusos. O método dos pesquisadores gerou com sucesso mais clareza, representações caricaturais mais precisas de fotos de retratos, como se fossem desenhados à mão por um artista profissional.

Atualmente, o foco deste trabalho está centrado em caricaturas de pessoas, principalmente headshots ou retratos. Em trabalho futuro, os pesquisadores pretendem explorar além da geração da caricatura facial em cenas de corpo inteiro ou mais complexas. Eles também estão interessados ​​em projetar sistemas aprimorados de interação homem-computador (HCI) que dariam aos usuários mais liberdade e controle sobre os resultados gerados pelo aprendizado de máquina.