Pesquisadores da Universidade de Pittsburgh desenvolveram recentemente um autoencoder variacional condicional que pode produzir faces exclusivas para anúncios. Seu estudo é baseado em seu trabalho anterior, que explorou métodos automatizados para entender melhor a propaganda.

"Em nosso projeto anterior, queríamos ver se as máquinas poderiam decodificar a retórica visual complexa encontrada nos anúncios, "Christopher Thomas, um dos pesquisadores que realizou o estudo, disse Tech Xplore. "Anúncios contêm trocadilhos, metáforas, e outros dispositivos retóricos persuasivos que são difíceis para as máquinas entenderem. Nesse artigo, não queríamos apenas entender os anúncios, mas queríamos ver se esse conteúdo persuasivo poderia ser gerado automaticamente por computadores. "

A principal missão da indústria da publicidade é promover produtos ou transmitir ideias usando linguagem e imagens persuasivas. Rostos, um aspecto importante dos anúncios, são frequentemente retratados de forma diferente dependendo do produto anunciado e da mensagem comunicada.

Em colaboração com sua colega Adriana Kovashka, Thomas usou o aprendizado de máquina para gerar rostos persuasivos que funcionariam bem para diferentes tipos de anúncios. Eles usaram autoencoders variacionais condicionais, ou "modelos generativos, "modelos de aprendizado de máquina que aprendem a gerar dados sintéticos semelhantes àqueles em que são treinados.

"Em visão computacional, os codificadores automáticos funcionam pegando uma imagem e aprendendo a representá-la como alguns números, "Disse Thomas." Então, uma segunda peça do modelo, o decodificador, aprende a pegar esses números e reproduzir a imagem original deles. Você quase pode pensar nisso como uma forma de compressão, em que uma grande imagem é representada por alguns números. "

Quando este tipo de modelo de aprendizado de máquina é treinado em um conjunto de dados grande o suficiente, começa a representar aspectos semânticos dentro dos números. Por exemplo, no modelo desenvolvido por Thomas e Kovashka, um número controlaria a forma de um rosto, outro o tom da pele, e assim por diante para outros recursos semânticos.

Contudo, se os pesquisadores quiserem que o modelo capture se uma pessoa está usando óculos, mas o conjunto de dados de treinamento não continha fotos suficientes de pessoas com óculos, esta propriedade seria perdida quando a imagem fosse reconstruída. Assim, eles desenvolveram um autoencoder condicional, o que significa que eles poderiam adicionar outros números ao modelo que não haviam adquirido sozinho, representando recursos semânticos que podem ser relevantes para anúncios específicos.

"A parte legal disso é que, depois de treinarmos o modelo para representar rostos em 100 números, se mudarmos alguns desses números e "decodificá-los", podemos mudar o rosto, "Disse Thomas." Podemos, assim, transformar os rostos existentes para que tenham a mesma aparência, mas tenham atributos diferentes, como óculos, sorrindo ou não, etc, apenas alterando alguns dos números que nosso modelo usa para representá-los. "

O treinamento de modelos generativos para visão computacional pode ser uma tarefa desafiadora, exigindo grandes conjuntos de dados de imagens e muitas vezes falhando quando treinados em dados muito diversos, como anúncios. Thomas e Kovashka superaram essas limitações usando um codificador automático que exigia menos dados e podia lidar com a variação considerável encontrada em anúncios.

"Mesmo assim, porque não havia dados suficientes, nem sempre capturou os conceitos que queríamos em suas representações, "diz Thomas." Assim, nós deliberadamente injetamos semântica em sua representação, que melhorou os resultados significativamente. "

Suas descobertas sugerem que, no futuro, os anunciantes serão capazes de criar anúncios personalizados e direcionados que são feitos sob medida para clientes individuais. Por exemplo, eles podem gerar rostos com características faciais que correspondem às do visualizador, para que se identifiquem mais com o assunto.

"Este tipo de automático, a personalização refinada de anúncios pode ter grandes implicações para os anunciantes online, "diz Thomas." Além disso, um anunciante que não deseja contratar um modelo extra para seu anúncio ou fazer a edição manual pode ser capaz de transformar um rosto existente de outro anúncio em um rosto adequado para seu tipo de anúncio. "

Os pesquisadores agora estão explorando maneiras de melhorar as imagens geradas para que correspondam à qualidade daquelas produzidas usando grandes quantidades de dados. Para fazer isso, eles precisarão projetar outros modelos generativos que sejam mais robustos quando treinados em dados altamente variados e limitados.

“Outra possível linha de pesquisa é a geração de outros objetos além de rostos, ou até mesmo gerar anúncios inteiros que sejam significativos e interessantes, "diz Thomas." Isso exigiria o desenvolvimento de novas técnicas para modelar a estrutura retórica em uma estrutura generativa, combinado com compreensão e geração de texto. "

© 2018 Tech Xplore