Diz o ditado que uma imagem vale mais que mil palavras. Mas e se você não souber o que a imagem mostra? De fotos de família estranhas a fotos de aulas, às vezes é difícil saber o que as pessoas nas fotos estão pensando.

Usando aprendizado de máquina e aprendizado profundo com redes neurais, uma equipe da Universidade de Delaware está descobrindo isso. Uma equipe liderada pela estudante de doutorado Xin (Cindy) Guo obteve o primeiro lugar no sub-desafio Reconhecimento de Emoção em nível de Grupo, um dos três sub-desafios do 6º Desafio de Reconhecimento de Emoções na Natureza (EmotiW 2018). Os vencedores foram anunciados na Conferência Internacional ACM sobre Interação Multimodal 2018, que foi realizada em outubro de 2018.

As equipes receberam um conjunto de imagens retratando um grupo de pessoas e tiveram a tarefa de desenvolver um algoritmo que pudesse classificar as pessoas nas fotos como felizes, neutro ou negativo. As equipes tiveram um mês e meio e sete tentativas para produzir o algoritmo mais preciso possível. A solução vencedora da equipe UD, intitulado "Reconhecimento de emoção em nível de grupo usando modelos profundos híbridos com base em rostos, Cenas, Esqueletos e atenções visuais, "será publicado pela ACM. O grupo fundiu oito modelos diferentes para desenvolver sua solução vencedora, que funciona em fotografias em uma variedade de resoluções, borrado para limpar.

O objetivo desse trabalho? Para classificar automaticamente as imagens enviadas para sites.

"Quando as pessoas pesquisam, eles veriam as imagens que procuram porque o algoritmo seria executado e rotularia se as pessoas estão felizes ou não, "disse Guo." Poderia ser usado para analisar as emoções de um grupo de pessoas retratadas em um protesto, uma festa, um casamento, ou uma reunião, por exemplo. Essa tecnologia também pode ser desenvolvida para determinar que tipo de evento uma determinada imagem mostra. "