Intuição de CAER-Net para vídeos não cortados, como em (a) métodos convencionais que aproveitam apenas as regiões faciais, como em (b), muitas vezes não conseguem reconhecer a emoção. Ao contrário desses métodos, CAER-Net se concentra em regiões de contexto de face e de atenção, como visto em (c). Crédito:Lee et al.
Uma equipe de pesquisadores da Universidade Yonsei e da École Polytechnique Fédérale de Lausanne (EPFL) desenvolveu recentemente uma nova técnica que pode reconhecer emoções analisando o rosto das pessoas em imagens, juntamente com características contextuais. Eles apresentaram e delinearam sua arquitetura baseada em aprendizagem profunda, chamado CAER-Net, em um artigo pré-publicado no arXiv.
Por muitos anos, pesquisadores em todo o mundo têm tentado desenvolver ferramentas para detectar automaticamente as emoções humanas por meio da análise de imagens, vídeos ou clipes de áudio. Essas ferramentas podem ter inúmeras aplicações, por exemplo, melhorar as interações robô-humano ou ajudar os médicos a identificar sinais de distúrbios mentais ou neurais (por exemplo, , com base em padrões de fala atípicos, características faciais, etc.).
Até aqui, a maioria das técnicas de reconhecimento de emoções em imagens foi baseada na análise das expressões faciais das pessoas, essencialmente supondo que essas expressões transmitam melhor as respostas emocionais dos humanos. Como resultado, a maioria dos conjuntos de dados para treinamento e avaliação de ferramentas de reconhecimento de emoção (por exemplo, os conjuntos de dados AFEW e FER2013) contêm apenas imagens recortadas de rostos humanos.
Uma limitação importante das ferramentas convencionais de reconhecimento de emoções é que elas não conseguem obter um desempenho satisfatório quando os sinais emocionais nos rostos das pessoas são ambíguos ou indistinguíveis. Em contraste com essas abordagens, os seres humanos são capazes de reconhecer as emoções dos outros com base não apenas em suas expressões faciais, mas também em pistas contextuais (por exemplo, as ações que estão realizando, suas interações com outras pessoas, onde eles estão, etc.).
Estudos anteriores sugerem que a análise de expressões faciais e recursos relacionados ao contexto pode aumentar significativamente o desempenho das ferramentas de reconhecimento de emoção. Inspirado por essas descobertas, os pesquisadores da Yonsei e da EPFL decidiram desenvolver uma arquitetura baseada no aprendizado profundo que pode reconhecer as emoções das pessoas em imagens com base em suas expressões faciais e informações contextuais.
Exemplos de pesos de atenção nas redes neurais desenvolvidas pelos pesquisadores. Crédito:Lee et al.
"Apresentamos redes profundas para o reconhecimento de emoções com base no contexto, chamado CAER-Net, que exploram não apenas a expressão facial humana, mas também informações de contexto, de forma articulada e estimulante, "os pesquisadores escreveram em seu artigo." A ideia principal é esconder rostos humanos em uma cena visual e buscar outros contextos com base em um mecanismo de atenção. "
CAER-Net, a arquitetura desenvolvida por pesquisadores, é composto de duas sub-redes e codificadores principais que extraem separadamente características faciais e regiões contextuais em uma imagem. Esses dois tipos de recursos são então combinados usando redes de fusão adaptáveis e analisados em conjunto para prever as emoções das pessoas em uma determinada imagem.
Além do CAER-Net, os pesquisadores também introduziram um novo conjunto de dados para reconhecimento de emoções com base no contexto, a que se referem como CAER. As imagens neste conjunto de dados retratam os rostos das pessoas e seus arredores / contexto, portanto, poderia servir como uma referência mais eficaz para o treinamento de avaliação de técnicas de reconhecimento de emoção.
Os pesquisadores avaliaram sua técnica de reconhecimento de emoção em uma série de experimentos, usando o conjunto de dados que eles compilaram e o conjunto de dados AFEW. Suas descobertas sugerem que a análise de expressões faciais e informações contextuais pode aumentar consideravelmente o desempenho das ferramentas de reconhecimento de emoção, conforme indicado por estudos anteriores.
"Esperamos que os resultados deste estudo facilitem mais avanços no reconhecimento de emoções com base no contexto e suas tarefas relacionadas, "escreveram os pesquisadores.
© 2019 Science X Network
