Cientistas da computação examinaram recentemente o desempenho de sistemas de diálogo, como assistentes pessoais e chatbots projetados para interagir com humanos. A equipe descobriu que quando esses sistemas são confrontados com diálogos que incluem expressões idiomáticas ou símiles, seu desempenho cai para entre 10 e 20 por cento.
A equipe de pesquisa também desenvolveu um remédio parcial. Eles escreveram um roteiro simples que identifica frases figurativas e as substitui por seu significado literal. Como resultado, o desempenho dos sistemas de diálogo melhorou em até 15%.

Os pesquisadores estão apresentando suas descobertas na Conferência de 2021 sobre Métodos Empíricos em Processamento de Linguagem Natural, que acontece de 7 a 11 de novembro de 2021.

As aplicações para este trabalho incluem não apenas assistentes pessoais, mas também sistemas projetados para resumir informações, como a caixa que resume os resultados da pesquisa no topo de uma página do Google. Sistemas automatizados que precisam responder a perguntas, por exemplo, quando uma conta precisa ser paga ou um agendamento a ser feito, também se beneficiariam desse trabalho.

"Queremos permitir conversas mais naturais entre pessoas e sistemas de diálogo", disse Harsh Jhamtani, o primeiro autor do artigo.

Jhamtani é Ph.D. estudante da Carnegie Mellon University e atualmente trabalha como pesquisador visitante com o autor sênior Taylor Berg-Kirkpatrick, membro do corpo docente do Departamento de Ciência da Computação e Engenharia da UC San Diego.

O estudo foi inspirado nas próprias lutas de Jhamtani com a linguagem figurada. Ele é um falante nativo de hindi e também fala inglês, a outra língua oficial da Índia. Mas ele teve que aprender as muitas expressões idiomáticas e metáforas dos EUA que seus colegas usam.

Por exemplo, ele entrou em pânico quando um colega disse que eles estavam morrendo de fome porque em hindi isso poderia indicar uma emergência médica. Seu colega então explicou que isso significava apenas que ele estava com fome. A essa altura, Jhamtani estava se perguntando se os sistemas de diálogo artificial teriam o mesmo problema que ele.

No estudo, os pesquisadores testaram cinco sistemas diferentes projetados para conversar com humanos, incluindo o GPT-2, que é treinado para prever a próxima palavra em 40 GB de texto da Internet e foi desenvolvido pela empresa de pesquisa OpenAI.

Os pesquisadores primeiro executaram os sistemas de diálogo por meio de um conjunto de dados de 13,1 mil conversas sobre tópicos coloquiais como turismo, saúde e assim por diante. Em seguida, eles extraíram as conversas que incluíam linguagem figurada do conjunto de dados e executaram os sistemas apenas por meio delas. Eles observaram uma queda no desempenho variando de 10 a 20 por cento.

Eles então escreveram um script que permitiu que os sistemas verificassem rapidamente os dicionários que traduzem a fala figurativa em fala literal. Isso é mais rápido e eficiente do que os sistemas de retreinamento para aprender o conteúdo completo desses dicionários. Os pesquisadores observaram que o desempenho melhorou em até 15%.

Os pesquisadores ainda tiveram que confiar parcialmente em observadores humanos para identificar a linguagem figurada dentro do conjunto de dados, antes que o texto pudesse ser convertido. Mais estudos são necessários nesta área.

Serão necessárias várias iterações antes que os algoritmos desenvolvidos pelos pesquisadores estejam prontos para implementação. Por exemplo, eles descobriram que, em alguns casos raros, substituir a linguagem figurativa pela linguagem literal distorcia a gramática de uma frase a ponto de os sistemas de diálogo não conseguirem mais entender.