O Santo Graal da inteligência artificial é uma máquina que realmente entende a linguagem humana e interpreta o significado do complexo, passagens matizadas. Quando o computador Watson da IBM venceu o famoso "Jeopardy!" campeão Ken Jennings em 2011, parecia que aquele marco havia sido alcançado. Contudo, qualquer pessoa que já tentou conversar com o assistente virtual Siri sabe que os computadores têm um longo caminho a percorrer para realmente compreender a linguagem humana. Para melhorar a compreensão da linguagem, os sistemas de computador devem treinar usando questões que os desafiem e reflitam toda a complexidade da linguagem humana.

Pesquisadores da Universidade de Maryland descobriram como criar de forma confiável essas perguntas por meio de uma colaboração humano-computador, desenvolver um conjunto de dados de mais de 1, 200 perguntas que, embora seja fácil para as pessoas responderem, stump os melhores sistemas de atendimento de computador hoje. O sistema que aprende a dominar essas questões terá um melhor entendimento da linguagem do que qualquer sistema existente atualmente. O trabalho é descrito em artigo publicado na edição de 2019 da revista. Transações da Association for Computational Linguistics .

"A maioria dos sistemas de computador que responde a perguntas não explica por que responde da maneira que o faz, mas nosso trabalho nos ajuda a ver o que os computadores realmente entendem, "disse Jordan Boyd-Graber, professor associado de ciência da computação na UMD e autor sênior do artigo. "Além disso, produzimos um conjunto de dados para testar em computadores que revelará se um sistema de linguagem de computador está realmente lendo e fazendo o mesmo tipo de processamento que os humanos são capazes de fazer. "

A maioria dos trabalhos atuais para melhorar os programas de resposta a perguntas usa autores humanos ou computadores para gerar perguntas. O desafio inerente a essas abordagens é que, quando os humanos escrevem perguntas, eles não sabem quais elementos específicos de sua pergunta estão confundindo o computador. Quando os computadores escrevem as perguntas, eles escrevem fórmulas, preencha as questões em branco ou cometa erros, às vezes gerando um absurdo.

Para desenvolver sua nova abordagem de humanos e computadores trabalhando juntos para gerar perguntas, Boyd-Graber e sua equipe criaram uma interface de computador que revela o que um computador está "pensando" quando um escritor humano digita uma pergunta. O redator pode então editar sua pergunta para explorar os pontos fracos do computador.

Na nova interface, um autor humano digita uma pergunta enquanto as suposições do computador aparecem em ordem de classificação na tela, e as palavras que levaram o computador a fazer suas suposições são destacadas.

Por exemplo, se o autor escrever "Quais variações do compositor sobre um tema de Haydn foram inspiradas por Karl Ferdinand Pohl?" e o sistema responde corretamente "Johannes Brahms, "a interface destaca as palavras" Ferdinand Pohl "para mostrar que essa frase levou à resposta. Usando essa informação, o autor pode editar a pergunta para torná-la mais difícil para o computador sem alterar o significado da pergunta. Neste exemplo, o autor substituiu o nome do homem que inspirou Brahms, "Karl Ferdinand Pohl, "com uma descrição de seu trabalho, "o arquivista do Vienna Musikverein, "e o computador não conseguiu responder corretamente. No entanto, jogadores de quiz humanos experientes ainda poderiam facilmente responder corretamente à pergunta editada.

Trabalhando juntos, humanos e computadores desenvolvidos de forma confiável 1, 213 perguntas complicadas que os pesquisadores testaram durante uma competição entre jogadores humanos experientes - desde equipes de trivia do colégio júnior até "Jeopardy!" campeões - contra computadores. Mesmo a equipe humana mais fraca derrotou o sistema de computador mais forte.

"Por três ou quatro anos, as pessoas sabem que os sistemas de resposta a perguntas por computador são muito frágeis e podem ser enganados facilmente, "disse Shi Feng, um estudante de graduação em ciência da computação da UMD e co-autor do artigo. "Mas este é o primeiro artigo que conhecemos que realmente usa uma máquina para ajudar os humanos a quebrar o modelo em si."

Os pesquisadores dizem que essas perguntas servirão não apenas como um novo conjunto de dados para os cientistas da computação entenderem melhor onde o processamento da linguagem natural falha, mas também como um conjunto de dados de treinamento para desenvolver algoritmos de aprendizado de máquina aprimorados. As perguntas revelaram seis fenômenos de linguagem diferentes que confundem consistentemente os computadores.

Esses seis fenômenos se enquadram em duas categorias. Na primeira categoria estão os fenômenos linguísticos:parafrasear (como dizer "pule de um precipício" em vez de "pule de um penhasco"), linguagem distrativa ou contextos inesperados (como uma referência a uma figura política aparecendo em uma pista sobre algo não relacionado à política). A segunda categoria inclui habilidades de raciocínio:pistas que requerem lógica e cálculo, triangulação mental de elementos em uma questão, ou juntando várias etapas para formar uma conclusão.

"Os humanos são capazes de generalizar mais e ver conexões mais profundas, "Boyd-Graber disse." Eles não têm a memória ilimitada dos computadores, mas eles ainda têm a vantagem de poder ver a floresta pelas árvores. Catalogar os problemas dos computadores nos ajuda a entender as questões que precisamos resolver, para que possamos realmente fazer com que os computadores comecem a ver a floresta por entre as árvores e respondam a perguntas como os humanos fazem. "

Há um longo caminho a percorrer antes que isso aconteça, acrescentou Boyd-Graber, que também tem co-nomeações no Instituto de Estudos Avançados de Computação da Universidade de Maryland (UMIACS), bem como na Faculdade de Estudos da Informação e Centro de Ciências da Linguagem da UMD. Mas este trabalho fornece uma ferramenta nova e estimulante para ajudar os cientistas da computação a atingir esse objetivo.

"Este artigo está traçando uma agenda de pesquisa para os próximos anos para que possamos realmente fazer com que os computadores respondam bem às perguntas, " ele disse.