Os agentes de evidências citam frases da passagem para convencer um modelo de juiz que responde a perguntas de uma resposta. Crédito:Perez et al.
Identificar a resposta correta para uma pergunta geralmente envolve a coleta de grandes quantidades de informações e a compreensão de ideias complexas. Em um estudo recente, uma equipe de pesquisadores da New York University (NYU) e do Facebook AI Research (FAIR) investigou a possibilidade de descobrir automaticamente as propriedades subjacentes de problemas, como responder a perguntas, examinando como os modelos de aprendizado de máquina aprendem a resolver tarefas relacionadas.
Em seu jornal, pré-publicado no arXiv e previsto para ser apresentado no EMNLP 2019, eles introduziram uma abordagem para reunir as evidências de apoio mais fortes para uma determinada resposta a uma pergunta. Eles aplicaram especificamente esse método a tarefas que envolvem resposta a perguntas com base em passagens (QA), que envolve a análise de grandes quantidades de texto para identificar a melhor resposta a uma determinada pergunta.
"Quando fazemos uma pergunta, frequentemente estamos interessados não apenas na resposta, mas também em por que essa resposta está correta - quais evidências apóiam essa resposta, "Ethan Perez, um dos pesquisadores que realizou o estudo, disse TechXplore. "Infelizmente, encontrar evidências pode ser demorado se exigir a leitura de muitos artigos, artigos de pesquisa, etc. Nosso objetivo era aproveitar o aprendizado de máquina para encontrar evidências automaticamente. "
Primeiro, Perez e seus colegas treinaram um modelo de aprendizado de máquina de controle de qualidade projetado para responder às perguntas do usuário em um grande banco de dados de texto que incluía artigos de notícias, biografias, livros e outros conteúdos online. Subseqüentemente, eles usaram "agentes de evidência" para identificar frases que "convenceriam" o modelo de aprendizado de máquina a responder a uma consulta específica com uma resposta específica, essencialmente reunindo evidências para a resposta.
Crédito:Perez et al.
"Nosso sistema pode encontrar evidências para qualquer resposta - não apenas a resposta que o modelo de perguntas e respostas considera correta, como trabalho anterior focado em, "Perez disse." Assim, nossa abordagem pode alavancar um modelo de perguntas e respostas para encontrar evidências úteis, mesmo que o modelo de perguntas e respostas preveja a resposta errada ou se não houver uma resposta certa e clara. "
Em seus testes, Perez e seus colegas observaram que os modelos de aprendizado de máquina normalmente selecionam evidências de passagens de texto que generalizam bem para convencer outros modelos e até mesmo pessoas. Em outras palavras, suas descobertas sugerem que os modelos fazem julgamentos com base em evidências semelhantes àquelas normalmente consideradas por humanos, e até certo ponto, é até possível sondar como as pessoas pensam, oscilando como os modelos consideram as evidências.
Os pesquisadores também descobriram que modelos de controle de qualidade mais precisos tendem a encontrar melhores evidências de apoio, pelo menos de acordo com um grupo de participantes humanos que eles entrevistaram. O desempenho e os recursos dos modelos de aprendizado de máquina podem, portanto, estar fortemente associados à sua eficácia na coleta de evidências para apoiar suas previsões.
Exemplo de evidência selecionada pelos agentes. Crédito:Perez et al.
Crédito:Perez et al.
Exemplo de evidência selecionada pelos agentes. Crédito:Perez et al.
Os agentes de evidências citam frases da passagem para convencer um modelo de juiz que responde a perguntas de uma resposta. Crédito:Perez et al.
"Do ponto de vista prático, encontrar evidências é útil, "Perez disse." As pessoas podem responder a perguntas sobre longos artigos apenas lendo as evidências do nosso sistema para cada resposta possível. Portanto, em geral, encontrando evidências automaticamente, um sistema como o nosso pode potencialmente ajudar as pessoas a desenvolver opiniões informadas mais rapidamente. "
Perez e seus colegas descobriram que sua abordagem para coletar evidências melhorou substancialmente as respostas às perguntas, permitindo que os humanos respondam corretamente às perguntas com base em aproximadamente 20 por cento de uma passagem de texto, que foi selecionado por um agente de aprendizado de máquina. Além disso, sua abordagem permitiu que os modelos de controle de qualidade identificassem as respostas às perguntas de forma mais eficaz, generalizando melhor para passagens mais longas e perguntas mais difíceis.
No futuro, a abordagem concebida por esta equipe de pesquisadores e as observações que eles reuniram podem informar o desenvolvimento de ferramentas de aprendizado de máquina de controle de qualidade mais eficazes e confiáveis. Mais recentemente, Perez também escreveu uma postagem no blog do Medium que explica as ideias apresentadas no artigo com mais detalhes.
"Encontrar evidências é um primeiro passo em direção a modelos que debatem, "Disse Perez." Em comparação com a busca de evidências, o debate é uma forma ainda mais expressiva de apoiar uma posição. O debate requer não apenas a citação de evidências externas, mas também a construção de seus próprios argumentos - gerando um novo texto. Estou interessado em treinar modelos para gerar novos argumentos, ao mesmo tempo que garante que o texto gerado é verdadeiro e factualmente correto. "
© 2019 Science X Network
