Um sistema criado por pesquisadores do MIT pode ser usado para atualizar automaticamente inconsistências factuais em artigos da Wikipedia, reduzindo o tempo e o esforço despendidos por editores humanos que agora fazem a tarefa manualmente.

A Wikipedia é composta por milhões de artigos que precisam constantemente de edições para refletir novas informações. Isso pode envolver expansões de artigos, grandes reescritas, ou modificações mais rotineiras, como atualização de números, datas, nomes, e locais. Atualmente, humanos em todo o mundo dedicam seu tempo para fazer essas edições.

Em um artigo apresentado na Conferência AAAI sobre Inteligência Artificial, os pesquisadores descrevem um sistema de geração de texto que identifica e substitui informações específicas em frases relevantes da Wikipedia, enquanto mantém a linguagem semelhante à forma como os humanos escrevem e editam.

A ideia é que os humanos digitem em uma interface uma frase não estruturada com informações atualizadas, sem precisar se preocupar com estilo ou gramática. O sistema então pesquisaria a Wikipedia, localize a página apropriada e a frase desatualizada, e reescrevê-lo de uma forma humana. No futuro, os pesquisadores dizem, há potencial para construir um sistema totalmente automatizado que identifica e usa as informações mais recentes da web para produzir frases reescritas em artigos correspondentes da Wikipedia que refletem informações atualizadas.

"Há tantas atualizações constantemente necessárias para os artigos da Wikipedia. Seria benéfico modificar automaticamente as partes exatas dos artigos, com pouca ou nenhuma intervenção humana, "diz Darsh Shah, um Ph.D. Aluno do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) e um dos autores principais. "Em vez de centenas de pessoas trabalhando na modificação de cada artigo da Wikipedia, então você só vai precisar de alguns, porque o modelo está ajudando ou fazendo isso automaticamente. Isso oferece melhorias dramáticas na eficiência. "

Existem muitos outros bots que fazem edições automáticas na Wikipedia. Tipicamente, aqueles trabalham para mitigar o vandalismo ou jogar algumas informações estritamente definidas em modelos predefinidos, Shah diz. O modelo dos pesquisadores, ele diz, resolve um problema mais difícil de inteligência artificial:dada uma nova informação não estruturada, o modelo modifica automaticamente a frase de maneira humana. "As outras tarefas [bot] são mais baseadas em regras, embora esta seja uma tarefa que requer raciocínio sobre partes contraditórias em duas frases e gerar um pedaço de texto coerente, " ele diz.

O sistema também pode ser usado para outros aplicativos de geração de texto, diz o co-autor principal e aluno de pós-graduação do CSAIL Tal Schuster. Em seu jornal, os pesquisadores também o usaram para sintetizar frases automaticamente em um conjunto de dados de verificação de fatos popular que ajudou a reduzir o preconceito, sem coletar dados adicionais manualmente. "Por aqui, o desempenho melhora para modelos de verificação automática de fatos que treinam no conjunto de dados para, dizer, detecção de notícias falsas, "Schuster diz.

Shah e Schuster trabalharam no artigo com sua orientadora acadêmica Regina Barzilay, o Professor Delta Eletrônica de Engenharia Elétrica e Ciência da Computação e um professor em CSAIL.

Máscara e fusão de neutralidade

Por trás do sistema está um pouco de engenhosidade de geração de texto na identificação de informações contraditórias entre, e então se fundindo, duas frases separadas. Leva como entrada uma frase "desatualizada" de um artigo da Wikipedia, além de uma frase de "reivindicação" separada que contém as informações atualizadas e conflitantes. O sistema deve excluir automaticamente e manter palavras específicas na frase desatualizada, com base nas informações da reclamação, para atualizar os fatos, mas manter o estilo e a gramática. Essa é uma tarefa fácil para os humanos, mas um novo em aprendizado de máquina.

Por exemplo, digamos que haja uma atualização necessária para esta frase (em negrito):"O Fundo A considera 28 de suas 42 participações minoritárias em empresas operacionalmente ativas como sendo de particular importância para o grupo." A sentença de reivindicação com informações atualizadas pode ser:"O Fundo A considera 23 das 43 participações minoritárias significativas." O sistema localizaria o texto relevante da Wikipedia para "Fundo A, "com base na afirmação. Em seguida, ele remove automaticamente os números desatualizados (28 e 42) e os substitui pelos novos números (23 e 43), enquanto mantém a frase exatamente a mesma e gramaticalmente correta. (Em seu trabalho, os pesquisadores executaram o sistema em um conjunto de dados de frases específicas da Wikipedia, não em todas as páginas da Wikipedia.)

O sistema foi treinado em um conjunto de dados popular que contém pares de frases, em que uma frase é uma afirmação e a outra é uma frase relevante da Wikipedia. Cada par é rotulado de três maneiras:"concordo, "significando que as sentenças contêm informações factuais correspondentes;" discordo, "o que significa que contêm informações contraditórias; ou" neutro, "onde não há informações suficientes para nenhum dos rótulos. O sistema deve fazer com que todos os pares discordantes concordem, modificando a frase desatualizada para corresponder à afirmação. Isso requer o uso de dois modelos separados para produzir a saída desejada.

O primeiro modelo é um classificador de verificação de fatos - pré-treinado para rotular cada par de frases como "concordo, "" discordo, "ou" neutro "- que se concentra em pares discordantes. Executado em conjunto com o classificador é um módulo" mascarador de neutralidade "personalizado que identifica quais palavras na frase desatualizada contradizem a afirmação. O módulo remove o número mínimo de palavras necessárias para" maximizar neutralidade "- o que significa que o par pode ser rotulado como neutro. Esse é o ponto de partida:embora as frases não concordem, eles não contêm mais informações obviamente contraditórias. O módulo cria uma "máscara" binária sobre a frase desatualizada, onde um 0 é colocado sobre as palavras que provavelmente precisam ser excluídas, enquanto um 1 vai para cima dos guardiões.

Depois de mascarar, uma nova estrutura de dois codificadores-decodificadores é usada para gerar a sentença de saída final. Este modelo aprende representações compactadas da afirmação e da frase desatualizada. Trabalhando em conjunto, os dois codificadores-decodificadores fundem as palavras diferentes da afirmação, deslizando-os para os lugares deixados vazios pelas palavras excluídas (aquelas cobertas com 0s) na frase desatualizada.

Em um teste, o modelo teve pontuação mais alta do que todos os métodos tradicionais, usando uma técnica chamada "SARI" que mede o quão bem as máquinas excluem, adicionar, e manter as palavras em comparação com a maneira como os humanos modificam as frases. Eles usaram um conjunto de dados com frases editadas manualmente da Wikipedia, que a modelo não tinha visto antes. Comparado a vários métodos tradicionais de geração de texto, o novo modelo era mais preciso ao fazer atualizações factuais e sua saída se assemelhava mais à escrita humana. Em outro teste, Humanos crowdsourced pontuaram o modelo (em uma escala de 1 a 5) com base em quão bem suas sentenças de saída continham atualizações factuais e gramática humana combinada. O modelo obteve pontuações médias de 4 nas atualizações factuais e 3,85 na gramática correspondente.

Removendo preconceito

O estudo também mostrou que o sistema pode ser usado para aumentar conjuntos de dados para eliminar viés ao treinar detectores de "notícias falsas, "uma forma de propaganda que contém desinformação criada para enganar os leitores a fim de gerar visualizações do site ou orientar a opinião pública. Alguns desses detectores treinam em conjuntos de dados de pares de sentenças concordam-discordam para" aprender "a verificar uma afirmação comparando-a com as evidências fornecidas.

Nestes pares, a alegação combinará certas informações com uma sentença de "evidência" de apoio da Wikipedia (concordo) ou será modificada por humanos para incluir informações contraditórias à sentença de evidência (discordo). Os modelos são treinados para sinalizar reivindicações com refutação de evidências como "falsas, "que pode ser usado para ajudar a identificar notícias falsas.

Infelizmente, esses conjuntos de dados atualmente vêm com tendências não intencionais, Shah diz:"Durante o treinamento, modelos usam alguma linguagem das afirmações escritas por humanos como frases "distribuídas" para marcá-las como falsas, sem confiar muito na sentença de evidência correspondente. Isso reduz a precisão do modelo ao avaliar exemplos do mundo real, uma vez que não realiza verificação de fatos. "

Os pesquisadores usaram as mesmas técnicas de exclusão e fusão de seu projeto da Wikipedia para equilibrar os pares discordar-concordar no conjunto de dados e ajudar a mitigar o viés. Para alguns pares "discordantes", eles usaram as informações falsas da sentença modificada para regenerar uma falsa "evidência" de apoio à sentença. Algumas das frases de entrega existem nas frases "concordo" e "discordo", o que força os modelos a analisar mais recursos. Usando seu conjunto de dados aumentado, os pesquisadores reduziram a taxa de erro de um detector de notícias falsas popular em 13%.

"Se você tiver um viés em seu conjunto de dados, e você está enganando seu modelo para apenas olhar para uma frase em um par discordante para fazer previsões, seu modelo não sobreviverá no mundo real, "Shah diz." Nós fazemos os modelos olharem para ambas as sentenças em todos os pares concordo-discordo. "

Esta história foi republicada por cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que cobre notícias sobre pesquisas do MIT, inovação e ensino.