Você é mais inteligente do que um modelo de aprendizado de máquina? Vamos descobrir. Escolha a resposta que contradiz a seguinte premissa:

Bob tem uma irmã chamada Sarah.

• A) Bob tem uma irmã.
• B) Bob não tem carro.
• C) Bob não tem irmã.

Se você escolheu C, Parabéns!

Exemplos como esse podem parecer simples, mas parecem ser um bom indicador da compreensão da linguagem por uma máquina. O teste é chamado de Inferência de Linguagem Natural e costuma ser usado para avaliar a capacidade de um modelo de entender a relação entre dois textos. As relações possíveis são vinculação (como no exemplo A), neutro (B), e contradição (C).

Conjuntos de dados com centenas de milhares dessas perguntas, gerado por humanos, levaram a uma explosão de novas arquiteturas de rede neural para resolver a inferência de linguagem natural. Ao longo dos anos, essas redes neurais estão ficando cada vez melhores. Os modelos modernos de hoje geralmente obtêm o equivalente a um B + nesses testes. Os humanos geralmente pontuam A ou A-.

Mas os pesquisadores descobriram recentemente que os modelos de aprendizado de máquina ainda funcionam muito bem quando recebem apenas a resposta, também chamada de hipótese, sem a premissa original. Por exemplo, um modelo dado apenas "Bob não tem uma irmã" vai adivinhar que esta é uma hipótese contraditória, mesmo que não seja dada a premissa "Bob tem uma irmã chamada Sarah".

Acontece que esses conjuntos de dados estão repletos de preconceitos humanos. Quando solicitados a sugerir frases contraditórias, humanos costumam usar negações, como "não" ou "ninguém". Contudo, confiar nessas pistas pode levar os modelos de aprendizado de máquina a rotular incorretamente "Bob não possui um carro" como uma contradição.

"Esses modelos não estão aprendendo a entender a relação entre os textos, eles estão aprendendo a capturar as idiossincrasias humanas, "disse Yonatan Belinkov, primeiro autor do artigo e pós-doutorado em Ciência da Computação na Escola de Engenharia e Ciências Aplicadas de Harvard John A. Paulson (SEAS).

Para combater isso, Belinkov e colegas desenvolveram um novo método para construir modelos de aprendizado de máquina que reduz a confiança do modelo nesses vieses.

A equipe está apresentando suas pesquisas na 57ª Reunião Anual da Associação de Lingüística Computacional (ACL) em Florença, Itália de 28 de julho a 2 de agosto.

É comum modelar o teste típico de inferência de linguagem natural como um único fluxo - a premissa e a hipótese são processadas juntas e fornecidas a um classificador que prevê a contradição, neutro ou vinculação.

A equipe adicionou um segundo fluxo ao modelo, este com apenas a hipótese. O modelo aprende a realizar inferência de linguagem natural com ambos os fluxos simultaneamente, mas se for bem apenas no lado da hipótese, é penalizado. Essa abordagem incentiva o modelo a focar mais no lado da premissa e evitar aprender os vieses que levaram ao desempenho bem-sucedido apenas de hipóteses.

"Nossa esperança é que com este método, o modelo não se concentra apenas em palavras tendenciosas, como "não" ou "não, "mas aprendeu algo mais profundo, "disse Stuart Shieber, James O. Welch, Jr. e Virginia B. Welch Professora de Ciência da Computação na SEAS e co-autora do artigo.

Esses preconceitos, Contudo, também podem ser pistas de contexto importantes para resolver o problema, portanto, é fundamental não desvalorizá-los demais.

"Há uma linha tênue entre o preconceito e a utilidade, "disse Gabriel Grand, CS '18, que trabalhou no projeto como parte de sua tese de graduação. "Alcançar o desempenho máximo significa esquecer muitas suposições, mas não todas."

(Tese de Grand, "Aprendizagem de modelos interpretáveis ​​e livres de preconceitos para responder a perguntas visuais" recebeu o prêmio Thomas Temple Hoopes de 2018-2019 por trabalho acadêmico ou pesquisa excepcional.)

Ao remover muitas dessas suposições, o modelo de dois fluxos, sem surpresa, teve um desempenho um pouco pior nos dados em que foi treinado do que o modelo que não foi penalizado por confiar em vieses. Contudo, quando testado em novos conjuntos de dados - com tendências diferentes - o modelo se saiu significativamente melhor.

"Mesmo que o modelo tenha piorado alguns pontos percentuais em seu próprio conjunto de dados, aprendeu a não confiar tanto em preconceitos. Então, este método produz um modelo que tem um desempenho mais geral e é mais robusto, "disse Shieber.

Este método pode se aplicar a uma série de tarefas de inteligência artificial que requerem a identificação de relacionamentos mais profundos - como resposta visual a perguntas, compreensão de leitura, e outras tarefas de linguagem natural - evitando tendências superficiais.