A escrita assistida por IA está crescendo silenciosamente em periódicos acadêmicos

A escrita assistida por IA está crescendo silenciosamente em periódicos acadêmicos – eis por que isso está certo

Crédito:Unsplash/CC0 Domínio Público

Se você pesquisar no Google Scholar a frase “como um modelo de linguagem de IA”, encontrará muita literatura de pesquisa em IA e também alguns resultados bastante suspeitos. Por exemplo, um artigo sobre tecnologia agrícola diz:

"Como modelo de linguagem de IA, não tenho acesso direto a artigos ou estudos de pesquisa atuais. No entanto, posso fornecer uma visão geral de algumas tendências e avanços recentes..."

Gafes óbvias como essa não são os únicos sinais de que os pesquisadores estão cada vez mais recorrendo a ferramentas generativas de IA ao escrever suas pesquisas. Um estudo recente examinou a frequência de certas palavras em textos acadêmicos (como "louvável", "meticulosamente" e "complexo") e descobriu que elas se tornaram muito mais comuns após o lançamento do ChatGPT - tanto que 1% de todos os periódicos artigos publicados em 2023 podem conter texto gerado por IA.

(Por que os modelos de IA abusam dessas palavras? Especula-se que seja porque elas são mais comuns no inglês falado na Nigéria, onde ocorrem frequentemente elementos-chave do treinamento de modelos.)

O estudo mencionado também analisa dados preliminares de 2024, o que indica que a assistência à escrita por IA está se tornando cada vez mais comum. Será isto uma crise para os estudos modernos ou uma bênção para a produtividade académica?

Quem deve receber o crédito por escrever sobre IA?

Muitas pessoas estão preocupadas com o uso da IA em trabalhos acadêmicos. Na verdade, a prática foi descrita como “contaminante” da literatura acadêmica.

Alguns argumentam que usar resultados de IA equivale a plágio. Se suas ideias foram copiadas do ChatGPT, é questionável se você realmente merece crédito por elas.

Mas existem diferenças importantes entre “plagiar” textos de autoria humana e textos de autoria de IA. Aqueles que plagiam o trabalho humano recebem crédito por ideias que deveriam ter ido para o autor original.

Por outro lado, é discutível se sistemas de IA como o ChatGPT podem ter ideias, e muito menos merecer crédito por elas. Uma ferramenta de IA é mais parecida com a função de preenchimento automático do seu telefone do que com um pesquisador humano.

A questão do preconceito

Outra preocupação é que os resultados da IA possam ser tendenciosos de forma a infiltrar-se no registo académico. Infamemente, os modelos de linguagem mais antigos tendiam a retratar pessoas do sexo feminino, negras e/ou gays de formas claramente pouco lisonjeiras, em comparação com pessoas do sexo masculino, brancas e/ou heterossexuais.

Esse tipo de preconceito é menos pronunciado na versão atual do ChatGPT.

No entanto, outros estudos encontraram um tipo diferente de preconceito no ChatGPT e noutros grandes modelos linguísticos:uma tendência para reflectir uma ideologia política liberal de esquerda.

Qualquer preconceito desse tipo poderia distorcer sutilmente a escrita acadêmica produzida usando essas ferramentas.

O problema da alucinação

A preocupação mais séria diz respeito a uma limitação bem conhecida dos sistemas generativos de IA:o facto de estes cometerem frequentemente erros graves.

Por exemplo, quando pedi ao ChatGPT-4 para gerar uma imagem ASCII de um cogumelo, ele me forneceu a seguinte saída.

Então, ele me disse com segurança que eu poderia usar a imagem de um “cogumelo” para meus próprios propósitos.

Esses tipos de erros de excesso de confiança têm sido chamados de “alucinações de IA” e “besteiras de IA”. Embora seja fácil perceber que a imagem ASCII acima não se parece em nada com um cogumelo (e um pouco com um caracol), pode ser muito mais difícil identificar quaisquer erros que o ChatGPT cometa ao pesquisar a literatura científica ou ao descrever o estado de um debate filosófico.

Ao contrário da (maioria) dos humanos, os sistemas de IA não se preocupam fundamentalmente com a verdade do que dizem. Se usadas de maneira descuidada, suas alucinações poderiam corromper o registro acadêmico.

O texto produzido pela IA deveria ser banido?

Uma resposta ao aumento dos geradores de texto foi bani-los completamente. Por exemplo, a Science – uma das revistas académicas mais influentes do mundo – não permite qualquer utilização de texto gerado por IA.

Vejo dois problemas com essa abordagem.

O primeiro problema é prático:as ferramentas atuais para detectar texto gerado por IA são altamente pouco confiáveis. Isso inclui o detector criado pelos próprios desenvolvedores do ChatGPT, que foi colocado offline depois que foi descoberto que tinha uma taxa de precisão de apenas 26% (e uma taxa de falsos positivos de 9%). Os humanos também cometem erros ao avaliar se algo foi escrito pela IA.

Também é possível contornar os detectores de texto da IA. As comunidades online estão explorando ativamente como solicitar o ChatGPT de maneira que permita ao usuário evitar a detecção. Os usuários humanos também podem reescrever superficialmente os resultados da IA, eliminando efetivamente os vestígios da IA (como o uso excessivo das palavras "louvável", "meticulosamente" e "complexo").

O segundo problema é que a proibição total da IA generativa impede-nos de concretizar os benefícios destas tecnologias. Bem utilizada, a IA generativa pode aumentar a produtividade acadêmica, simplificando o processo de escrita. Dessa forma, poderia ajudar a aprofundar o conhecimento humano. Idealmente, deveríamos tentar colher esses benefícios evitando os problemas.

O problema é o controle de qualidade deficiente, não a IA

O problema mais sério da IA é o risco de introdução de erros despercebidos, levando a estudos desleixados. Em vez de proibir a IA, deveríamos tentar garantir que afirmações erradas, implausíveis ou tendenciosas não possam constar do registo académico.

Afinal, os humanos também podem produzir textos com erros graves, e mecanismos como a revisão por pares muitas vezes não conseguem impedir a sua publicação.

Precisamos melhorar para garantir que os trabalhos acadêmicos estejam livres de erros graves, independentemente de esses erros serem causados pelo uso descuidado da IA ou por estudos humanos desleixados. Isto não só é mais viável do que policiar a utilização da IA, como também melhorará os padrões da investigação académica como um todo.

Esta seria (como diria o ChatGPT) uma solução louvável e meticulosamente complexa.

Fornecido por The Conversation

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.