Diante de graves preocupações com a desinformação, redes de mídia social e organizações de notícias freqüentemente empregam verificadores de fatos para separar o real do falso. Mas os verificadores de fatos só podem avaliar uma pequena parte das histórias que circulam online.

Um novo estudo realizado por pesquisadores do MIT sugere uma abordagem alternativa:julgamentos de precisão crowdsourced de grupos de leitores normais podem ser virtualmente tão eficazes quanto o trabalho de verificadores de fatos profissionais.

"Um problema com a verificação de fatos é que há muito conteúdo para verificadores profissionais serem capazes de cobrir, especialmente dentro de um prazo razoável, "diz Jennifer Allen, um Ph.D. estudante da MIT Sloan School of Management e co-autor de um artigo recém-publicado detalhando o estudo.

Mas o estudo atual, examinando mais de 200 notícias que os algoritmos do Facebook sinalizaram para uma análise mais aprofundada, pode ter encontrado uma maneira de resolver esse problema, usando relativamente pequeno, grupos politicamente equilibrados de leitores leigos para avaliar as manchetes e conduzir sentenças de notícias.

"Descobrimos que é encorajador, "diz Allen." A avaliação média de uma multidão de 10 a 15 pessoas correlacionou-se tão bem com os julgamentos dos verificadores de fatos como os verificadores de fatos correlacionados uns com os outros. Isso ajuda com o problema de escalabilidade, porque esses avaliadores eram pessoas normais, sem treinamento de verificação de fatos, e eles apenas lêem as manchetes e conduzem as frases, sem perder tempo fazendo pesquisas. "

Isso significa que o método de crowdsourcing pode ser implantado amplamente - e de forma barata. O estudo estima que o custo de fazer com que os leitores avaliem as notícias dessa forma é de cerca de US $ 0,90 por história.

"Não há nada que resolva o problema das notícias falsas online, "diz David Rand, professor do MIT Sloan e co-autor sênior do estudo. "Mas estamos trabalhando para adicionar abordagens promissoras ao kit de ferramentas anti-desinformação."

O papel, "Aumentando a Verificação de Fatos Usando a Sabedoria das Multidões, "está sendo publicado hoje em Avanços da Ciência . Os co-autores são Allen; Antonio A. Arechar, um cientista pesquisador no Laboratório de Cooperação Humana do MIT; Gordon Pennycook, professora assistente de ciências comportamentais na Hill / Levene Schools of Business da University of Regina; e Rand, que é o professor Erwin H. Schell e professor de ciência da administração e ciências do cérebro e cognitivas no MIT, e diretor do Laboratório de Cooperação Aplicada do MIT.

Uma massa crítica de leitores

Para conduzir o estudo, os pesquisadores usaram 207 artigos de notícias que um algoritmo interno do Facebook identificou como precisando de verificação de fatos, ou porque havia motivos para acreditar que eram problemáticos ou simplesmente porque estavam sendo amplamente compartilhados ou tratavam de tópicos importantes como saúde. O experimento implantou 1, 128 residentes nos EUA usando a plataforma Mechanical Turk da Amazon.

Esses participantes receberam o título e a frase inicial de 20 notícias e sete perguntas - o quanto a história era "precisa, " "verdade, " "de confiança, " "confiável, " "objetivo, "" imparcial, "e" descrevendo um evento que realmente aconteceu "- para gerar uma pontuação geral de precisão sobre cada item de notícia.

Ao mesmo tempo, três verificadores de fatos profissionais receberam todas as 207 histórias - solicitados a avaliar as histórias após pesquisá-las. Em linha com outros estudos sobre verificação de fatos, embora as avaliações dos verificadores de fatos fossem altamente correlacionadas entre si, seu acordo estava longe de ser perfeito. Em cerca de 49 por cento dos casos, todos os três verificadores de fatos concordaram com o veredicto apropriado sobre a facticidade de uma história; cerca de 42 por cento do tempo, dois dos três verificadores de fatos concordaram; e cerca de 9 por cento do tempo, cada um dos três verificadores de fatos teve classificações diferentes.

Curiosamente, quando os leitores regulares recrutados para o estudo foram classificados em grupos com o mesmo número de democratas e republicanos, suas avaliações médias foram altamente correlacionadas com as avaliações dos verificadores de fatos profissionais - e com pelo menos um número de dois dígitos de leitores envolvidos, as avaliações da multidão correlacionavam-se tão fortemente com os verificadores de fatos quanto os verificadores entre si.

"Esses leitores não foram treinados para checar os fatos, e eles estavam apenas lendo as manchetes e frases iniciais, e mesmo assim eles foram capazes de igualar o desempenho dos verificadores de fatos, "Allen diz.

Embora possa parecer inicialmente surpreendente que uma multidão de 12 a 20 leitores possa se igualar ao desempenho de verificadores de fatos profissionais, este é outro exemplo de fenômeno clássico:a sabedoria das multidões. Em uma ampla gama de aplicações, constatou-se que grupos de leigos igualam ou excedem o desempenho de julgamentos de especialistas. O estudo atual mostra que isso pode ocorrer mesmo no contexto altamente polarizador de identificação de desinformação.

Os participantes do experimento também fizeram um teste de conhecimento político e um teste de sua tendência a pensar analiticamente. Geral, as avaliações das pessoas que estavam mais bem informadas sobre questões cívicas e engajadas em um pensamento mais analítico estavam mais alinhadas com os verificadores de fatos.

"Pessoas que se engajaram em mais raciocínio e tinham mais conhecimento concordaram mais com os verificadores de fatos, "Rand diz." E isso era verdade independentemente de serem democratas ou republicanos. "

Mecanismos de participação

Os estudiosos dizem que a descoberta pode ser aplicada de várias maneiras - e observam que alguns gigantes da mídia social estão ativamente tentando fazer o crowdsourcing funcionar. O Facebook tem um programa, chamado Community Review, onde leigos são contratados para avaliar o conteúdo das notícias; O Twitter tem seu próprio projeto, Birdwatch, solicitar a opinião do leitor sobre a veracidade dos tweets. A sabedoria das multidões pode ser usada para ajudar a aplicar rótulos voltados ao público ao conteúdo, ou para informar algoritmos de classificação e qual conteúdo as pessoas são exibidas em primeiro lugar.

Para ter certeza, os autores observam, qualquer organização que use crowdsourcing precisa encontrar um bom mecanismo para a participação dos leitores. Se a participação for aberta a todos, é possível que o processo de crowdsourcing seja injustamente influenciado por partidários.

"Ainda não testamos isso em um ambiente onde qualquer pessoa pode optar, Allen observa. "As plataformas não devem necessariamente esperar que outras estratégias de crowdsourcing produzam resultados igualmente positivos."

Por outro lado, Rand diz, organizações de notícias e mídia social teriam que encontrar maneiras de fazer com que grupos grandes o suficiente de pessoas avaliassem ativamente os itens de notícias, para fazer o crowdsourcing funcionar.

"A maioria das pessoas não se preocupa com a política e se preocupa o suficiente para tentar influenciar as coisas, "Rand diz." Mas a preocupação é que, se você permitir que as pessoas avaliem o conteúdo que quiserem, então, as únicas pessoas fazendo isso serão aquelas que querem manipular o sistema. Ainda, para mim, uma preocupação maior do que ser inundado por fanáticos é o problema de que ninguém faria isso. É um problema clássico de bens públicos:a sociedade em geral se beneficia de pessoas que identificam desinformação, mas por que os usuários deveriam se preocupar em investir tempo e esforço para dar avaliações? "