Artigos em psicologia líder, periódicos econômicos e científicos que não conseguem se replicar e, portanto, são menos prováveis ​​de serem verdadeiros são frequentemente os artigos mais citados na pesquisa acadêmica, de acordo com um novo estudo da Rady School of Management da Universidade da Califórnia em San Diego.

Publicado em Avanços da Ciência , o artigo explora a atual "crise de replicação" na qual os pesquisadores descobriram que muitas descobertas nos campos das ciências sociais e da medicina não se sustentam quando outros pesquisadores tentam repetir os experimentos.

O artigo revela que achados de estudos que não podem ser verificados quando os experimentos são repetidos têm maior influência ao longo do tempo. A pesquisa não confiável tende a ser citada como se os resultados fossem verdadeiros muito depois de a publicação ter falhado em replicar.

“Também sabemos que os especialistas podem prever bem quais artigos serão replicados, "escrevem os autores Marta Serra-Garcia, professor assistente de economia e estratégia na Rady School e Uri Gneezy, professor de economia comportamental também na Rady School. "Dada esta previsão, perguntamos 'por que os artigos não replicáveis ​​são aceitos para publicação em primeiro lugar?' "

A resposta possível é que as equipes de revisão de periódicos acadêmicos enfrentam uma compensação. Quando os resultados são mais "interessantes, "eles aplicam padrões mais baixos em relação à sua reprodutibilidade.

A ligação entre descobertas interessantes e pesquisas não replicáveis ​​também pode explicar por que é citado em uma taxa muito mais alta - os autores descobriram que artigos que se reproduzem com sucesso são citados 153 vezes menos do que aqueles que falharam.

"Descobertas interessantes ou atraentes também são mais cobertas pela mídia ou compartilhadas em plataformas como o Twitter, gerando muita atenção, mas isso não os torna verdadeiros, "Gneezy disse.

Serra-Garcia e Gneezy analisaram dados de três projetos de replicação influentes que tentaram replicar sistematicamente as descobertas na psicologia de ponta, revistas econômicas e de ciências gerais ( Natureza e Ciência ) Em psicologia, apenas 39 por cento dos 100 experimentos foram replicados com sucesso. Em economia, 61 por cento dos 18 estudos replicados, assim como 62 por cento dos 21 estudos publicados em Natureza / Ciência .

Com as descobertas desses três projetos de replicação, os autores usaram o Google Scholar para testar se os artigos que não se replicaram são citados com muito mais frequência do que aqueles que foram replicados com sucesso, antes e depois da publicação dos projetos de replicação. A maior lacuna foi em artigos publicados em Natureza / Ciência :os artigos não replicáveis ​​foram citados 300 vezes mais do que os replicáveis.

Quando os autores levaram em consideração várias características dos estudos replicados - como o número de autores, a taxa de autores do sexo masculino, os detalhes do experimento (localização, linguagem e implementação online) e o campo em que o artigo foi publicado - a relação entre replicabilidade e citações não mudou.

Eles também mostram que o impacto dessas citações aumenta com o tempo. As contagens de citações anuais revelam uma lacuna pronunciada entre os artigos que se replicaram e os que não o fizeram. Na média, artigos que não se replicaram são citados 16 vezes mais por ano. Essa lacuna permanece mesmo após a publicação do projeto de replicação.

"Notavelmente, apenas 12 por cento das citações pós-replicação de descobertas não replicáveis ​​reconhecem a falha de replicação, "escrevem os autores.

A influência de um artigo impreciso publicado em um periódico de prestígio pode ter repercussões por décadas. Por exemplo, o estudo que Andrew Wakefield publicou em The Lancet em 1998, tornou dezenas de milhares de pais em todo o mundo contra o sarampo, vacina contra caxumba e rubéola por causa de uma ligação implícita entre vacinação e autismo. As descobertas incorretas foram retiradas pelo The Lancet 12 anos depois, mas as alegações de que o autismo está relacionado às vacinas continuam.

Os autores acrescentaram que os periódicos podem se sentir pressionados a publicar descobertas interessantes, e os acadêmicos também. Por exemplo, nas decisões de promoção, a maioria das instituições acadêmicas usa citações como uma métrica importante na decisão de promover um membro do corpo docente.

Esta pode ser a origem da "crise de replicação, "descobriu pela primeira vez no início de 2010.

"Esperamos que nossa pesquisa incentive os leitores a serem cautelosos se lerem algo que seja interessante e atraente, "Disse Serra-Garcia." Sempre que os pesquisadores citam um trabalho mais interessante ou muito citado, esperamos que eles verifiquem se os dados de replicação estão disponíveis e o que essas descobertas sugerem. "

Gneezy acrescentou, “Nos preocupamos com o campo e com a produção de pesquisas de qualidade e queremos que seja verdade”.