A ciência está no meio de uma crise:uma fração surpreendente de estudos publicados não consegue se replicar quando os procedimentos são repetidos.

Por exemplo, faça o estudo, publicado em 2007, que afirmava que problemas matemáticos complicados que exigem reflexão cuidadosa são mais fáceis de resolver quando apresentados em uma fonte difusa. Quando os pesquisadores descobriram em um pequeno estudo que o uso de uma fonte difusa melhorou a precisão do desempenho, apoiou a afirmação de que encontrar desafios perceptivos poderia induzir as pessoas a refletir com mais cuidado.

Contudo, 16 tentativas de replicar o resultado falharam, demonstrando definitivamente que a reclamação original estava errada. Traçados juntos em um gráfico, os estudos formaram uma curva de sino perfeita centrada em torno do efeito zero. Como é frequentemente o caso com falhas de replicação, do total de 17 tentativas, o original teve o menor tamanho de amostra e o resultado mais extremo.

O Projeto de Reprodutibilidade, uma colaboração de 270 psicólogos, tentou replicar 100 estudos de psicologia, enquanto um relatório de 2018 examinou estudos publicados nas prestigiosas revistas científicas Nature and Science entre 2010 e 2015. Esses esforços descobriram que cerca de dois terços dos estudos se reproduzem em algum grau, mas que a força das descobertas é freqüentemente mais fraca do que o originalmente afirmado.

Isso é ruim para a ciência? Certamente é desconfortável para muitos cientistas cujos trabalhos são prejudicados, e a taxa de falhas pode ser inaceitavelmente alta. Mas, como psicólogo e estatístico, Acredito que enfrentar a crise de replicação é bom para a ciência como um todo.

Praticando boa ciência

Primeiro, essas tentativas de replicação são exemplos de boa ciência operando como deveria. Eles são aplicações focadas do método científico, experimentação e observação cuidadosas na busca de resultados reproduzíveis.

Muitas pessoas assumem incorretamente que, devido ao "p <.05 "limite para significância estatística, apenas 5% das descobertas serão erros. Contudo, 15 anos atrás, o médico John Ioannidis apontou algumas falácias nessa suposição, argumentando que falsas descobertas constituíram a maior parte da literatura publicada. Os esforços de replicação estão confirmando que a taxa de descoberta falsa é muito maior do que 5%.

A consciência sobre a crise de replicação parece estar promovendo um melhor comportamento entre os cientistas. Vinte anos atrás, o ciclo de publicação estava basicamente completo depois que um cientista convenceu três revisores e um editor de que o trabalho era sólido. Sim, a pesquisa publicada se tornaria parte da literatura, e, portanto, aberto para revisão - mas esse foi um processo lento.

Hoje, as apostas foram aumentadas para os pesquisadores. Eles sabem que existe a possibilidade de seu estudo ser revisado por milhares de comentaristas opinativos na internet ou por um grupo de alto perfil como o Projeto Reprodutibilidade. Algumas revistas agora exigem que os cientistas disponibilizem seus dados e códigos de computador, o que torna mais provável que outros detectem erros em seu trabalho. O que mais, alguns cientistas agora podem "pré-registrar" suas hipóteses antes de iniciar o estudo - o equivalente a chamar a sua tentativa antes de executá-la.

Combinado com o compartilhamento aberto de materiais e dados, o pré-registro melhora a transparência e reprodutibilidade da ciência, esperançosamente garantindo que uma fração menor de estudos futuros não conseguirá se replicar.

Embora haja sinais de que os cientistas estão de fato reformando seus métodos, Há ainda um longo caminho a percorrer. Fora do 1, 500 apresentações aceitas na reunião anual da Society for Behavioral Medicine em março, apenas 1 em cada 4 dos autores relatou o uso dessas técnicas de ciência aberta no trabalho que apresentaram.

Melhorar a intuição estatística

Finalmente, a crise de replicação está ajudando a melhorar as intuições dos cientistas sobre a inferência estatística.

Os pesquisadores agora entendem melhor como projetos fracos com alta incerteza - em combinação com a escolha de publicar apenas quando os resultados são estatisticamente significativos - produzem resultados exagerados. Na verdade, é uma das razões pelas quais mais de 800 cientistas argumentaram recentemente a favor do abandono dos testes de significância estatística.

Também avaliamos melhor como as descobertas de pesquisas isoladas se encaixam no padrão mais amplo de resultados. Em outro estudo, Ionnadis e o oncologista Jonathan Schoenfeld pesquisaram a literatura epidemiológica em busca de estudos que associam 40 ingredientes alimentares comuns ao câncer. Houve algumas tendências amplas e consistentes - sem surpresa, bacon, sal e açúcar nunca foram considerados protetores contra o câncer.

Mas traçar os efeitos de 264 estudos produziu um padrão confuso. As magnitudes dos efeitos relatados foram altamente variáveis. Em outras palavras, um estudo pode dizer que um determinado ingrediente é muito ruim para você, enquanto outro pode concluir que os danos foram pequenos. Em muitos casos, os estudos até discordaram sobre se um determinado ingrediente era prejudicial ou benéfico.

Cada um dos estudos em algum ponto foi relatado isoladamente em um jornal ou site como a última descoberta em saúde e nutrição. Mas, tomado como um todo, a evidência de todos os estudos não foi tão definitiva quanto cada estudo individual pode ter aparecido.

Schoenfeld e Ioannidis também representaram graficamente os 264 tamanhos de efeito publicados. Ao contrário das replicações de fontes difusas, seu gráfico de efeitos publicados parecia a cauda de uma curva de sino. Estava centrado em zero com todas as descobertas não significativas feitas. A impressão inconfundível de ver todos os resultados nutricionais publicados apresentados de uma vez é que muitos deles podem ser como o resultado da fonte difusa - impressionante isoladamente, mas anômalo sob replicação.

A possibilidade surpreendente de que uma grande fração das descobertas de pesquisas publicadas possam ser apenas fortuitas é exatamente o motivo pelo qual as pessoas falam da crise de replicação. Mas não é realmente uma crise científica, porque a conscientização está trazendo melhorias na prática de pesquisa, novos entendimentos sobre inferência estatística e uma apreciação de que descobertas isoladas devem ser interpretadas como parte de um padrão mais amplo.

Em vez de minar a ciência, Sinto que isso está reafirmando as melhores práticas do método científico.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.