p Hoje, no Nature Human Behavior , uma equipe colaborativa de cinco laboratórios publicou os resultados de 21 replicações de alta potência de experimentos de ciências sociais originalmente publicados em Ciência e Natureza , duas das mais prestigiadas revistas científicas. Eles não conseguiram replicar os resultados de mais de um terço dos estudos e apresentaram evidências significativamente mais fracas para o restante em comparação com os estudos originais. p Além disso, antes de realizar as replicações, a equipe criou mercados de previsão para outros pesquisadores apostarem se achavam que cada uma das descobertas se replicaria. Os mercados eram altamente precisos em prever quais estudos teriam sucesso ou não seriam replicados posteriormente.

p “É possível que erros na replicação ou diferenças entre os estudos originais e de replicação sejam responsáveis ​​por algumas falhas de replicação, "diz Gideon Nave, professor assistente de marketing da Wharton School of Business da University of Pennsylvania e um dos líderes do projeto, "mas o fato de que os mercados previram o sucesso e o fracasso da replicação com precisão com antecedência reduz a plausibilidade dessas explicações."

p A equipe incluiu pesquisadores da Penn, a Universidade de Innsbruck, a Escola de Economia de Estocolmo, o Instituto de Estudos Avançados da Nova Zelândia, o Center for Open Science, a Universidade Nacional de Cingapura, a Universidade da Virgínia, Instituto de Tecnologia da Califórnia, a Universidade de Göteborg, Universidade de Harvard, Spotify Suécia, LMU Munich, a Universidade de Amsterdã, e o Harbin Institute of Technology.

p Os pesquisadores tentaram replicar uma descoberta principal de cada artigo experimental de ciências sociais publicado entre 2010 e 2015 que atendeu aos requisitos da equipe de envolver experimentos controlados randomizados realizados com estudantes universitários ou online. Para estender e melhorar os esforços de replicação anteriores, a equipe obteve os materiais originais e recebeu a revisão e endosso dos protocolos de quase todos os autores originais antes de conduzir os estudos. Os estudos foram pré-registrados para declarar publicamente o plano de projeto e análise, e o desenho do estudo incluiu grandes tamanhos de amostra, de modo que as replicações provavelmente detectariam o suporte para os achados, mesmo que tivessem apenas metade do tamanho do resultado original.

p "Para garantir alto poder estatístico, "diz Felix Holzmeister da Universidade de Innsbruck, outro dos líderes do projeto, "o tamanho médio da amostra dos estudos de replicação foi cerca de cinco vezes maior do que o tamanho médio da amostra dos estudos originais."

p A equipe descobriu que 13 das 21 replicações, ou 62 por cento, mostraram evidências significativas consistentes com a hipótese original, e outros métodos de avaliação do sucesso da replicação indicaram resultados semelhantes, variando de 57 a 67 por cento. Também, na média, os estudos de replicação mostraram tamanhos de efeito cerca de 50% menores do que os estudos originais. Juntos, isso sugere que a reprodutibilidade é imperfeita, mesmo entre os estudos publicados nas revistas científicas de maior prestígio.

p "Esses resultados mostram que descobertas científicas 'estatisticamente significativas', "diz Magnus Johannesson, da Stockholm School of Economics, outro líder de projeto, "precisam ser interpretados com muito cuidado até que tenham sido replicados, mesmo que publicados nas revistas de maior prestígio."

p Os mercados de previsão que a equipe de pesquisa estabeleceu previram corretamente os resultados para 18 das 21 replicações. As crenças do mercado sobre a replicação foram altamente correlacionadas com os tamanhos do efeito da replicação.

p "As descobertas dos mercados de previsão sugerem que os pesquisadores têm conhecimento avançado sobre a probabilidade de que algumas descobertas sejam replicadas, "observa Thomas Pfeiffer, do Instituto de Estudos Avançados da Nova Zelândia, outro dos líderes do projeto. A aparente robustez desse fenômeno sugere que os mercados de previsão podem ser usados ​​para ajudar a priorizar os esforços de replicação para os estudos que têm descobertas altamente importantes, mas com probabilidade relativamente incerta ou fraca de sucesso na replicação.

p "Usar os mercados de previsão pode ser outra maneira da comunidade científica usar os recursos de forma mais eficiente e acelerar a descoberta, "acrescenta Anna Dreber, da Stockholm School of Economics, outro líder de projeto.

p Este estudo fornece evidências adicionais dos desafios na reprodução dos resultados publicados, e aborda algumas das críticas potenciais de tentativas de replicação anteriores. Por exemplo, é possível que resultados de maior visibilidade sejam mais reproduzíveis devido aos altos padrões e ao prestígio do meio de publicação. Este estudo selecionou artigos das revistas científicas de maior prestígio.

p Da mesma forma, uma crítica ao Projeto de Reprodutibilidade em Psicologia sugeriu que projetos de pesquisa de alta potência e fidelidade aos estudos originais resultariam em alta reprodutibilidade. Este estudo teve testes de alta potência, materiais originais para todos, exceto um estudo, e o endosso de protocolos para todos os estudos, exceto dois, e ainda assim falhou em replicar algumas descobertas e encontrou tamanhos de efeito substancialmente menores nas replicações.

p "This shows that increasing power substantially is not sufficient to reproduce all published findings, " says Lily Hummer of the Center for Open Science, um dos co-autores.

p That there were replication failures does not mean that those original findings are false. No entanto, some original authors provided commentaries with potential reasons for failures to replicate. These productive ideas are worth testing in future research to determine whether the original findings can be reproduced under some conditions.

p The replications undertaken in this work follow emerging best practices for improving the rigor and reproducibility of research. "Neste projeto, we led by example, involving a global team of researchers, , " says Teck-Hua Ho of the National University of Singapore, another project lead. "The team followed the highest standards of rigor and transparency to test the reproducibility and robustness of studies in our field."

p All of the studies were preregistered on OSF to eliminate reporting bias and to commit to the design and analysis plan. Também, all project data and materials are publicly accessible with the OSF registrations to facilitate the review and reproduction of the replication studies themselves.

p Brian Nosek, executive director of the Center for Open Science, professor at the University of Virginia, and one of the co-authors, notes, "Someone observing these failures to replicate might conclude that science is going in the wrong direction. In fact, science's greatest strength is its constant self-scrutiny to identify and correct problems and increase the pace of discovery."

p This large-scale replication project is just one part of an ongoing reformation of research practices. Pesquisadores, funders, jornais, and societies are changing policies and practices to nudge the research culture toward greater openness, rigor, and reproducibility. Nosek concludes, "With these reforms, we should be able to increase the speed of finding cures, solutions, and new knowledge. Claro, like everything else in science, we have to test whether the reforms actually deliver on that promise. Se não, then science will try something else to keep improving."