p Cerca de um ano depois de ter sido nomeada para um cargo editorial sênior em um jornal acadêmico, A pesquisadora de psicologia, Professora Simine Vazire, foi admoestada por incomodar pesquisadores eminentes ao "rejeitar secretamente" seus artigos. p Ela estava chocada.

p A rejeição documental é quando um artigo é recusado pelo editor antes de ser enviado aos revisores - cerca de 30 por cento dos artigos neste periódico foram normalmente rejeitados.

p A professora Vazire estava rejeitando os papéis porque acreditava que eles tinham falhas graves. Mas o comitê que a nomeou temia que, ao incomodar pesquisadores famosos, a reputação da revista pode ser colocada em risco.

p "Eu disse a eles que eles não podiam exercer essa influência nos bastidores sem anunciar uma nova política ou ter alguma base científica para ela, "diz o professor Vazire." Mas o fato de que eles ficaram tão surpresos com a minha resistência me fez perceber o quanto era assim que as coisas normalmente funcionavam. "

p A experiência do professor Vazire faz parte de um problema mais amplo de pesquisa, onde grandes estudos descobriram que em muitas disciplinas quantidades significativas de pesquisas publicadas não podem ser validadas com estudos de acompanhamento - isto é, as descobertas não podem ser replicadas, colocando os resultados em dúvida.

p Isso chamou a atenção para as falibilidades dos periódicos, as avaliações de revisão por pares nas quais eles confiam, e o mundo hipercompetitivo da academia, onde os pesquisadores costumam ser totalmente julgados pelo quanto estão publicando e em quais periódicos "conceituados".

p Isso significa que os pesquisadores e suas instituições podem ser tentados a exagerar nos resultados.

p "Como editor, Tive discussões com autores em que lhes disse que só aceitarei o seu artigo se ele for enquadrado com mais cautela e, em algumas ocasiões, autores simplesmente recusaram e publicaram em outro lugar, "diz o professor Vazire.

p Retrações recentes por periódicos médicos altamente conceituados The Lancet e a New England Journal of Medicine em relação à pesquisa de medicamentos COVID-19 potenciais que se baseavam em dados falhos, apenas destacou a urgência do problema.

p Iniciativas de ciência aberta, como compartilhamento de dados e definição de um plano de pesquisa antes de fazer a pesquisa (pré-registro), buscam abordar essas questões.

p E junto com esses desenvolvimentos, uma nova disciplina de pesquisa também surgiu - metaciência.

p “A meta-ciência é uma área que estuda as normas, práticas e incentivos em ciência. Faz um balanço de novas iniciativas de ciência aberta, e monitora e avalia seus impactos.

p "Vai contra a filosofia e a sociologia da ciência, mas trabalha a serviço da ciência, procurando garantir que a pesquisa seja mais robusta, "diz a professora Fiona Fidler, um especialista em reprodutibilidade da Universidade de Melbourne.

p Juntos, O Professor Fidler e o Professor Vazire estabeleceram um novo grupo de pesquisa na Universidade, MetaMelb. É o maior grupo de pesquisa em metaciência da Austrália.

p O grupo estudará uma série de questões de metaciência, em várias disciplinas, incluindo psicologia, ecologia e medicina, usando uma ampla gama de abordagens quantitativas e qualitativas.

p Uma dessas questões é se os incentivos para o compartilhamento de dados, como premiar emblemas de dados abertos, resultar em resultados mais reproduzíveis. Outro projeto analisa como expor as falhas da ciência pode estar afetando a visão do público de, e confiar em, Ciência.

p Temores de que a credibilidade da ciência esteja em jogo foram usados ​​no passado como uma justificativa para não ser aberto sobre os problemas.

p Mas, Será que a ciência sendo mais aberta e transparente realmente prejudica a fé pública na ciência ou na verdade aumenta essa fé?

p "Já estive em salas onde o consenso é que deveríamos varrer os problemas para baixo do tapete por causa do risco de tornar as pessoas anticientíficas, mas suspeito que, de longe, o maior risco é não ser franco com o público, "diz o professor Vazire.

p Outro grande projeto já em andamento, financiado pela Agência de Projetos de Pesquisa Avançada de Defesa do governo dos EUA (DARPA), é um esforço para atrair com eficiência a revisão por pares de especialistas de um grupo de especialistas.

p O projeto RepliCATS (Avaliação Colaborativa para Ciência Confiável) recrutou 500 especialistas em todo o mundo para prever a replicabilidade de 3.000 artigos de pesquisa das ciências sociais em pequenas equipes trabalhando colaborativamente online.

p A DARPA expandiu recentemente o projeto para avaliar urgentemente 100 artigos relacionados à pesquisa em ciências sociais do COVID-19.

p Ainda outra iniciativa da MetaMelb é o desenvolvimento de diretrizes concretas que os revisores podem usar para avaliar mais uniformemente os métodos de pesquisa e os resultados, fornecendo uma espécie de lista de verificação.

p Isso incluiria encorajar os revisores a avaliar se a pesquisa foi escrita de uma maneira que o professor Vazire chama de "humilde intelectualmente". Se um artigo, em vez disso, exibe arrogância intelectual, isso seria um sinal imediato para os revisores serem cautelosos, ela diz.

p "A humildade intelectual é garantir que você dê às pessoas que criticam seu trabalho toda a munição de que precisam para encontrar quaisquer falhas em seu trabalho, "diz o professor Vazire.

p "Isso significa que, em sua introdução escrita, por exemplo, um pesquisador não deve simplesmente escolher as informações, dependendo de que lado do debate ele está ou, que na seção de métodos e resultados, eles da mesma forma não mencionam apenas os resultados que melhor se adequam ao seu argumento. "

p A lista de verificação também indicará revisores para avaliar especificamente certos aspectos da pesquisa, como se o tamanho da amostra justifica as conclusões ou se os métodos de pesquisa são rigorosos.

p "Os revisores pares são notórios por não concordar, mas talvez se eles fizerem perguntas específicas, chegaremos a um acordo maior sobre a força de uma pesquisa, "diz o professor Vazire.

p Mas para que iniciativas como essas funcionem, incentivos precisam ser colocados em prática para recompensar os revisores, periódicos e pesquisadores sejam mais transparentes.

p Uma ideia é tornar as avaliações por pares mais públicas, reconhecendo a contribuição do revisor.

p "A questão de criar os incentivos certos é uma área importante de pesquisa para nós, "diz o professor Fidler.

p Em última análise, ambos acreditam que os incentivos e práticas corretas podem ser colocados em prática para tornar a ciência mais transparente e robusta. Mas a chave será mudar as culturas acadêmicas e institucionais e os sistemas de recompensa que estão contribuindo para o problema.

p “Um dos maiores problemas que temos no momento é a forma como as instituições avaliam o desempenho e a promoção internamente, "diz o professor Fidler.

p No Reino Unido, esforços para garantir pesquisas robustas levaram à criação da Rede Reprodutível do Reino Unido, um consórcio que até agora atraiu 15 universidades e faculdades.

p O professor Fidler está trabalhando com colegas para estabelecer um consórcio semelhante na Austrália.

p Para o Professor Vazire, se os pesquisadores e instituições estarão preparados para abraçar novas práticas e maior transparência será crucial.

p "Certamente as coisas estão mudando - mais pesquisas estão sendo compartilhadas antes da revisão por pares e publicação, que fornece a oportunidade para um escrutínio mais amplo. E, honestamente, plataformas de mídia social como o Twitter estão se tornando cada vez mais importantes na análise de documentos e na identificação de pontos fortes e fracos.

p "Estou confiante de que haverá opções para tornar as coisas melhores, mas precisamos que a comunidade de pesquisa se reúna e realmente aproveite essas novas oportunidades. "