O National Institutes of Health (NIH) investiu mais de US $ 27 bilhões em pesquisa biomédica por meio de bolsas competitivas durante o ano fiscal de 2017. Essas bolsas foram concedidas com base nas pontuações atribuídas por, e conversa entre, revisores especialistas.

Este processo de revisão por pares é projetado para determinar as melhores propostas para financiar e é uma característica fundamental da distribuição de dólares para projetos científicos com deliberação cuidadosa.

Mas as novas descobertas dos pesquisadores da University of Wisconsin-Madison sugerem que os revisores são incapazes de diferenciar as grandes propostas das meramente boas. Em uma simulação detalhada do processo de revisão por pares - os registros de revisões reais não estão disponíveis para estudo - pesquisadores do Centro de Pesquisa em Saúde da Mulher da UW-Madison e seus colaboradores descobriram que não havia acordo entre revisores diferentes pontuando as mesmas propostas.

O resultado é que, depois de eliminar propostas mais fracas, as diferenças na forma como os revisores classificaram as propostas tornaram impossível distinguir as restantes. O estudo foi financiado em parte pelo NIH para analisar e melhorar como bilhões de dólares são alocados pela agência.

Os resultados são publicados em 5 de março no Proceedings of the National Academy of Sciences . Elizabeth Pier, colega de pós-doutorado, conduziu as análises dos dados coletados por um grupo multidisciplinar, incluindo Molly Carnes, diretor do Centro de Pesquisa em Saúde da Mulher, Cecilia Ford, professor emérito de inglês e sociologia, colegas em psicologia e psicologia educacional na UW-Madison, e colaboradores da West Chester University na Pensilvânia.

"Como podemos melhorar a forma como as bolsas são revisadas para que haja menos subjetividade no financiamento final da ciência?" é a questão central deste trabalho, diz Carnes. “Precisamos de mais pesquisas nessa área e o NIH está investindo dinheiro investigando esse processo”.

A revisão por pares começa com especialistas analisando e pontuando separadamente uma série de propostas. Em seguida, grupos de especialistas se reúnem para discutir as propostas e decidir coletivamente quais delas merecem financiamento. Para estudar este processo, os pesquisadores reuniram avaliadores experientes do NIH e fizeram com que analisassem propostas reais que haviam sido financiadas pelo NIH. Um lote recebeu financiamento imediatamente - as excelentes propostas. O outro lote acabou recebendo financiamento após ser revisado e foram consideradas propostas "boas".

Uma pesquisa publicada anteriormente pelo mesmo grupo revelou que as conversas que ocorrem após as pontuações iniciais não levam a melhores decisões de financiamento, porque amplificam as divergências entre diferentes grupos de revisores.

"A colaboração pode realmente piorar o acordo, não é melhor, então, uma questão que se segue seria:'Seria melhor que os revisores não se encontrassem?' ", diz Pier, que recebeu seu doutorado em psicologia educacional na UW-Madison enquanto concluía o trabalho.

Para resolver essa questão no novo estudo, os pesquisadores se concentraram nas críticas iniciais dos revisores e identificaram o número e o tipo de pontos fracos e fortes atribuídos a cada proposta, junto com a pontuação dada.

"Quando olhamos para os pontos fortes e fracos que atribuem aos candidatos, o que descobrimos é que os revisores são internamente muito consistentes, "diz Pier." O que nos surpreendeu foi que, embora as pessoas sejam internamente consistentes, realmente não há consistência em como diferentes pessoas traduzem o número de fraquezas em uma pontuação. "

Na média, os pesquisadores pontuaram as mesmas propostas de maneira tão diferente que era como se estivessem olhando para propostas completamente diferentes. Este desacordo gritante, e os efeitos polarizadores da conversa em grupo que a pesquisa anterior demonstrou, sugeriu aos pesquisadores que o atual processo de revisão por pares não foi projetado para discriminar entre boas e ótimas propostas.

"Não estamos tentando sugerir que a revisão por pares é falha, mas que pode haver algum espaço para ser inovador para melhorar o processo, "diz Pier.

Uma melhoria potencial sugerida pela equipe de pesquisa é criar uma loteria modificada. Neste sistema, uma revisão inicial eliminaria propostas mais fracas, e os restantes seriam financiados de forma aleatória. O NIH também está investigando maneiras de melhorar a objetividade e o sucesso da revisão por pares.

Os pesquisadores enfatizam que, com bilhões de dólares em jogo, pesquisas adicionais são necessárias sobre este sistema vital de financiamento e quaisquer melhorias potenciais para o processo.

"Tenho orgulho de ser um cientista, que não apenas financiamos pesquisas de células para a sociedade, mas que estamos continuamente tentando melhorar o processo pelo qual concedemos esses dólares, "diz Carnes.