Pesquisadores da Utah State University estão criando ferramentas online para ajudar a tornar os estudos de hidrologia mais reproduzíveis. Crédito:Matt Jensen
Em seis revistas conceituadas de hidrologia e recursos hídricos publicadas em 2017, a porcentagem estimada de estudos cujos resultados puderam ser totalmente reproduzidos foi apenas entre 0,06 e 6,8 por cento. Este baixo nível de reprodutibilidade não é incomum em estudos de hidrologia - um fato que muitos cientistas reconhecem prontamente. Contudo, uma equipe de pesquisadores da Utah State University pode ter encontrado uma solução para tornar esses estudos mais reproduzíveis.
Em seu jornal, "Avaliando a disponibilidade de dados e a reprodutibilidade da pesquisa em hidrologia e recursos hídricos, "publicado em 26 de fevereiro na Nature's Dados Científicos , Os coautores de David Rosenberg desenvolveram uma ferramenta de pesquisa online para avaliar a reprodutibilidade das pesquisas publicadas. A equipe revisou 360 artigos de seis periódicos de recursos hídricos publicados em 2017. De 360 artigos, eles só puderam reproduzir integralmente os resultados de quatro artigos.
"Nossa ferramenta de pesquisa divide o conceito de reprodutibilidade científica em componentes específicos de disponibilidade de dados, reprodutibilidade dos resultados e replicabilidade dos resultados, "disse Rosenberg, professor associado de engenharia civil e ambiental na USU. "Em seguida, sugerimos como os autores, jornais, os financiadores e as instituições podem usar a ferramenta de pesquisa para aumentar as taxas baixas de reprodutibilidade. "
Os autores dizem que a reprodutibilidade pode ser dividida em três componentes:
A ferramenta de pesquisa online da equipe consiste em 15 perguntas e fornece uma lista de verificação dos itens essenciais necessários para a disponibilidade do artefato e reprodutibilidade dos resultados. Artefatos é um termo abrangente para todos os dados, Programas, modelos, código, instruções e outros materiais necessários para reproduzir os resultados de um estudo.
A equipe descobriu que cerca de 70 por cento dos artigos da amostra declararam que alguns materiais estavam disponíveis, mas apenas cerca de 48 por cento dos materiais podiam ser acessados online. Apenas cerca de seis por cento dos artigos de amostra tornaram os artefatos disponíveis ao público, e apenas um por cento dos artigos de amostra disponibilizaram artefatos e puderam ser totalmente reproduzidos.
Os autores disseram que muitos artigos não tinham instruções para gerar resultados. Se os autores fornecerem instruções, eles dizem, o número de artigos que poderiam ser testados quanto à reprodutibilidade dobraria. Os artigos que disponibilizavam todos os artefatos tinham seis em dez chances de ter alguns ou todos os seus resultados reproduzidos. Dois periódicos pesquisados pela equipe exigiram artigos para afirmar como os artefatos podem ser acessados, e quatro periódicos encorajaram declarações. Nenhum periódico exigiu que os autores disponibilizassem todos os artefatos.
A ferramenta de pesquisa pode ajudar a reconhecer e incentivar os autores a atingir certos níveis de reprodutibilidade. Por exemplo, os autores podem usar a ferramenta de pesquisa para autoavaliar a reprodutibilidade de seus resultados. Rosenberg e sua equipe também recomendam um sistema de medalhas para reconhecer diferentes níveis de reprodutibilidade:
Rosenberg recomenda que ícones de medalhas sejam postados ao lado de artigos online para reconhecer os autores por seu trabalho de reprodutibilidade e tornar mais fácil para os leitores encontrar as melhores práticas de reprodutibilidade. Rosenberg e sua equipe atribuíram quatro medalhas de prata e seis medalhas de bronze dos 360 artigos que revisaram. A concessão de medalhas de ouro pela replicabilidade das descobertas continua sendo uma linha importante de trabalho futuro.
"Esperamos que a ferramenta de pesquisa ajude a estimular os autores, jornais, financiadores e instituições para tornar o trabalho científico mais reproduzível, "disse Rosenberg." Aceitamos discussões para melhorar a ferramenta de pesquisa e para melhorar a reprodutibilidade de nossa ciência. "
