p Embora a reprodutibilidade computacional na pesquisa científica seja geralmente esperada quando os dados originais e o código estiverem disponíveis, a falta de capacidade de replicar um estudo anterior - ou obter resultados consistentes olhando para a mesma questão científica, mas com dados diferentes - é mais matizada e, ocasionalmente, pode ajudar no processo de descoberta científica, diz um novo relatório exigido pelo Congresso da National Academies of Sciences, Engenharia, e medicina. A reprodutibilidade e replicabilidade na ciência recomendam maneiras que os pesquisadores, instituições acadêmicas, jornais, e os financiadores devem ajudar a fortalecer o rigor e a transparência para melhorar a reprodutibilidade e replicabilidade da pesquisa científica. p Definindo reprodutibilidade e replicabilidade

p Os termos "reprodutibilidade" e "replicabilidade" são frequentemente usados ​​indistintamente, mas o relatório usa cada termo para se referir a um conceito separado. Reprodutibilidade significa obter resultados computacionais consistentes usando os mesmos dados de entrada, etapas computacionais, métodos, código, e condições de análise. Replicabilidade significa obter resultados consistentes em estudos que visam responder à mesma pergunta científica, cada um dos quais obteve seus próprios dados.

p A reprodução da pesquisa envolve o uso dos dados e códigos originais, enquanto a replicação da pesquisa envolve nova coleta de dados e métodos semelhantes usados ​​em estudos anteriores, o relatório diz. Mesmo quando um estudo foi conduzido rigorosamente de acordo com as melhores práticas, analisado corretamente, e relatado de forma transparente, pode não ser replicado.

p "Ser capaz de reproduzir os resultados computacionais de outro pesquisador começando com os mesmos dados e replicando um estudo anterior para testar seus resultados facilita a natureza autocorretiva da ciência, e são frequentemente citados como marcas da boa ciência, "disse Harvey Fineberg, presidente da Fundação Gordon and Betty Moore e presidente do comitê que conduziu o estudo. "Contudo, fatores como falta de transparência nos relatórios, falta de treinamento apropriado, e erros metodológicos podem impedir os pesquisadores de reproduzir ou replicar um estudo. Financiadores de pesquisa, jornais, instituições acadêmicas, formuladores de políticas, e cada um dos próprios cientistas tem um papel a desempenhar na melhoria da reprodutibilidade e replicabilidade, garantindo que os cientistas sigam os mais altos padrões de prática, compreender e expressar a incerteza inerente às suas conclusões, e continuar a fortalecer a rede interconectada de conhecimento científico - o principal motor do progresso no mundo moderno. "

p Reprodutibilidade

p A definição de reprodutibilidade do comitê se concentra na computação porque a maioria das disciplinas de pesquisa científica e de engenharia usa a computação como uma ferramenta, e a abundância de dados e o uso generalizado de computação transformaram muitas disciplinas. Contudo, esta revolução ainda não se reflete de maneira uniforme na forma como os cientistas usam software e como os resultados científicos são publicados e compartilhados, o relatório diz. Essas deficiências têm implicações para a reprodutibilidade, porque os cientistas que desejam reproduzir pesquisas podem carecer das informações ou do treinamento de que precisam para fazê-lo.

p Quando os resultados são produzidos por processos computacionais complexos usando grandes volumes de dados, a seção de métodos de um artigo científico é insuficiente para transmitir as informações necessárias para que outros reproduzam os resultados, o relatório diz. Informações adicionais relacionadas aos dados, código, modelos, e a análise computacional é necessária.

p Se houver informações adicionais suficientes disponíveis e um segundo pesquisador seguir os métodos descritos pelo primeiro pesquisador, espera-se, em muitos casos, obter os mesmos valores numéricos exatos - ou reprodução bit a bit. Para algumas questões de pesquisa, a reprodução bit a bit pode não ser atingível e resultados reproduzíveis podem ser obtidos dentro de uma faixa aceita de variação.

p A base de evidências para determinar a prevalência de não reprodutibilidade em pesquisas é incompleta, e determinar a extensão dos problemas relacionados à reprodutibilidade computacional em ou dentro dos campos da ciência seria uma tarefa gigantesca com uma baixa probabilidade de sucesso, o comitê encontrou. Contudo, uma série de esforços sistemáticos para reproduzir resultados computacionais em uma variedade de campos falharam em mais da metade das tentativas feitas, principalmente devido a detalhes insuficientes nos dados, código, e fluxo de trabalho computacional.

p Replicabilidade

p Uma maneira importante de confirmar ou desenvolver resultados anteriores é seguir os mesmos métodos, obter novos dados, e veja se os resultados são consistentes com o original. Uma replicação bem-sucedida não garante que os resultados científicos originais de um estudo estivessem corretos, Contudo, nem uma única replicação com falha refuta conclusivamente as afirmações originais, o relatório diz.

p A não replicabilidade pode surgir de várias fontes. O comitê classificou as fontes de não replicabilidade em aquelas que são potencialmente úteis para obter conhecimento, e aqueles que são inúteis.

p Fontes potencialmente úteis de não replicabilidade incluem incertezas inerentes, mas não caracterizadas, no sistema que está sendo estudado. Essas fontes de não replicabilidade são uma parte normal do processo científico, devido à variação intrínseca ou complexidade da natureza, o escopo do conhecimento científico atual, e os limites das tecnologias atuais. Em tais casos, uma falha na replicação pode levar à descoberta de novos fenômenos ou novos insights sobre a variabilidade no sistema que está sendo estudado.

p Em outros casos, o relatório diz, a não replicabilidade é devido a deficiências no design, conduta, e comunicação de um estudo. Seja decorrente da falta de conhecimento, incentivos perversos, desleixo, ou preconceito, essas fontes inúteis de não replicabilidade reduzem a eficiência do progresso científico.

p Fontes inúteis de não replicabilidade podem ser minimizadas por meio de iniciativas e práticas destinadas a melhorar o projeto e a metodologia de pesquisa por meio de treinamento e orientação, repetir experimentos antes da publicação, revisão rigorosa por pares, utilizando ferramentas para verificar análises e resultados, e melhor transparência nos relatórios. Os esforços para minimizar as fontes evitáveis ​​e inúteis de não replicabilidade garantem atenção contínua, o relatório diz.

p Pesquisadores que conscientemente usam práticas de pesquisa questionáveis ​​com a intenção de enganar estão cometendo má conduta ou fraude. Pode ser difícil na prática diferenciar entre erros honestos e má conduta deliberada, porque a ação subjacente pode ser a mesma, mas a intenção não. A má conduta científica na forma de deturpação e fraude é uma preocupação contínua para toda a ciência, embora seja responsável por uma porcentagem muito pequena de artigos científicos publicados, o comitê encontrou.

p Melhorando a reprodutibilidade e a replicabilidade em pesquisas

p O relatório recomenda uma série de etapas que as partes interessadas na empresa de pesquisa devem tomar para melhorar a reprodutibilidade e replicabilidade, Incluindo:

• Todos os pesquisadores devem incluir um claro, específico, e descrição completa de como os resultados relatados foram alcançados. Os relatórios devem incluir detalhes apropriados para o tipo de pesquisa, como uma descrição clara de todos os métodos, instrumentos, materiais, procedimentos, Medidas, e outras variáveis ​​envolvidas no estudo; uma descrição clara da análise dos dados e decisões de exclusão de alguns dados ou inclusão de outros; e discussão da incerteza das medições, resultados, e inferências.
• As agências e organizações de financiamento devem considerar o investimento em pesquisa e desenvolvimento de código aberto, ferramentas utilizáveis ​​e infraestrutura que suportam a reprodutibilidade para uma ampla gama de estudos em diferentes domínios de uma forma contínua. Simultaneamente, investimentos seriam úteis na divulgação para informar e treinar pesquisadores sobre as melhores práticas e como usar essas ferramentas.
• Os periódicos devem considerar maneiras de garantir a reprodutibilidade computacional para publicações que fazem reivindicações com base em cálculos, na medida ética e legalmente possível.
• A National Science Foundation deve tomar medidas para facilitar o compartilhamento transparente e a disponibilidade de artefatos digitais, como dados e código, para estudos financiados pela NSF - incluindo o desenvolvimento de um conjunto de critérios para repositórios abertos confiáveis ​​a serem usados ​​pela comunidade científica para objetos de registro acadêmico, e endossar ou considerar a criação de repositórios de código e dados para arquivamento de longo prazo e preservação de artefatos digitais que apóiam as afirmações feitas no registro acadêmico com base em pesquisas financiadas pela NSF, entre outras ações.

p Confiança na ciência

p Replicabilidade e reprodutibilidade, úteis como são na construção da confiança no conhecimento científico, não são as únicas maneiras de ganhar confiança nos resultados científicos. Síntese de pesquisa e meta-análise, por exemplo, são métodos valiosos para avaliar a confiabilidade e validade dos corpos de pesquisa, o relatório diz. O objetivo da ciência é compreender o efeito geral de um conjunto de estudos científicos, não determinar estritamente se um estudo replicou outro.

p Entre outras recomendações relacionadas, o relatório diz que as pessoas que tomam decisões pessoais ou políticas com base em evidências científicas devem ser cautelosas ao tomar uma decisão séria com base nos resultados, não importa o quão promissor, de um único estudo. Pela mesma razão, eles não deveriam ter um novo, único estudo contrário como refutação de conclusões científicas apoiadas por múltiplas linhas de evidências anteriores.

p O estudo - realizado pelo Comitê de Reprodutibilidade e Replicabilidade na Ciência - foi patrocinado pela National Science Foundation e Alfred P. Sloan Foundation. As Academias Nacionais são privadas, instituições sem fins lucrativos que oferecem serviços independentes, análise objetiva e aconselhamento à nação para resolver problemas complexos e informar as decisões de políticas públicas relacionadas à ciência, tecnologia, e remédios. Eles operam sob uma carta do Congresso de 1863 para a Academia Nacional de Ciências, assinado pelo presidente Lincoln. Para maiores informações, visite nationalacademies.org.