A reprodutibilidade das descobertas científicas tem sido um indicador importante da validade dos dados coletados da pesquisa, um processo considerado ainda mais crítico nesta era de tecnologias e métodos em constante mudança.

No Sackler Colloquium focado em "Reprodutibilidade da Pesquisa:Problemas e Soluções Propostas, "David B. Allison, reitor da Escola de Saúde Pública da Universidade de Indiana-Bloomington, e co-organizadores Richard Shiffrin, Ilustre Professor IU e Luther Dana Waterman Professor de Ciências Psicológicas e do Cérebro; Victoria Stodden da University of Illinois e o falecido Stephen Fienberg da Carnegie Mellon University convidaram a uma discussão sobre os principais tópicos da definição da reprodutibilidade em vários contextos de pesquisa e do fornecimento de remédios que contribuem para uma maior reprodutibilidade e transparência.

Uma dúzia de artigos que moldaram o colóquio foram publicados na edição especial de março de 2018 da Proceedings of the National Academy of Sciences e cobriu uma ampla gama de assuntos, desde a coleta de dados até a disseminação de descobertas tanto da comunidade científica como não científica.

Entre eles está o "Progresso Científico Apesar da Irreprodutibilidade:Um Paradoxo Aparente, "por Shiffrin; Katy Börner, IU Distinguished Professor of Engineering and Information Science e Stephen M. Stigler da University of Chicago. Em uma época em que os avanços científicos ocorrem diariamente e governam grande parte da sociedade moderna, parece contraditório que a forma como a ciência é praticada torne algumas descobertas relatadas difíceis ou impossíveis de reproduzir. Contudo, a prática científica continuou a evoluir e avançar apesar dos problemas elementares, não menos importante, sendo que alguns anos podem ter que se passar antes da validade, a importância e a usabilidade das descobertas podem ser verificadas de maneira adequada.

Os pesquisadores reconhecem que muitas vezes é possível reproduzir resultados e conclusões inválidos, mas observam que a repetição de erros fundamentais - e freqüentemente evitáveis ​​- está geralmente no cerne de tal resultado. Portanto, para maximizar o progresso, eles recomendam que seja alcançado um equilíbrio entre o compartilhamento de resultados promissores nos estágios iniciais e a manutenção de vigilância estrita para garantir relatórios de qualidade. Os dados compartilhados não devem ser apenas confiáveis ​​e importantes, mas também de verdadeiro valor científico com a capacidade de generalizar para configurações semelhantes.

Os autores examinam os novos remédios propostos projetados para reduzir o grau de irreprodutibilidade - como a exigência de pré-registro de estudos para evitar a "seleção seletiva" de dados - e recomendam reformas adaptadas ao tipo e objetivos de pesquisa. Essa postura é reforçada pelas várias consequências possíveis se resultados inválidos forem publicados:as descobertas coletadas durante o processo de exploração dificilmente causariam danos, embora uma aplicação incorreta de conclusões na vida real possa causar sérios danos. Eles alertam, Contudo, que qualquer remédio e reforma podem ter consequências não intencionais que podem desacelerar em vez de acelerar o progresso científico.

Também destacado no PNAS problema é um relatório de Andrew Brown, professor assistente de ciências aplicadas à saúde na IU School of Public Health-Bloomington; Kathryn A. Kaiser, professor assistente em comportamento de saúde na Universidade do Alabama em Birmingham e Allison, intitulado "Problemas com dados e análises:erros, Temas Subjacentes, e soluções potenciais, "que se concentra em erros que poderiam ter sido evitados pela aplicação de boas práticas estabelecidas.

Os pesquisadores discutem influências como citação e viés de publicação, erros de cálculo matemáticos, erros na interpretação e no trabalho com dados ruins obtidos por meio de métodos questionáveis, projetos ou técnicas. O gerenciamento e armazenamento incorretos de dados também podem afetar a capacidade de confirmar as descobertas, assim como erros de comunicação e lógica. Eles enfatizam que as consequências de interpretações e relatórios inválidos variam desde a perda da confiança do público até a perda potencial de vidas.

Os méritos e desvantagens do processo de revisão por pares como um defensor confiável da integridade científica na literatura também são deliberados. Apesar de desafios como o que os autores chamam de "um desconhecido desconhecido" - o que significa que os revisores leem o que é apresentado nos manuscritos sem ter informações adicionais (ou talvez mesmo informações completas) para avaliar os erros potenciais - sendo inerentes a este processo, Brown and the team maintain that there are certain actions and methods that well-trained scientists should and could recognize as erroneous and/or lacking in rigor.

Notes Brown, "The entire colloquium focused on research rigor and reproducibility. In particular, we were interested in identifying challenges and limitations to rigor and reproducibility, mas, more importantly we were interested in identifying paths forward to make science more rigorous and reproducible. We need to start from a position that scientific thinking is still our best way of coming to have objective knowledge of the world. I think we as a scientific enterprise have done a thorough job noting that reproducibility is a problem, even if more work needs to be done to determine underlying causes, more rigorously catalog errors and pitfalls, and identify the best interventions for reinforcing scientific rigor. Contudo, we know that there are incremental and structural changes we can make now to improve the present condition of scientific investigations and publications to fulfill the mantra that science is self-correcting."