Lorena Barba, professor associado de engenharia mecânica e aeroespacial na Escola de Engenharia e Ciências Aplicadas, apresentou recentemente um relatório exigido pelo Congresso para legisladores federais e especialistas que orientará a futura política nacional sobre ciência e pesquisa de engenharia.

O Dr. Barba é membro do comitê de estudo da Reprodutibilidade e Replicabilidade em Ciências das Academias Nacionais de Ciências, Engenharia e Medicina (NASEM), que foi formado em 2017. O comitê realizou uma série de reuniões que levaram ao lançamento de seu relatório em 7 de maio com o Escritório de Política Científica e Tecnológica da Casa Branca, a National Science Foundation (NSF) e outras partes interessadas.

O comitê teve como objetivo identificar quaisquer problemas de replicação e reprodutibilidade em pesquisas científicas e de engenharia. O relatório fez recomendações para melhorar o rigor e a transparência na pesquisa científica e de engenharia, e identificou e destacou as boas práticas.

GW Today falou recentemente com o Dr. Barba sobre o relatório:

P:Por que você acha que era importante ter um comitê para estudar as questões relacionadas à replicação e reprodutibilidade da pesquisa?

R:O estudo foi encomendado pela National Science Foundation, em resposta ao mandato do Congresso. A Lei Pública 114-329 cita “crescente preocupação de que alguns resultados de pesquisas publicadas não possam ser reproduzidos ou replicados ...” e orienta a NSF a produzir um relatório com uma avaliação e recomendações sobre o assunto. Eu não sei o que motivou esta diretiva legal, mas eu sei disso nos últimos anos, vários relatos da mídia divulgaram falhas proeminentes em replicar as descobertas. Ao mesmo tempo, um movimento pela ciência aberta e reprodutibilidade tem crescido em todos os campos de pesquisa. Era, portanto, oportuno fazer um estudo aprofundado sobre toda a ciência.

P:Como você se envolveu com este comitê?

R:Fui nomeado por membros anônimos da comunidade científica, como uma autoridade reconhecida em reprodutibilidade. As Academias Nacionais me contataram sobre o comitê de estudo em setembro de 2017, e depois de uma entrevista por telefone e envio de informações adicionais sobre meu trabalho, Fui formalmente convidado em novembro de 2017. Trabalhamos neste estudo por quase um ano e meio.

P:Quais são as principais conclusões do relatório?

R:A descoberta geral pode ser resumida em quatro palavras:sem crise, sem complacência. A mensagem é dupla:a narrativa da crise que se desenrolou nos últimos anos é principalmente retórica:a reprodutibilidade e a replicabilidade fazem parte das formas pelas quais a ciência se autocorrige, mas não são a única preocupação. Por outro lado, melhorias são necessárias - mais transparência de fluxos de trabalho computacionais, código e dados, por exemplo, e ajustar a estrutura de incentivos para valorizar pesquisas reproduzíveis. Outras descobertas incluem a necessidade de maior fluência com estatísticas, e treinamento de pesquisadores em início de carreira em ferramentas e métodos computacionais.

P:Por que o comitê procurou definir o que significam os termos replicação e reprodutibilidade?

R:A falta de um uso padrão para esses termos impede o progresso, muitas vezes não está claro o que os pesquisadores querem dizer e, portanto, como abordar as preocupações. Tanto reprodutibilidade quanto replicabilidade são palavras usadas em relação às preocupações gerais de um pesquisador ou de um estudo que confirma as descobertas de um estudo publicado anteriormente. Às vezes, as palavras são usadas como um termo abrangente para todas as questões relacionadas. Mas alguns campos fizeram uma distinção entre os dois termos, e é importante concordar sobre qual é essa distinção para levar a conversa adiante. O estudo define reprodutibilidade como a obtenção de resultados computacionais consistentes usando os mesmos dados de entrada, etapas computacionais, métodos, código e condições de análise. Um estudo de replicação, por outro lado, coleta novos dados e conduz novas análises em busca de confirmar as descobertas de um estudo anterior.

P:O que os alunos interessados ​​em fazer pesquisas no futuro devem tirar deste relatório?

R:O relatório enfatiza o papel ubíquo e importante da computação na ciência moderna, e a necessidade de maior treinamento em métodos estatísticos. Os alunos interessados ​​em pesquisa ganhariam uma vantagem ao buscar treinamento em habilidades computacionais - incluindo ferramentas de código aberto, desenvolvimento de software, gerenciamento de dados e como automatizar tarefas repetitivas. Realizar pesquisas de forma reproduzível torna-se menos desafiador se você usar as ferramentas certas.

P:Agora que o relatório foi lançado, que tipo de trabalho adicional você acha que precisa ser feito em relação a essas questões?

R:O relatório faz uma série de recomendações que envolverão trabalho contínuo, por várias pessoas e instituições. A educação e o treinamento tanto em estatística quanto em métodos computacionais precisam de algum reforço. Periódicos e sociedades profissionais precisam trabalhar em iniciativas para promover a reprodutibilidade computacional e a publicação de replicações. O relatório também recomenda que as agências de financiamento incorporem reprodutibilidade e replicabilidade em seus critérios de avaliação de mérito para novas propostas.