Os resultados negativos ainda são úteis, e não deve ser escondido. Crédito:www.shutterstock.com
Colheita de cereja ou esconde os resultados, excluir dados para atingir limites estatísticos e apresentar descobertas inesperadas como se tivessem sido previstas o tempo todo - essas são apenas algumas das "práticas de pesquisa questionáveis" implicadas na crise de replicação que a psicologia e a medicina enfrentaram na última meia década ou mais.
Recentemente, pesquisamos mais de 800 ecologistas e biólogos evolucionistas e encontramos altas taxas de muitas dessas práticas. Acreditamos que esta seja a primeira documentação desses comportamentos nesses campos da ciência.
Nossos resultados de pré-impressão têm certo valor de choque, e seu lançamento atraiu muita atenção nas redes sociais.
Embora esses resultados sejam muito semelhantes aos encontrados na psicologia, as reações sugerem que são surpreendentes - pelo menos para alguns pesquisadores de ecologia e evolução.
os autores relatam que, em geral, o uso de práticas de pesquisa questionáveis em Ecologia e Evolução é tão difundido quanto na Psicologia.
- Andrew MacDonald (@polesasunder) 21 de março, 2018
Todos nós temos assistido Psych, torcendo nossas mãos sobre os pobres queridos, mas VOCÊS ESTAMOS COM PROBLEMAS DEMASIADO
Existem muitas interpretações possíveis dos nossos resultados. Esperamos que também haja muitos equívocos sobre eles e extrapolações injustificadas. Falamos alguns desses abaixo.
É fraude!
Não é fraude. A fraude científica envolve a fabricação de dados e acarreta pesadas penalidades criminais. As práticas de pesquisa questionáveis nas quais nos concentramos são, por definição, questionáveis:elas ficam em uma área cinzenta entre as práticas aceitáveis e a má conduta científica.
Fizemos uma pergunta sobre a fabricação de dados e a resposta ofereceu mais evidências de que é muito raro, consistente com as descobertas de outros campos.
Os cientistas carecem de integridade e não devemos confiar neles
Existem algumas razões pelas quais esta não deve ser a mensagem principal de nosso jornal.
Primeiro, as reações aos nossos resultados até agora sugerem um engajamento, comunidade científica madura, pronto para reconhecer e resolver esses problemas.
Infelizmente, não estou surpreso com isso - quando fui "treinado", muitas dessas práticas questionáveis eram a norma. Precisamos começar a treinar os alunos mais cedo, mas também nos certificar de que os guardiões das bolsas e publicações também sejam informados sobre essas questões. Aproveite seu café!
- Matthew Grainger (@Ed_pheasant) 21 de março, 2018
Se alguma coisa, esse tipo de envolvimento deve aumentar nossa confiança nesses cientistas e seu compromisso com a integridade da pesquisa.
Segundo, os resultados nos dizem muito mais sobre incentivos estruturados e instituições do que sobre indivíduos e sua integridade pessoal.
Por exemplo, esses resultados nos falam sobre a instituição de publicação científica, onde negativos (resultados não estatisticamente significativos) são praticamente banidos da maioria dos periódicos na maioria dos campos da ciência, e onde os estudos de replicação virtualmente nunca são publicados devido ao foco implacável no romance, resultados "inovadores".
Os resultados da pesquisa nos falam sobre o financiamento científico, novamente onde "romance" (significando positivo, significativo) as descobertas são mais valorizadas do que cuidadosas, procedimentos cautelosos e replicação. Eles também nos falam sobre universidades, sobre as práticas de contratação e promoção dentro da ciência acadêmica que enfocam as métricas de publicação e supervalorizam a quantidade em detrimento da qualidade.
Então, o que eles significam, essas práticas de pesquisa questionáveis admitidas pelos cientistas em nossa pesquisa? Achamos que eles são mais bem compreendidos como o resultado inevitável do viés de publicação, protocolos de financiamento e uma pressão cada vez maior para publicar.
Não podemos basear decisões importantes em evidências científicas atuais
Há o risco de nossos resultados alimentarem uma visão de que nossa ciência não está preparada para políticas. Em muitas áreas, como saúde e meio ambiente, isso pode ser muito prejudicial, até mesmo desastroso.
Uma razão pela qual isso é injustificado é que a ciência do clima é uma ciência baseada em modelos, e tem havido muitas replicações independentes desses modelos. O mesmo ocorre com os testes de imunização.
Sabemos que qualquer crítica à prática científica corre o risco no contexto do sentimento anticientífico, mas tal crítica é fundamental para o sucesso da ciência.
Permanecer aberto a críticas é o mecanismo de autocorreção mais poderoso da ciência, e, em última análise, o que torna a base de evidências científicas confiável.
Os cientistas são humanos e precisamos de salvaguardas
Esta é uma interpretação que endossamos de todo o coração. Os cientistas são humanos e estão sujeitos ao mesmo conjunto de vieses cognitivos - como o viés de confirmação - que o resto de nós.
À medida que aprendemos mais sobre vieses cognitivos e a melhor forma de mitigá-los em diferentes circunstâncias, precisamos alimentar isso de volta às normas da prática científica.
O mesmo se aplica ao nosso conhecimento sobre como as pessoas funcionam sob diferentes estruturas e condições de incentivos. Essa é a base de muitas das iniciativas destinadas a tornar a ciência mais aberta e transparente.
O movimento da ciência aberta é sobre o desenvolvimento de iniciativas para proteger contra a influência do viés cognitivo, e alterar as estruturas de incentivos para que pesquisas que usam essas práticas questionáveis de pesquisa deixem de ser recompensadas.
Algumas dessas iniciativas foram adotadas com entusiasmo por muitos cientistas e editores de periódicos. Por exemplo, muitas revistas agora publicam código de análise e dados junto com seus artigos, e muitos assinaram as diretrizes de Transparência e Promoção de Abertura (TOP).
Outras iniciativas também oferecem uma grande promessa. Por exemplo, formatos de relatório registrados agora são oferecidos por alguns periódicos, principalmente na psicologia e nas áreas médicas. Em um relatório registrado, os artigos são revisados com base em sua premissa e abordagem subjacentes, antes que os dados sejam coletados. Isso remove a tentação de selecionar apenas resultados positivos ou de aplicar diferentes padrões de rigor aos resultados negativos. Resumidamente, isso impede o viés de publicação.
Esperamos que, ao chamar a atenção para a prevalência de práticas de pesquisa questionáveis, nossa pesquisa incentivará o apoio a essas iniciativas, e mais importante, encorajar instituições a apoiar pesquisadores em seus próprios esforços para alinhar sua prática com seus valores científicos.
Este artigo foi publicado originalmente em The Conversation. Leia o artigo original. 
