Você conhece aquele colega de trabalho que está sempre vagando até a sua mesa e dizendo em voz alta que encontrou um erro no relatório que você está entregando? Por um lado, é bom - não há necessidade de o chefe ver que você ainda confunde "deles / lá". Por outro lado ... que chatice.

Nos últimos meses, cientistas têm sentido as mesmas emoções confusas que statcheck, um novo aplicativo que analisa os estudos psicológicos em busca de erros, foi revelado. E, assim como o colega de trabalho "prestativo", é o modo de revelação que atingiu alguns nervos.

Vamos começar com o que exatamente o statcheck faz. Sam Schwarzkopf, um neurocientista da University College London que escreve o blog de ciências NeuroNeurotic, compara-o a um corretor ortográfico para estatísticas. "A maioria dos erros sinalizados por statcheck são provavelmente irrelevantes, "ele explica por e-mail." Portanto, é um pouco doloroso ver o erro, mas não faz muito mal. "Um erro de digitação, por exemplo. Ótimo para pegar, mas não terrível.

Contudo, quando o statcheck sinaliza erros como "potencialmente alterando as conclusões, "é o mesmo que encontrar um erro de digitação que" mudaria o significado da frase, "Schwarzkopf diz. Mas isso não significa que esses erros estatísticos estão definitivamente mudando os resultados, qualquer.

"Eu apostaria que a maioria desses erros são provavelmente erros de digitação e não mudam realmente as conclusões, "Schwarzkopf diz." Em muitos casos, você pode dizer a partir dos resultados, tanto os números quanto os gráficos, que as conclusões estão corretas e o teste estatístico é simplesmente relatado incorretamente. "

Claro, haverá casos em que há um erro real, o que significaria que houve um erro com um cálculo real, ou que os números são fraudulentos. De qualquer jeito, envolveria um manual real, verificação antiquada.

Então, parece ótimo, direito? Uma forma de os acadêmicos verificarem suas pesquisas antes de enviá-las e ajudar a trabalhar para obter resultados mais precisos. Mas o grande lançamento do statcheck foi um pouco mais dramático:50, 000 artigos no PubPeer (uma plataforma online que permite aos pesquisadores compartilhar e discutir artigos publicados) foram analisados ​​usando statcheck, e, portanto, foram sinalizados com relatórios gerados automaticamente - mesmo que o relatório apenas informasse que não havia erros.

Nem todos ficaram entusiasmados por ter seus trabalhos analisados ​​e comentados em casos não solicitados, especialmente em um fórum onde um comentário em um artigo geralmente significa que um erro foi encontrado. Um sinalizador indicando que o papel foi digitalizado por statcheck pode levar a uma interpretação incorreta, em outras palavras.

E é importante lembrar que o statcheck não é, de forma alguma, uma peça perfeita de inteligência artificial. "Como o statcheck é um algoritmo automatizado, nunca será tão preciso quanto uma verificação manual, "diz Michéle Nuijten por e-mail. Nuijten é um estudante de Ph.D. na Universidade de Tilburg, na Holanda, e ajudou a criar o statcheck." Por causa dos erros que o statcheck comete, você sempre tem que verificar manualmente as inconsistências sinalizadas, antes de tirar conclusões fortes. "

Tanto Nuijten quanto Chris Hartgerink (o pesquisador que digitalizou e relatou os artigos do PubPeer), estavam claros que o statcheck tinha bugs e erros. O manual do statcheck também inclui listas detalhadas do que o statcheck não pode fazer.

O que volta ao que Schwarzkopf também aponta:Encontrar erros nas estatísticas é um ótimo alerta, mas não necessariamente conta a história dos dados. O jornal relata que um em cada oito artigos continha um erro que poderia afetaram a conclusão estatística, o que pode levar todos nós ao pânico de que a ciência está errada, cima é baixo, e ninguém é confiável. Mas statcheck não nos diz quantos erros na realidade afetou as conclusões dos estudos. Ele apenas sinaliza possíveis inconsistências grosseiras.

Schwarzkopf adverte que não precisamos entrar em pânico, pois todos esses erros significam conclusões falsas. "A esmagadora maioria mesmo desses um em cada oito erros é provavelmente irrelevante porque se deve a erros de digitação, e não devido a erros de cálculo reais dos resultados, ", diz ele." Definitivamente, é bom detectar esses erros, mas eles não invalidam as interpretações das descobertas. A única maneira de distinguir se um erro é devido a um erro de digitação ou erro de cálculo verdadeiro é examinar os próprios dados e reproduzir as estatísticas. "

Em outras palavras, precisamos ter certeza de que os autores e as publicações estão verificando (e depois verificando novamente) as estatísticas antes da publicação e - o que é crucial - também estão reproduzindo os resultados.

E embora alguns cientistas não estivessem entusiasmados por ter seus trabalhos analisados ​​ou sinalizados no PubPeer, é justo dizer que os pesquisadores acharão um alívio usar a tecnologia statcheck para verificar novamente seu próprio trabalho, o que eles agora podem fazer facilmente em http://statcheck.io.

É importante observar que o statcheck foi projetado para funcionar apenas com papéis psicológicos. Nuijten e seus colegas estão atualmente trabalhando em financiamento para expandir a cheque-estaca para outros campos, como ciências biomédicas e economia.