p Se há um princípio central que une todas as ciências, é provável que os cientistas devam abordar a descoberta sem preconceitos e com uma boa dose de ceticismo. A ideia é que a melhor maneira de chegar à verdade é permitir que os fatos levem aonde quiserem, mesmo que não seja para onde você pretendia ir. p Mas isso pode ser mais fácil dizer do que fazer. Os humanos têm preconceitos inconscientes que são difíceis de se livrar, e a maioria das pessoas não gosta de estar errada. Nos últimos anos, os cientistas descobriram evidências preocupantes de que esses preconceitos podem estar afetando a integridade do processo de pesquisa em muitos campos.

p A evidência também sugere que, mesmo quando os cientistas operam com as melhores intenções, erros graves são mais comuns do que o esperado, porque mesmo diferenças sutis na maneira como um procedimento experimental é conduzido podem atrapalhar as descobertas.

p Quando preconceitos e erros vazam para a pesquisa, outros cientistas que tentam o mesmo experimento podem descobrir que não podem replicar as descobertas do pesquisador original. Isso deu ao problema mais amplo seu nome:a crise de replicação.

p Colin Camerer, Robert Kirby, professor de Economia Comportamental da Caltech, e o T&C Chen Center for Social and Decision Neuroscience Leadership Chair, diretor executivo de Ciências Sociais e diretor do T&C Chen Center for Social and Decision Neuroscience, tem estado na vanguarda da pesquisa sobre a crise de replicação. Ele escreveu vários estudos sobre o assunto e é um fervoroso defensor da reforma. Conversamos com Camerer sobre a gravidade do problema e o que pode ser feito para corrigi-lo; e o movimento de "ciência aberta", que incentiva o compartilhamento de dados, em formação, e materiais entre os pesquisadores.

p O que exatamente é a crise de replicação?

p O que instigou tudo isso foi a descoberta de que muitas descobertas - originalmente na medicina, mas mais tarde nas áreas da psicologia, em economia, e provavelmente em todos os campos - apenas não replique ou reproduza tão bem como esperamos. Por reproduzir, Quero dizer, pegar dados que alguém coletou para um estudo e fazer a mesma análise apenas para ver se obtém os mesmos resultados. As pessoas podem obter diferenças substanciais, por exemplo, se eles usam estatísticas mais recentes do que as disponíveis para os pesquisadores originais.

p Os primeiros estudos sobre reprodutibilidade também descobriram que às vezes é difícil até mesmo fazer as pessoas compartilharem seus dados de maneira oportuna e clara. Havia uma norma de que o compartilhamento de dados é uma espécie de bônus, mas não é absolutamente uma parte necessária do trabalho de ser um cientista.

p Quão grande é esse problema?

p Eu diria que é grande o suficiente para ser muito preocupante. Vou dar um exemplo da psicologia social, que tem sido uma das áreas mais problemáticas. Em psicologia social, há uma ideia chamada priming, o que significa que se eu te fizer pensar em algo subconscientemente, esses pensamentos podem ativar associações relacionadas e mudar seu comportamento de uma forma surpreendente.

p Muitos estudos sobre priming foram feitos por John Bargh, que é um psicólogo conhecido em Yale. Bargh e seus colegas fizeram os jovens pensarem em ser velhos e depois os fizeram sentar a uma mesa e fazer um teste. Mas o teste foi apenas um preenchimento, porque os pesquisadores não estavam interessados ​​nos resultados do teste. Eles estavam interessados ​​em como pensar em ser velho afetava o comportamento dos jovens. Quando os jovens terminaram o teste de preenchimento, a equipe de pesquisa cronometrou quanto tempo levaram para se levantar da mesa e caminhar até o elevador. Eles descobriram que as pessoas que foram estimuladas a pensar em envelhecer andaram mais devagar do que o grupo de controle que não recebeu essa preparação.

p Eles estavam tentando obter um resultado dramático, mostrando que as associações mentais com os idosos afetam o comportamento físico. O problema foi que, quando outros tentaram replicar o estudo, as descobertas originais não se replicaram muito bem. Em uma replicação, algo ainda pior aconteceu. Alguns dos assistentes nesse experimento foram informados de que o priming faria os jovens indivíduos andarem mais devagar, e outros foram informados de que o priming os faria andar mais rapidamente - isso é o que chamamos de reatância ou efeito de bumerangue. E o que os assistentes deveriam esperar influenciou suas medições de quão rápido os sujeitos andaram, embora estivessem cronometrando. As medidas do cronômetro dos assistentes foram tendenciosas em comparação com um cronômetro automático. Menciono esse exemplo porque é o tipo de estudo que consideramos fofo demais para ser verdade. Quando a falha de replicação saiu, houve um grande alvoroço sobre quanta habilidade um experimentador precisa para fazer uma replicação adequada.

p Recentemente, você explorou esse assunto em dois jornais. O que você achou?

p Em nosso primeiro artigo, olhamos para a economia experimental, que é algo que foi pioneiro aqui na Caltech. Pegamos 18 artigos de várias instituições que foram publicados em duas das principais revistas de economia. Estes são os documentos que você espera que reproduzam melhor. O que descobrimos foi que 14 de 18 replicaram muito bem, mas quatro deles não.

p É importante observar que em dois desses quatro casos, fizemos pequenos desvios em como o experimento foi feito. Isso é um lembrete de que pequenas mudanças podem fazer uma grande diferença na replicação. Por exemplo, se você está estudando psicologia política e partidarismo e reproduz um artigo de 2010, os resultados hoje podem ser muito diferentes porque o clima político mudou. Não é que os autores do artigo original cometeram um erro, é que o fenômeno em seu estudo mudou.

p Em nosso segundo artigo, analisamos artigos de ciências sociais publicados entre 2010 e 2015 em Ciência e Natureza , que são as principais revistas científicas gerais. Estávamos interessados ​​neles porque eram artigos muito citados e considerados muito influentes.

p Escolhemos aqueles que não seriam muito trabalhosos para replicar, e acabamos com 21 artigos. O que descobrimos foi que apenas cerca de 60 por cento replicado, e os que não se replicaram tendem a se concentrar em coisas como priming, que mencionei antes. O priming revelou-se o fenômeno menos replicável. É uma pena porque o conceito subjacente - que pensar em uma coisa eleva as associações a coisas relacionadas - é sem dúvida verdadeiro.

p Como algo assim acontece?

p Uma das causas da não replicação das descobertas é o que chamamos de "p-hacking". O valor P é uma medida da probabilidade estatística de que sua hipótese seja verdadeira. Se o valor p for baixo, é altamente improvável que um efeito seja um acaso devido ao acaso. Em ciências sociais e medicina, por exemplo, você normalmente está testando se a alteração das condições do experimento altera o comportamento. Você realmente deseja obter um valor de p baixo porque significa que a condição que você alterou teve um efeito. Hacker P é quando você tenta análises diferentes com seus dados até que o valor p seja baixo.

p Um bom exemplo de p-hacking é excluir pontos de dados que não se encaixam em sua hipótese - outliers - de seu conjunto de dados. Existem métodos estatísticos para lidar com outliers, mas às vezes as pessoas esperam ver uma correlação e não a encontram, por exemplo. Então, eles pensam em uma razão plausível para descartar alguns pontos discrepantes, porque, ao fazer isso, eles podem aumentar a correlação. Essa prática pode ser abusada, mas ao mesmo tempo, às vezes há valores discrepantes que devem ser descartados. Por exemplo, se os assuntos piscarem muito quando você estiver tentando medir a percepção visual, é razoável editar as piscadas ou não usar alguns assuntos.

p Outra explicação é que às vezes os cientistas são simplesmente ajudados pela sorte. Quando outra pessoa tenta replicar o experimento original, mas não obtém a mesma sorte, eles não obterão os mesmos resultados.

p Nas ciências, você deve ser imparcial e dizer, "Aqui está minha hipótese, e vou provar que está certo ou errado. "Então, por que as pessoas ajustam os resultados para obter a resposta que desejam?

p No topo da pirâmide está a fraude absoluta e, Felizmente, isso é muito raro. Tipicamente, se você fizer uma autópsia ou confissão em caso de fraude, você encontra um cientista que sente uma pressão tremenda. Às vezes é pessoal - "Eu só queria ser respeitado" - e às vezes é conceder dinheiro ou ter vergonha de confessar.

p Nos casos fraudulentos, os cientistas se safam com um pequeno engano, e eles ficam muito empenhados porque estão realmente apostando suas carreiras nisso. A descoberta que eles falsificaram pode ser o que os leva a ser convidados para conferências e a obter muitos fundos. Então é muito embaraçoso parar e confessar o que eles fizeram o tempo todo.

p Existem também práticas científicas defeituosas menos flagrantes do que a fraude absoluta, direito?

p Certo. É o cientista que pensa, "Eu sei que estou certo, e mesmo que esses dados não provem isso, Tenho certeza de que poderia fazer muito mais experimentos e provar isso. Então, vou apenas ajudar no processo, criando a melhor versão dos dados. "É como uma cirurgia estética para dados.

p E de novo, há incentivos para isso. Freqüentemente em Big Science e Big Medicine, você está apoiando muitas pessoas com sua bolsa. Se algo realmente der errado com sua grande teoria ou método pioneiro, essas pessoas são demitidas e suas carreiras são prejudicadas.

p Outra força que contribui para a replicabilidade fraca é que, em ciência, confiamos em grande medida nas normas de honra e na ideia de que as pessoas se preocupam com o processo e querem chegar à verdade. Há uma enorme quantidade de confiança envolvida. Se eu conseguir um artigo de um jornal importante para revisar, Não estou necessariamente pensando como um detetive da polícia sobre se isso é fabricado.

p Muitas das fraudes só foram descobertas porque havia um padrão em muitos papéis diferentes. Um artigo era bom demais para ser verdade, e o próximo era bom demais para ser verdade, e assim por diante. Ninguém é bom o suficiente para obter 10 bons demais para serem verdadeiros em sequência.

p Então, muitas vezes, é uma espécie de acaso. Alguém comete um deslize ou uma pessoa percebe e depois pede os dados e vai um pouco mais longe.

p Quais as melhores práticas que os cientistas devem seguir para evitar cair nessas armadilhas?

p Há muitas coisas que podemos fazer - eu chamo isso de upgrade de reprodutibilidade. Um é o pré-registro, o que significa que antes de coletar seus dados, você explica publicamente e publica online exatamente quais dados você vai coletar, por que você escolheu o tamanho da amostra, e exatamente qual análise você executará. Então, se você fizer uma análise muito diferente e conseguir um bom resultado, as pessoas podem questionar por que você saiu do que pré-registrou e se as análises não planejadas foram p-hackeadas.

p A rubrica mais geral é chamada de ciência aberta, em que você age como se basicamente tudo o que você faz deveria estar disponível para outras pessoas, exceto para certas coisas como a privacidade do paciente. Isso inclui dados originais, código, instruções, e materiais experimentais como gravações de vídeo - tudo.

p Meta-análise é outro método que acho que veremos cada vez mais. É aí que você combina os resultados de estudos que tentam medir o mesmo efeito geral. Você pode usar essas informações para encontrar evidências de coisas como viés de publicação, que é uma espécie de pensamento de grupo. Por exemplo, há fortes evidências experimentais de que dar pratos menores às pessoas faz com que comam menos. Então, talvez você esteja estudando pratos pequenos e grandes, e você não encontra qualquer efeito no tamanho da porção. Você pode pensar consigo mesmo, "Provavelmente cometi um erro. Não vou tentar publicar isso." Ou você pode dizer, "Uau! Isso é realmente interessante. Não consegui um efeito de placa pequena. Vou mandar para um diário." E os editores ou árbitros dizem:"Você provavelmente cometeu um erro. Não vamos publicá-lo." Esses são vieses de publicação. Eles podem ser causados ​​por cientistas que retêm resultados ou por periódicos que não os publicam porque obtêm um resultado não convencional.

p Se um grupo de cientistas passa a acreditar que algo é verdade e a evidência contrária é ignorada ou varrida para debaixo do tapete, isso significa que muitas pessoas estão tentando chegar a alguma conclusão coletiva sobre algo que não é verdade. O grande dano é que é uma perda colossal de tempo, e pode prejudicar a percepção do público de como a ciência é sólida em geral.

p As pessoas são receptivas às mudanças que você sugere?

p Eu diria que 90 por cento das pessoas me apoiaram muito. Uma notícia muito boa é que o Open Science Framework foi apoiado pela Laura and John Arnold Foundation, que é uma grande fundação privada, e por outros doadores. As fundações privadas estão em uma posição única para gastar muito dinheiro em coisas como essa. Nossa primeira concessão para fazer réplicas em economia experimental veio quando conheci o oficial de programa da Fundação Alfred P. Sloan. Eu disse a ele que estávamos testando um grande projeto de replicação de experimentos econômicos. Ele ficou animado, e era figurativamente como se ele tivesse tirado um saco de dinheiro de sua pasta ali mesmo. Mais tarde, meus colaboradores na Suécia e na Áustria conseguiram uma doação particularmente grande de US $ 1,5 milhão para trabalhar na replicação. Agora que há algum impulso, agências de financiamento têm sido razoavelmente generosas, o que é ótimo.

p Outra coisa que tem sido interessante é que, embora os periódicos não estejam interessados ​​em publicar a replicação de um artigo, eles realmente gostam do que fizemos, que é um lote de replicações. Alguns meses depois de trabalhar no primeiro artigo de replicação em economia experimental financiado por Sloan, Recebi um e-mail de um editor em Ciência quem disse, "Ouvi dizer que você está trabalhando nessa coisa de replicação. Já pensou onde publicá-la?" Isso é uma piscadela, maneira tímida de dizer "Por favor, mande para nós" sem que nenhuma promessa seja feita. Eles acabaram publicando.

p Que desafios você vê no futuro?

p Acho que o principal desafio é determinar onde está a responsabilidade. Até cerca de 2000, a sabedoria convencional era, "Ninguém vai pagar pela sua replicação e ninguém vai publicar sua replicação. E se não der certo, você apenas fará um inimigo. Não se preocupe em replicar. "Freqüentemente, os alunos eram instruídos a não fazer a replicação porque seria ruim para suas carreiras. Acho que isso é falso, mas é verdade que ninguém vai ganhar um grande prêmio por replicar o trabalho de outra pessoa. A melhor carreira na ciência vem de mostrar que você pode fazer algo original, importante, e criativo. A replicação é exatamente o oposto. É importante que alguém faça isso, mas não é criativo. É algo que a maioria dos cientistas deseja que outra pessoa faça.

p O que é necessário são instituições para gerar estabilidade, replicações em andamento, em vez de depender de cientistas que estão tentando ser criativos e fazer descobertas para fazer isso. Podem ser alguns centros que se dedicam apenas à replicação. Eles poderiam escolher cada quinto artigo publicado em um determinado periódico, replicar, e postar seus resultados online. Seria como uma auditoria, ou uma espécie de Consumer Reports para a ciência. Acho que algumas instituições como essa vão surgir. Ou talvez agências de concessão, como o National Institutes of Health ou a National Science Foundation, deve ser responsável pela construção de salvaguardas. Eles poderiam ter um processo de auditoria que reservasse dinheiro de concessão para fazer uma replicação e verificar seu trabalho.

p Para mim, isso é como um hobby. Agora, espero que algum outro grupo de pessoas cuidadosas, muito apaixonadas e inteligentes, pegue o bastão e comece a fazer replicações rotineiramente.