p Pedimos conselhos de especialistas o tempo todo. Uma empresa pode pedir conselhos a um economista sobre como motivar seus funcionários. Um governo pode perguntar qual será o efeito de uma reforma política. p Para dar o conselho, os especialistas geralmente gostariam de aproveitar os resultados de um experimento. Mas eles nem sempre têm evidências experimentais relevantes.

p Coletar previsões de especialistas sobre os resultados da pesquisa pode ser uma nova ferramenta poderosa para ajudar a melhorar a ciência - e os conselhos que os cientistas dão.

p Melhor ciência

p Nas últimas décadas, rigor acadêmico e transparência, particularmente nas ciências sociais, melhoraram muito.

p Ainda, como o cientista-chefe da Austrália, Alan Finkel, argumentou recentemente, ainda há muito a ser feito para minimizar a "ciência ruim".

p Ele recomenda mudanças na forma como a pesquisa é avaliada e financiada. Outra abordagem cada vez mais comum é a realização de ensaios clínicos randomizados e estudos de pré-registro para evitar vieses nos resultados relatados.

p As previsões de especialistas podem ser outra ferramenta para tornar a pesquisa mais forte, como meus co-autores Stefano DellaVigna, Devin Pope e eu discutimos em um novo artigo publicado em Ciência .

p Por que previsões?

p A maneira como interpretamos os resultados da pesquisa depende do que já acreditamos. Por exemplo, se víssemos um estudo afirmando que fumar era saudável, provavelmente seríamos muito céticos.

p Se o resultado surpreender os especialistas, esse fato em si é informativo. Isso pode sugerir que algo pode estar errado com o desenho do estudo.

p Ou, se o estudo foi bem desenhado e a descoberta replicada, podemos pensar que esse resultado mudou fundamentalmente nossa compreensão de como o mundo funciona.

p No entanto, atualmente os pesquisadores raramente coletam informações que lhes permitam comparar seus resultados com o que a comunidade de pesquisa acreditava de antemão. Isso torna difícil interpretar a novidade e a importância de um resultado.

p O processo de publicação acadêmica também é afetado pelo preconceito contra a publicação insignificante, ou "nulo, " resultados.

p A coleta de previsões antecipadas de resultados de pesquisa poderia combater esse viés, tornando os resultados nulos mais interessantes, pois podem indicar um desvio da sabedoria aceita.

p Mudando de idéia

p Além de melhorar diretamente a interpretação dos resultados da pesquisa, Coletar previsões antecipadas pode nos ajudar a entender como as pessoas mudam de ideia.

p Por exemplo, meu colega Aidan Coville e eu coletamos previsões antecipadas de formuladores de políticas para estudar o efeito que os resultados de pesquisas acadêmicas tiveram sobre suas crenças. Em geral, descobrimos que eles eram mais receptivos a "boas notícias" do que a "más notícias" e ignoramos as incertezas nos resultados.

p As previsões também podem nos informar sobre quais estudos em potencial poderiam melhorar as decisões políticas.

p Por exemplo, suponha que uma equipe de pesquisa tenha que escolher uma das dez intervenções para estudar. Para algumas das intervenções, temos certeza do que um estudo iria encontrar, e um novo estudo dificilmente mudará nossas mentes. Para os outros, temos menos certeza, mas é improvável que sejam a melhor intervenção.

p Se as previsões foram coletadas com antecedência, eles poderiam nos dizer qual intervenção estudar para ter o maior impacto político.

p Testando previsões

p A longo prazo, se as previsões de especialistas puderem ser bastante precisas, eles poderiam fornecer algum suporte para decisões políticas onde estudos rigorosos não podem ser conduzidos.

p Por exemplo, Stefano DellaVigna e Devin Pope coletaram previsões sobre como os diferentes incentivos mudam a quantidade de esforço que as pessoas colocam para concluir uma tarefa.

p Como você pode ver no gráfico abaixo, as previsões não eram perfeitas (um ponto na linha diagonal tracejada representaria uma combinação perfeita de previsão e resultado). Mas parece haver alguma correlação entre as previsões agregadas e os resultados.

p Um lugar central para previsões

p Para aproveitar ao máximo as previsões dos resultados da pesquisa, eles devem ser coletados sistematicamente.

p Hora extra, isso nos ajudaria a avaliar o quão precisos são os previsores individuais, nos ensina a melhor forma de agregar previsões, e nos diga quais tipos de resultados tendem a ser bem previstos.

p Construímos uma plataforma que os pesquisadores podem usar para coletar previsões sobre seus experimentos de pesquisadores, formuladores de políticas, praticantes, e outros públicos importantes. O site beta pode ser visto aqui.

p Embora estejamos nos concentrando primeiro em nossa própria disciplina - economia - achamos que essa ferramenta deve ser amplamente útil. Gostaríamos de encorajar pesquisadores em qualquer campo acadêmico a considerar a coleta de previsões de resultados de pesquisa.

p Existem muitos usos potenciais para previsões de resultados de pesquisa além dos descritos aqui. Muitos outros acadêmicos também estão explorando esta área, como os Replication Markets e repliCATS projetos que fazem parte de uma grande iniciativa de pesquisa sobre replicação.

p Os múltiplos usos possíveis das previsões de pesquisa nos dão a confiança de que um tratamento mais rigoroso e sistemático de crenças anteriores pode melhorar muito a interpretação dos resultados da pesquisa e, em última análise, melhorar a maneira como fazemos ciência. p Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.