p No início deste outono, Pesquisadores do Dartmouth College divulgaram um estudo que afirma vincular videogames violentos à agressão em crianças. A lógica de um estudo meta-analítico como este é que, combinando muitos estudos individuais, os cientistas podem procurar tendências ou efeitos comuns identificados em trabalhos anteriores. Somente, como um pesquisador de psicologia que há muito tempo se concentra nesta área, Eu afirmo que essa meta-análise não fez nada disso. Na verdade, a magnitude do efeito que encontraram é quase a mesma de comer batatas no suicídio de adolescentes. Se alguma coisa, sugere que os videogames não prevêem a agressão juvenil. p Este estudo, e outros gostam, são sintomáticos de um grande problema dentro das ciências sociais:o exagero de duvidoso, resultados de pesquisas não confiáveis ​​que têm pouca aplicação no mundo real. Freqüentemente, essas descobertas moldam as percepções do público sobre a condição humana e orientam as políticas públicas - apesar de serem em grande parte lixo. É assim que acontece.

p Nos últimos anos vimos psicologia, em particular, envolvido no que alguns chamam de crise de reprodutibilidade. Muitas descobertas há muito acalentadas nas ciências sociais de forma mais ampla se mostraram difíceis de replicar em condições rigorosas. Quando um estudo é executado novamente, ele não mostra os mesmos resultados publicados originalmente. A pressão para publicar resultados positivos e a tendência dos pesquisadores de injetar seus próprios preconceitos nas análises intensificam a questão. Grande parte dessa falha de replicação pode ser tratada com métodos mais transparentes e rigorosos nas ciências sociais.

p Mas o exagero de resultados fracos é diferente. Não pode ser corrigido metodologicamente; uma solução precisaria vir de uma mudança cultural dentro do campo. Mas os incentivos para ser franco sobre as deficiências são poucos, particularmente para um campo como a psicologia, que se preocupa com a percepção do público.

p Um exemplo é o Teste de Associação Implícita (IAT). Esta técnica é mais famosa para sondar preconceitos raciais inconscientes. Dada a atenção que recebeu e as teorias baseadas nela, uma espécie de indústria caseira foi desenvolvida para treinar os funcionários sobre seus preconceitos implícitos e como superá-los. Infelizmente, vários estudos sugerem que o IAT não é confiável e não prevê o comportamento no mundo real. O combate ao preconceito racial é laudatório, mas o investimento público considerável no IAT e o conceito de vieses implícitos são provavelmente menos produtivos do que o anunciado.

p Parte do problema é algo que chamo de "morte por comunicado à imprensa". Este fenômeno ocorre quando pesquisadores ou sua universidade, ou uma organização de publicação de periódicos, como a American Psychological Association, libera um comunicado de imprensa que exagera as descobertas de um estudo sem detalhar suas limitações. Alegações sensacionalistas tendem a receber mais atenção das notícias.

p Por exemplo, um laboratório de comida agora notório em Cornell experimentou várias retrações depois que ele saiu que torturaram seus dados a fim de obter conclusões amigável-título. A pesquisa sugeriu que as pessoas comiam mais quando serviam porções maiores, programas de televisão de ação aumentaram o consumo de comida, e o consumo de vegetais pelas crianças aumentaria se os produtos fossem reformulados com temas adequados às crianças, como "cenouras com visão de raio-X". Principalmente, o líder do laboratório, Brian Wansink, parece ter se tornado um especialista em marketing de ciências sociais, mesmo que a maioria das conclusões sejam frágeis.

p Outra preocupação é um processo que chamo de "lavagem científica" - a limpeza da sujeira, confuso, ciência inconclusiva para consumo público. Na minha própria área de especialização, a meta-análise de Dartmouth sobre videogames é um bom exemplo. evidência semelhante ao que tinha sido alimentado na meta-análise estava disponível há anos e, na verdade, serviu de base para porque a maioria dos estudiosos não ligar jogos violentos para assaltos de jovens.

p A revista Science discutiu recentemente como as meta-análises podem ser mal utilizadas para tentar encerrar prematuramente os debates científicos. Meta-análises podem ser úteis quando iluminam práticas científicas que podem causar efeitos espúrios, a fim de orientar pesquisas futuras. Mas eles podem suavizar artificialmente discordâncias importantes entre os estudos.

p Digamos que formulemos a hipótese de que comer mirtilos cura a depressão. Executamos 100 estudos para testar essa hipótese. Imagine que cerca de 25 por cento de nossos experimentos encontrem pequenas ligações entre mirtilos e depressão reduzida, enquanto os outros 75% não mostram nada. A maioria das pessoas concordaria que esta é uma exibição muito pobre para a hipótese do mirtilo. A maior parte de nossas evidências não encontrou nenhuma melhora na depressão após comer as frutas vermelhas. Mas, devido a uma peculiaridade da meta-análise, a combinação de todos os 100 de nossos estudos mostraria o que os cientistas chamam de efeito "estatisticamente significativo" - ou seja, algo que era improvável de acontecer por acaso - embora a maioria dos estudos individuais por si só não fosse estatisticamente significativa.

p Mesclar até mesmo alguns estudos que mostram um efeito com um grupo maior de estudos que não mostram pode resultar em um resultado de metanálise que parece estatisticamente significativo - mesmo se os estudos individuais variarem um pouco. Esses tipos de resultados constituem o que alguns psicólogos chamam de "fator bruto" da pesquisa psicológica - descobertas estatisticamente significativas que são ruído, não são efeitos reais que refletem qualquer coisa no mundo real. Ou, em poucas palavras, meta-análises são uma ótima ferramenta para os estudiosos se enganarem.

p Organizações corporativas profissionais para áreas como psicologia e pediatria deveriam arcar com grande parte da culpa pela disseminação de exageros na pesquisa. Essas organizações lançam vários, muitas vezes profundamente falho, declarações de políticas anunciando resultados de pesquisas em um campo. O público freqüentemente não percebe que tais organizações funcionam para comercializar e promover uma profissão; eles não são neutros, observadores objetivos da pesquisa científica - que muitas vezes é publicada, para renda, em seus próprios diários.

p Infelizmente, essa lavagem científica pode voltar a assombrar um campo quando afirmações exageradas se revelam enganosas. A superpromoção desonesta das ciências sociais pode fazer com que o público e os tribunais se tornem mais céticos a respeito. Por que os contribuintes deveriam financiar pesquisas que são lixo exagerado? Por que os consumidores de mídia deveriam confiar no que a pesquisa diz hoje, se eles ficaram queimados com o que foi dito ontem?

p Acadêmicos individuais e as associações profissionais que os representam podem fazer muito para consertar esses problemas, reconsiderando padrões frouxos de evidência, o exagero de efeitos fracos, e a atual falta de honestidade direta sobre as limitações metodológicas. Enquanto isso, o público fará bem em continuar a aplicar uma dose saudável de pensamento crítico a afirmações elevadas provenientes de comunicados de imprensa nas ciências sociais. Pergunte se a magnitude do efeito é significativamente maior do que para as batatas no suicídio. Se a resposta for não, é hora de seguir em frente. p Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.