p Uma paleontóloga retorna a seu laboratório de uma escavação de verão e inicia um estudo comparando o comprimento dos dentes em duas espécies de dinossauros. Ela e sua equipe trabalham meticulosamente para evitar enviesar seus resultados. Eles permanecem cegos para as espécies enquanto medem, os tamanhos das amostras são grandes, e a coleta e análise de dados são rigorosas. p O cientista fica surpreso ao não encontrar nenhuma diferença significativa no comprimento dos dentes caninos entre as duas espécies. Ela percebe que esses resultados inesperados são importantes e envia um artigo aos periódicos apropriados. Mas jornal após jornal rejeita o jornal, uma vez que os resultados não são significativamente diferentes. Eventualmente, o cientista desiste, e o papel com seus chamados resultados negativos é colocado em uma gaveta e enterrado sob anos de outros trabalhos.

p Este cenário e muitos outros semelhantes ocorreram em todas as disciplinas científicas, levando ao que foi apelidado de "problema da gaveta do arquivo". Os periódicos de pesquisa e agências de financiamento são freqüentemente tendenciosos para pesquisas que mostram resultados "positivos" ou significativamente diferentes. Este infeliz viés contribui para muitas outras questões no processo científico, como viés de confirmação, em que os dados são interpretados incorretamente para apoiar um resultado desejado.

p Um novo método:Equivalência

p Infelizmente, Os problemas de viés de publicação prevalecem na ciência há muito tempo. Devido à estrutura do método científico, os cientistas costumam se concentrar apenas nas diferenças entre os grupos - como os dentes de dinossauro de duas espécies diferentes, ou uma comparação de saúde pública de dois bairros diferentes. Isso deixa os estudos que enfocam as semelhanças completamente ocultos.

p Contudo, ensaios farmacêuticos encontraram uma solução para este problema. Nestes ensaios, pesquisadores às vezes usam um teste conhecido como TOST, dois testes unilaterais, para procurar equivalência entre os tratamentos.

p Por exemplo, Digamos que uma empresa desenvolva um medicamento genérico mais barato de produzir do que o medicamento de marca. Os pesquisadores precisam demonstrar que o novo medicamento funciona de maneira estatisticamente equivalente à de marca antes de vendê-lo no mercado. É aí que entra o teste de equivalência. Se o teste mostrar equivalência entre os efeitos das duas drogas, então, o FDA pode aprovar o lançamento do novo medicamento no mercado.

p Embora o teste de equivalência tradicional seja muito útil para testes farmacêuticos pré-planejados e controlados, não é versátil o suficiente para outros tipos de estudos. O TOST original não pode ser usado para testar a equivalência em experimentos onde os mesmos indivíduos estão em vários grupos de tratamento, nem funciona se os dois grupos de testes têm tamanhos de amostra diferentes.

p Adicionalmente, o TOST usado em testes farmacêuticos normalmente não aborda várias variáveis ​​simultaneamente. Por exemplo, um TOST tradicional seria capaz de analisar semelhanças na biodiversidade em vários locais do rio antes e depois de uma mudança de temperatura. Contudo, nosso novo TOST permitiria testar semelhanças em múltiplas variáveis ​​- como biodiversidade, pH da água, profundidade e clareza da água - em todos os locais do rio simultaneamente.

p As limitações do TOST tradicional e a difusão do "problema da gaveta de arquivos" levaram nossa equipe a desenvolver um teste de equivalência multivariado, capaz de abordar semelhanças em sistemas com medidas repetidas e tamanhos de amostra desiguais.

p Nosso novo teste de equivalência, publicado em outubro, vira de cabeça para baixo o arcabouço de hipótese nula tradicional. Agora, ao invés de assumir similaridade, um pesquisador parte do pressuposto de que os dois grupos são diferentes. O ônus da prova agora é avaliar o grau de semelhança, ao invés do grau de diferença.

p Nosso teste também permite que os pesquisadores definam sua própria margem aceitável para declarar similaridade. Por exemplo, se a margem fosse definida como 0,2, então, os resultados diriam se as médias dos dois grupos eram semelhantes em mais ou menos 2%.

p Um passo na direção certa

p Nossa modificação significa que o teste de equivalência agora pode ser aplicado em uma ampla gama de disciplinas. Por exemplo, usamos esse teste para demonstrar a estrutura acústica equivalente nas canções dos pássaros azuis do leste, masculinos e femininos. O teste de equivalência também já foi usado em algumas áreas da engenharia e da psicologia.

p O método poderia ser aplicado de forma ainda mais ampla. Imagine um grupo de pesquisadores que deseja examinar dois métodos de ensino diferentes. Em uma sala de aula não há tecnologia, e em outra todas as atribuições dos alunos são feitas online. O teste de equivalência pode ajudar um distrito escolar a decidir se deve investir mais em tecnologia ou se os dois métodos de ensino são equivalentes.

p O desenvolvimento de um teste de equivalência amplamente aplicável representa o que acreditamos ser um grande passo à frente na longa luta dos cientistas para apresentar resultados reais e imparciais. Este teste fornece outro caminho para a exploração e permite aos pesquisadores examinar e publicar os resultados de estudos sobre semelhanças que não foram publicados ou financiados no passado.

p A prevalência de viés de publicação, incluindo o problema da gaveta de arquivo, viés de confirmação e falsos positivos acidentais, é um grande obstáculo para o progresso científico. Em alguns campos de pesquisa, até metade dos resultados estão faltando na literatura publicada.

p O teste de equivalência fornece outra ferramenta na caixa de ferramentas para os cientistas apresentarem resultados "positivos". Se a comunidade científica se apossar deste teste e o utilizar em todo o seu potencial, achamos que pode ajudar a mitigar uma das principais limitações na forma como a ciência é praticada atualmente. p Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.