p Um novo estudo liderado pela Universidade de Tel Aviv publicado em 20 de maio em Natureza oferece novas evidências de que a complexidade dos métodos analíticos contemporâneos em ciência contribui para a variabilidade dos resultados da pesquisa. p Estudos anteriores nas áreas de psicologia, a biologia do câncer e a economia comportamental revelaram muitas falhas na tentativa de reproduzir metodologias e espelhar resultados. Os pesquisadores do TAU usaram uma abordagem conhecida como "Muitos analistas, "em que muitos pesquisadores analisaram o mesmo conjunto de dados para testar a variabilidade nos resultados da análise, explica o co-autor do estudo, Dr. Tom Schonberg, do Departamento de Neurobiologia da Faculdade de Ciências da Vida George S. Wise da TAU e da Escola de Neurociência Sagol da TAU.

p "A variabilidade nos resultados demonstrada neste estudo é uma parte inerente do complexo processo de obtenção de resultados científicos, e devemos entendê-lo para saber como lidar com isso, "ele acrescenta." A ciência é conduzida por humanos, e não há como escapar da variabilidade. Mas devemos reconhecer isso para nos autocorrigir e obter as respostas mais confiáveis. "

p A Análise de Neuroimagem, O Estudo de Replicação e Predição (NARPS) também foi liderado pelo ex-Ph.D. do Dr. Schonberg. aluno Dr. Rotem Botvinik-Nezer, hoje um pesquisador de pós-doutorado no Dartmouth College, juntamente com os co-pesquisadores Prof. Russel Poldrack da Stanford University e o Prof. Thomas Nichols da Oxford University.

p Geral, 180 pesquisadores de 70 equipes de cientistas de todo o mundo analisaram o mesmo conjunto de dados de imagens cerebrais de 108 indivíduos. Esses sujeitos participaram de uma tarefa que testou sua tomada de decisão em relação a apostas de ganhos e perdas potenciais. Cada grupo escolheu um método de análise distinto, e os diferentes métodos levaram a diferentes conclusões.

p "A ciência é frequentemente criticada, "diz o Dr. Schonberg." Mas não é uma crença como uma religião, como alguns argumentaram. Tem regras e um método - o método científico. Estamos constantemente tentando melhorar esse método em um processo de autoquestionamento. Acreditamos que nosso estudo leva esse processo adiante. "

p Os mesmos dados foram apresentados às equipes de pesquisa - varreduras de fMRI de indivíduos realizando uma tarefa de tomada de decisão baseada em valores - e instruídos a testar as mesmas nove diferentes hipóteses definidas.

p O grande conjunto de dados de neuroimagem foi coletado ao longo de um ano no Centro Alfredo Federico Strauss de Neuroimagem Computacional no TAU por Roni Iwanir, um ex-aluno de mestrado da Sagol School do laboratório de Schonberg. Enquanto os participantes do estudo se engajaram na tarefa de tomada de decisão monetária, As varreduras de fMRI foram usadas para testar se a atividade de regiões cerebrais específicas envolvidas no processamento de valor mudava em relação à quantidade de dinheiro ganho ou perdido em uma aposta. Cerca de 70 equipes internacionais analisaram independentemente esses conjuntos de dados ao longo de três meses.

p "O processamento que você tem que passar dos dados brutos ao resultado com fMRI é realmente complicado, "acrescenta o Prof. Poldrack." Há uma série de escolhas que você deve fazer em cada lugar no fluxo de trabalho de análise. "

p Cada equipe de pesquisadores chegou às suas próprias conclusões finais sobre os dados, com resultados variando significativamente entre as equipes em cinco das nove hipóteses.

p "Nosso novo estudo demonstrou alta flexibilidade analítica como ocorre 'na natureza, '", diz o Dr. Schonberg." Os pesquisadores participantes modelaram as hipóteses de maneira diferente e usaram softwares diferentes para a análise. Eles também usaram diferentes técnicas e definições em diferentes aspectos da análise. "

p Outra parte do estudo envolveu especialistas da área, bem como pesquisadores das equipes de análise, negociando com outros pesquisadores nos chamados "mercados de previsão" sobre o que eles pensavam que seriam os resultados da pesquisa. Esta parte do estudo foi conduzida por economistas e especialistas em finanças comportamentais, que forneceu a ideia inicial para o estudo, e revelou um grande otimismo sobre a capacidade de replicar as descobertas anteriores, mesmo por pesquisadores que analisaram os próprios dados.

p "Embora os resultados finais relatados variassem substancialmente, os resultados da análise do estágio anterior, na verdade, mostraram um consenso entre a maioria das equipes de pesquisa, "diz o Dr. Schonberg." Isso é muito encorajador, e foi de fato um resultado um tanto surpreendente. Apesar da grande variabilidade nos resultados finais relatados, a análise subjacente foi semelhante, o que significa que precisamos encontrar métodos para expressar essa convergência.

p "Por exemplo, o estudo sugere que os pesquisadores podem realizar e relatar várias análises com os mesmos dados, para encontrar os resultados para os quais convergem diferentes métodos confiáveis. "

p O Dr. Schonberg acredita que as descobertas podem ajudar os cientistas a avançar em sua metodologia e melhorar a qualidade de suas análises no futuro.

p "Eu gostaria que nossas descobertas fossem usadas para levar a ciência adiante - para um compartilhamento ainda maior de todas as informações relacionadas ao estudo, de transparência de métodos, códigos de análise e dados, "diz o Dr. Schonberg. Essa é a única maneira que todos podem testar e" brincar "com os resultados para ver o que é válido. Vimos a importância e a grande necessidade de compartilhar dados na recente pandemia de COVID-19 para entender o curso ideal de ação.

p "Naturalmente, a novidade das descobertas é muito importante para os cientistas. Mas tão importante é o rigor da nossa metodologia, "conclui o Dr. Schonberg." Nosso estudo reflete a ambição de uma vasta comunidade de cientistas de gastar milhares de horas para melhorar nossas metodologias a fim de obter as conclusões certas e alcançar resultados confiáveis ​​".