p Uma nova pesquisa busca entender o que impulsiona as decisões na análise de dados e o processo pelo qual os acadêmicos testam uma hipótese, comparando as análises de diferentes pesquisadores que testaram as mesmas hipóteses no mesmo conjunto de dados. Os analistas relataram análises radicalmente diferentes e resultados empíricos dispersos, Incluindo, em alguns casos, efeitos significativos em direções opostas. As decisões sobre operacionalizações de variáveis ​​explicaram a falta de consistência nos resultados além das escolhas estatísticas (ou seja, qual análise ou covariáveis ​​usar). p "Nossos resultados ilustram a importância das escolhas analíticas e como diferentes métodos estatísticos podem levar a diferentes conclusões, "diz Martin Schweinsberg." Uma questão de pesquisa acadêmica às vezes pode ser investigada de maneiras diferentes, mesmo que as respostas sejam derivadas do mesmo conjunto de dados e por analistas sem quaisquer incentivos para encontrar um resultado específico, e esta pesquisa destaca isso. "

p Para conduzir a pesquisa, O professor Schweinsberg recrutou uma multidão de analistas de todo o mundo para testar duas hipóteses a respeito dos efeitos do gênero e do status profissional dos cientistas na participação ativa em conversas em grupo. Usando o fórum acadêmico online Edge, pesquisadores analisaram dados de discussão em grupo de discussões científicas de mais de duas décadas (1996-2014). O conjunto de dados continha mais de 3 milhões de palavras de 728 colaboradores e 150 variáveis ​​relacionadas à conversa, seus contribuintes, ou o nível textual da transcrição. Então, usando a nova plataforma DataExplained, desenvolvido pelos co-autores Michael Feldman, Nicola Staub, e Abraham Bernstein, pesquisadores analisaram os dados em R para identificar se havia uma ligação entre o gênero de um cientista ou status profissional com seus níveis de verbosidade.

p Os analistas utilizaram vários conjuntos de tamanhos de amostra, abordagens estatísticas, e covariáveis, o que levou a vários resultados diferentes em relação às hipóteses. Esse, Portanto, resultou em vários, ainda descobertas defensáveis ​​de vários analistas. Usando DataExplained, O professor Schweinsberg e colegas foram capazes de entender precisamente como essas escolhas analíticas diferiam, apesar dos dados e hipóteses serem os mesmos. Um estudo qualitativo do código R usado por analistas revelou um modelo de processo para a psicologia por trás da análise de dados.

p O professor Schweinsberg diz que seu "estudo ilustra os benefícios das práticas de ciência transparente e aberta. As escolhas analíticas subjetivas são inevitáveis, e devemos adotá-los porque uma coleção de diversos contextos analíticos e abordagens pode revelar a verdadeira consistência de uma afirmação empírica. "

p Esta pesquisa mostra o papel crítico que as decisões subjetivas do pesquisador desempenham em influenciar os resultados empíricos relatados. De acordo com os pesquisadores, essas descobertas enfatizam a importância dos dados abertos, que está publicamente disponível, verificações sistemáticas de robustez em pesquisas acadêmicas, e o máximo de transparência possível em relação aos caminhos analíticos tomados e não percorridos, a fim de garantir que a pesquisa seja o mais precisa possível. Eles também sugerem humildade ao comunicar os resultados da pesquisa e cautela ao aplicá-los à tomada de decisão organizacional.