Massa da citação em relação aos anos desde a primeira publicação. Relação entre a massa de citações de um pesquisador e loge anos desde a primeira publicação revisada por pares para oito disciplinas Compreendendo 60 pesquisadores cada em três diferentes estágios de carreira:pesquisador em início de carreira (ECR), pesquisador em meio de carreira (MCR), e pesquisador em final de carreira (LCR). As linhas ajustadas correspondem a toda a amostra (preto sólido), apenas mulheres (tracejado preto), e apenas homens (tracejado em vermelho). Crédito:Professor Corey Bradshaw na Flinders University, PLOS ONE .
h -índice, g -índice, eu Índice 10, m -quociente, Fator de impacto do jornal, Altmetria ... há muito tempo é uma questão intratável que assola a comunidade de pesquisa - como avaliar os méritos relativos da pesquisa objetivamente entre as disciplinas e fazer comparações justas entre o início da carreira e pesquisadores estabelecidos, gêneros diferentes, e até mesmo diferentes disciplinas de pesquisa.
Agora, O ecologista da Flinders University, Professor Corey Bradshaw, e colegas desenvolveram uma ferramenta para avaliar o desempenho da pesquisa de forma mais justa; um que irá nivelar o campo de jogo não apenas entre as disciplinas, mas através de caminhos de gênero e carreira, engomar as rugas para interrupções como a licença maternidade.
Chamou o Índice Epsilon , nomeado para a letra grega ε usado para simbolizar resíduos nas estatísticas, leva em consideração as muitas diferenças no espaço de pesquisa para fornecer uma comparação mais justa.
Um especialista em estatísticas confesso, O professor Bradshaw publicou o funcionamento do ε-index no jornal de acesso aberto PLoS One .
'Um dos desafios permanentes para os pesquisadores é a busca para medir a quantidade e a qualidade de sua produção de forma justa, 'Professor Bradshaw diz.
"Não há um processo direto para comparar os pontos fortes relativos dos pesquisadores em disciplinas distintas - alguns apenas tendem a ter menos citações do que outros.
'Então há gênero. Publicações de pesquisas para mulheres podem diminuir durante a licença maternidade, por exemplo, afetando o desempenho percebido, mesmo que sua habilidade - e sua pesquisa - não seja menos brilhante. As mulheres também tendem a não ter as mesmas oportunidades que os homens até hoje, portanto, eles são classificados injustamente em relação aos homens para a maioria das métricas existentes.
Painel esquerdo:Distribuição dos resíduos dentro da disciplina da relação entre Arel e anos de publicação por disciplina (ARC =arqueologia, CHM =química, ECO =ecologia, EVO =evolução e desenvolvimento, GEO =geologia, MIC =microbiologia, OPH =oftalmologia, PAL =paleontologia), cada um compreendendo 60 pesquisadores (30 ♀, 30 ♂). Painel direito:Distribuição dos resíduos entre as disciplinas. Crédito:Professor Corey Bradshaw na Flinders University.
'Onde os pesquisadores estão em suas carreiras, sejam eles empolgantes recém-chegados ou professores ilustres, também pode ter um forte efeito nas métricas atuais.
'O Índice Epsilon é uma nova maneira de reduzir vieses sistêmicos na avaliação da qualidade do pesquisador por meio de citações, fornecendo estágio de carreira, Gênero sexual, e correções de oportunidade para métricas de desempenho baseadas em citações, ' ele diz.
A ferramenta está disponível gratuitamente como um aplicativo pronto - basta inserir alguns dados para uma amostra de pesquisadores de bancos de dados de código aberto como o Google Scholar, e faz o trabalho pesado para produzir o resultado, possibilitando a comparação de pesquisadores em qualquer estágio de sua carreira e de qualquer disciplina na mesma escala.
É uma bênção para quem deseja usar uma métrica objetiva para classificar pesquisadores, seja para pedidos de subsídios, entrevista de emprego, promoções e prêmios, ou mesmo como indicador de desempenho da equipe.
Relação entre massa de citações em escala e anos de publicação loge (para 480 pesquisadores em oito disciplinas diferentes (ARC =arqueologia, CHM =química, ECO =ecologia, EVO =evolução e desenvolvimento, GEO =geologia, MIC =microbiologia, OPH =oftalmologia, PAL =paleontologia) composta por 60 pesquisadores cada. Crédito:Professor Corey Bradshaw na Flinders University.
A abordagem para desenvolver e testar o ε-index foi em si um exercício de multidisciplinaridade e especificamente projetado para garantir o equilíbrio de gênero.
A ferramenta foi testada e refinada por meio da colaboração em dados de amostra com um arqueólogo - Professor Assistente Dr. Stefani Crabtree (Utah State University / Santa Fe Institute), geóloga e paleontóloga vertebrada - Professora Kate Trinajstic (Curtin University), um químico - Professor Justin Chalker, um microbiologista - Professor Bart Eijkelkamp, um paleontólogo - Professor John Long, uma oftalmologista - Professora Justine Smith, e uma bióloga evolucionista - Professora Vera Weisbecker (todos da Flinders University).
A amostra foi composta por 480 pesquisadores com perfis do Google Scholar, estratificado uniformemente em oito disciplinas (arqueologia, química, ecologia, evolução e desenvolvimento, geologia, microbiologia, oftalmologia, paleontologia), três estágios da carreira (início, meio-, final de carreira), e dois gêneros.
Professora Justine Smith, que tem sido uma 'estrela de STEM' promovendo ativamente o envolvimento das mulheres na ciência, tecnologia, engenharia e matemática, espera que o ε-index fará a diferença em como as mulheres na ciência são vistas, e, por sua vez, encoraja mais mulheres a entrar nas ciências.
'Avaliar com mais precisão a contribuição das mulheres para as ciências e celebrar seus sucessos é fundamental para encorajar as futuras gerações de meninas nas ciências; como diz o ditado, "você não pode ser o que você não pode ver". o ε-index dá uma visibilidade mais justa e maior às conquistas das mulheres, e que isso ocorre em uma série de disciplinas, é especialmente benéfico, 'Professor Smith diz.
Parcelas de violino de resíduos em escala e quociente-m em todas as oito disciplinas em relação ao estágio de carreira (ECR =início da carreira; MCR =meio da carreira; LCR =final da carreira). Crédito:Professor Corey Bradshaw
Como funciona
O novo índice é um algoritmo de classificação que pode ser padronizado entre as disciplinas, pode ser corrigido para interrupções de carreira, e fornece um limite específico de amostra que pode determinar se o desempenho individual é maior ou menor do que o esperado em relação aos outros pesquisadores em uma amostra.
Usando o código R ou o aplicativo online, requer apenas quatro itens de informação de bancos de dados públicos, como Google Scholar ou Scopus para calcular ε -índice:
A ferramenta também fornece um método simples para dimensionar o índice entre disciplinas com tendências de citação variáveis ( ε ′ -Index) para permitir uma comparação mais justa de pesquisadores em diferentes áreas.
Classificações medianas entre as oito disciplinas examinadas (ARC =arqueologia, CHM =química, ECO =ecologia, EVO =evolução e desenvolvimento, GEO =geologia, MIC =microbiologia, OPH =oftalmologia, PAL =paleontologia). Crédito:Professor Corey Bradshaw
Classifica por gênero e estágio de carreira (ECR =pesquisador em início de carreira, MCR =pesquisador em meio de carreira, LCR =pesquisador em final de carreira); (b) bootstrapped desviado (ou seja, calcular os resíduos escalonados para cada gênero separadamente, e, em seguida, classificando o conjunto de dados combinado) ε ′ classifica por gênero e estágio de carreira. Crédito:Professor Corey Bradshaw
o ε -index permite facilmente o benchmarking de subconjuntos de pesquisadores somente para mulheres ou somente para homens para ajustar o limite de forma que as classificações sejam mais comparáveis entre esses dois gêneros. Alternativamente, dividir os gêneros e compará-los separadamente, seguido por uma reclassificação combinada, remove efetivamente o preconceito de gênero no ε -índice, o que é difícil ou impossível de fazer com outras métricas de classificação.
'Nenhuma métrica de classificação é perfeita, mas o ε-index é um grande salto para superar o preconceito e dar uma ideia mais clara, imagem mais justa do desempenho da pesquisa em toda a linha, 'Professor Bradshaw diz.
