De acordo com os resultados das pesquisas mais recentes, a presença de hífens simples nos títulos de trabalhos acadêmicos afeta negativamente as estatísticas de citações, independentemente da qualidade dos artigos. O fenômeno se aplica a todas as principais áreas temáticas. Assim, contagem de citações e fatores de impacto do periódico, comumente usado para avaliações de professores em universidades em todo o mundo, não são confiáveis.

Essa descoberta revolucionária representa um desafio fundamental para a regra do jogo na determinação das contribuições dos artigos, jornais, e professores. É revelado em um artigo intitulado "Teste de Robustez Metamórfica:Expondo Defeitos Ocultos em Estatísticas de Citação e Fatores de Impacto de Jornal, "por Zhi Quan Zhou, º. Tse, e Matt Witheridge, publicado recentemente em Transações IEEE em Engenharia de Software , o melhor jornal da área.

º. Tse é professor honorário de ciência da computação na Universidade de Hong Kong (HKU). Zhi Quan Zhou recebeu um Ph.D. da HKU e atualmente é professor associado de engenharia de software na Universidade de Wollongong, Austrália. Matt Witheridge é um Ph.D. estudante da Universidade de Wollongong.

Scopus e Web of Science são os dois principais sistemas de indexação de citações. O Scopus fornece as estatísticas de citações para apoiar o Times Higher Education World University Rankings e o QS World University Rankings. Web of Science fornece o fator de impacto do periódico que apóia a classificação dos principais periódicos. Devido à importância desses dois sistemas de indexação, é fundamental garantir sua qualidade. Em particular, o teste de robustez refere-se à verificação da capacidade dos sistemas de lidar com entradas erradas ou situações inesperadas. Por exemplo, o sistema de indexação pode lidar com uma citação adequadamente se houver um pequeno erro de digitação ao citar o título do artigo?

O professor Tse e os membros da equipe propuseram um método inovador chamado "teste de robustez metamórfica" para verificar Scopus e Web of Science. O estudo aprofundado revelou defeitos de robustez em ambos os sistemas que podem produzir contagens de citações errôneas para artigos com hífens nos títulos, de modo que os fatores de impacto do periódico computados posteriormente são problemáticos.

Em 2015, Letchford e colegas conduziram um estudo em grande escala no Scopus, e descobriram que artigos com títulos mais curtos tendiam a ser mais citados do que aqueles com títulos mais longos.

Pelo contrário, O professor Tse e a equipe atual descobrem que, na verdade, é o número de hífens no título que funciona como o fator mais dominante para as contagens de citações. Usualmente, o número de hifens é correlacionado ao tamanho do título de um artigo, dando assim a má interpretação de que as contagens de citações dependem do tamanho do título.

As práticas de citação variam entre as áreas temáticas. Publicações em certos campos podem ter contagens de citações sistematicamente mais altas do que em outros campos. Por exemplo, pode-se argumentar que os artigos em química (onde os títulos dos artigos muitas vezes carregam hifens como parte da nomenclatura química) recebem apenas um número relativamente limitado de citações, dando origem a uma correlação negativa espúria entre hifens e citações. Portanto, a equipe realizou estudos focados em periódicos em áreas temáticas específicas. Os resultados indicaram que os hífens afetam negativamente a contagem de citações dos artigos, mesmo que o estudo seja limitado apenas a alguma disciplina específica.

Para desenvolver as descobertas nos níveis de artigo e disciplina, a equipe investigou o impacto dos hifens nos títulos dos jornais no nível do periódico. O fator de impacto do periódico (JIF) é uma métrica comum para determinar a frequência de citação de um periódico acadêmico. É freqüentemente usado para representar a importância relativa de um periódico em sua área. Um estudo de campo de engenharia de software revela que os periódicos com maior classificação JIF estão publicando uma porcentagem menor de artigos com títulos hifenizados.

A equipe conduziu ainda uma análise da validade da pesquisa para evitar cair na armadilha de igualar correlação com causalidade.

"Nossos resultados questionam a crença comum da academia, governos, e os órgãos de financiamento que contam com citações são uma medida confiável das contribuições e da importância dos artigos. Na verdade, eles podem ser distorcidos simplesmente pela presença de hífens nos títulos dos artigos, que não tem relação com a qualidade da pesquisa. De forma similar, nossos resultados também desafiam a validade dos fatores de impacto do periódico, "disse o professor Tse.

"Esses resultados surpreendentes não interessam apenas a professores que buscam estabilidade ou promoção, mas também para a alta administração, como presidentes, reitores, e cabeças. Eles são aplicáveis ​​a todas as faculdades de qualquer universidade, " ele adicionou.