p No início deste ano, O médico e microbiologista francês Didier Raoult gerou um alvoroço na mídia sobre sua promoção controversa da hidroxicloroquina para o tratamento de COVID-19. O pesquisador há muito aponta sua crescente lista de publicações e alto número de citações como uma indicação de sua contribuição para a ciência, tudo resumido em seu "índice h". p A controvérsia sobre sua pesquisa recente apresenta uma oportunidade para examinar os pontos fracos do índice h, uma métrica que visa quantificar a produtividade e o impacto de um pesquisador, usado por muitas organizações para avaliar pesquisadores para promoções ou financiamento de projetos de pesquisa.

p Inventado em 2005 pelo físico americano John Hirsch, o índice Hirsch ou índice h, é uma referência essencial para muitos pesquisadores e gestores no meio acadêmico. É particularmente promovido e usado nas ciências biomédicas, um campo onde o grande número de publicações torna quase impossível qualquer avaliação qualitativa séria do trabalho dos pesquisadores. Esse suposto indicador de qualidade tornou-se um espelho diante do qual os pesquisadores se admiram ou zombam do lamentável índice h de seus colegas e rivais.

p Embora especialistas em bibliometria - um ramo da biblioteca e ciências da informação que usa métodos estatísticos para analisar publicações - tenham apontado rapidamente a natureza duvidosa deste indicador composto, a maioria dos pesquisadores nem sempre parece compreender que suas propriedades o tornam um índice longe de ser válido para avaliar séria e eticamente a qualidade ou o impacto científico das publicações.

p Os promotores do índice h cometem um erro elementar de lógica. Eles afirmam que, como os vencedores do Prêmio Nobel geralmente têm um alto índice h, a medida é um indicador válido da qualidade individual dos pesquisadores. Contudo, se um alto índice h pode de fato ser associado a um ganhador do Prêmio Nobel, isso de forma alguma prova que um índice h baixo esteja necessariamente associado a um pesquisador em situação precária.

p De fato, um índice h aparentemente baixo pode esconder um alto impacto científico, pelo menos se aceitarmos que a unidade de medida usual para a visibilidade científica se reflete no número de citações recebidas.

p Limites do índice h

p Definido como o número de artigos N por um autor que recebeu cada um pelo menos N citações, o índice h é limitado pelo número total de artigos publicados. Por exemplo, se uma pessoa tem 20 artigos que são citados 100 vezes cada, seu índice h é 20 - assim como uma pessoa que também tem 20 artigos, mas cada citado apenas 20 vezes. Mas nenhum pesquisador sério diria que os dois são iguais porque seu índice h é o mesmo.

p O mais irônico na história do índice h é que seu inventor queria se opor à afirmação de que o número de artigos publicados representava o impacto de um pesquisador. Então, ele incluiu o número de citações que os artigos receberam.

p Mas acontece que o índice h de um autor está fortemente correlacionado (até cerca de 0,9) com seu número total de publicações. Em outras palavras, é o número de publicações que impulsiona o índice mais do que o número de citações, um indicador que continua a ser a melhor medida da visibilidade das publicações científicas.

p Tudo isso é bem conhecido por especialistas em bibliometria, mas talvez menos para pesquisadores, gerentes e jornalistas que se deixam impressionar por cientistas exibindo seu índice-h.

p Raoult vs. Einstein

p Em uma recente investigação sobre as atividades de pesquisa de Raoult pelo jornal francês Médiapart , um pesquisador que havia sido membro do comitê de avaliação do laboratório de Raoult disse:"O que a impressionou foi a obsessão de Didier Raoult por suas publicações. Poucos minutos antes do início da avaliação de sua unidade, a primeira coisa que ele mostrou a ela em seu computador foi seu índice H. "Raoult também disse em Le Point revista em 2015 que “era necessário contabilizar o número e o impacto das publicações dos investigadores para avaliar a qualidade do seu trabalho”.

p Então, vamos dar uma olhada no índice h de Raoult e ver como ele se compara a, dizer, a de um pesquisador que é considerado o maior cientista do século passado:Albert Einstein.

p No banco de dados Web of Science, Raoult tem 2, 053 artigos publicados entre 1979 e 2018, tendo recebido um total de 72, 847 citações. Seu índice h calculado a partir desses dois números é 120. Nós sabemos, Contudo, que o valor desse índice pode ser artificialmente inflado por meio de autocitações do autor - quando um autor cita seus próprios artigos anteriores. A base de dados indica que entre o total de citações atribuídas aos artigos em co-autoria de Raoult, 18, 145 vêm de artigos dos quais é co-autor. Essas autocitações totalizam 25%. Subtraindo estes, O índice h de Raoult cai 13 por cento para um valor de 104.

p Agora, vamos examinar o caso de Einstein, que tem 147 artigos listados no banco de dados Web of Science entre 1901 e 1955, o ano de sua morte. Por seus 147 artigos, Einstein recebeu 1, 564 citações durante sua vida. Deste número total de citações, apenas 27, ou apenas 1,7 por cento, são autocitações. Agora, se adicionarmos as citações feitas a seus artigos após sua morte, Einstein recebeu um total de 28, 404 citações entre 1901 e 2019, o que dá a ele um índice h de 56.

p Se tivermos que confiar na chamada medição "objetiva" fornecida pelo índice h, somos então forçados a concluir que o trabalho de Raoult tem duas vezes o impacto científico do de Einstein, o pai do fóton, relatividades restritas e gerais, a condensação de Bose-Einstein e do fenômeno da emissão estimulada na origem dos lasers.

p Ou talvez seja mais simples (e melhor) de concluir, como já sugerido, que este indicador é falso?

p Ressalta-se a diferença significativa no número total de citações recebidas por cada um desses pesquisadores ao longo de suas carreiras. Eles obviamente estiveram ativos em momentos muito diferentes, e o tamanho das comunidades científicas, e, portanto, o número de potenciais autores citando, cresceram consideravelmente na última metade do século.

p As diferenças disciplinares e os padrões de colaboração também devem ser levados em consideração. Por exemplo, a física teórica tem muito menos contribuintes do que a microbiologia, e o número de coautores por artigo é menor, que afeta a medida da produtividade e do impacto dos pesquisadores.

p Finalmente, é importante notar que a afirmação:"O índice h da pessoa P é X, " não tem significado, porque o valor do índice depende do conteúdo da base de dados utilizada para seu cálculo. Em vez disso, devemos dizer:"O índice h da pessoa P é X, no banco de dados Z. "Portanto, de acordo com o banco de dados Web of Science, que contém apenas periódicos considerados sérios e bastante visíveis no campo científico, o índice h de Raoult é 120. Por outro lado, no banco de dados gratuito e, portanto, facilmente acessível do Google Scholar, seu índice h - o mais repetido na mídia - sobe para 179.

p Fetichismo numérico

p Muitas comunidades científicas adoram o índice h e esse fetichismo pode ter consequências prejudiciais para a pesquisa científica. França, por exemplo, usa um Système d'interrogation, de gestion et d'analyse des Publicações Científicas para conceder fundos de pesquisa para seus laboratórios de ciências biomédicas. É baseado no número de artigos que publicam nos chamados periódicos de alto fator de impacto. Conforme relatado pelo jornal Le Parisien , o ritmo frenético das publicações de Raoult permite que sua instituição de origem ganhe entre 3, 600 e 14, 400 euros anuais por cada artigo publicado pela sua equipa.

p O bom senso deve nos ensinar a ser cautelosos com indicadores simplistas e unidimensionais. Diminuir o ritmo enlouquecedor das publicações científicas certamente levaria os pesquisadores a perder o interesse pelo índice h. Mais importante, abandoná-lo contribuiria para a produção de artigos científicos em menor número, mas certamente mais robusto. p Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.