p Os pesquisadores costumam ser avaliados com base em índices como os fatores de impacto das revistas científicas nas quais publicam artigos e o número de citações. Uma equipe de 14 cientistas naturais de nove países estão agora se rebelando contra esta prática, argumentando que o uso obsessivo de índices está prejudicando a qualidade da ciência. p "Nossa mensagem é bastante clara:os acadêmicos devem parar de se preocupar muito com os índices. devemos trabalhar mais na bolsa e na qualidade da pesquisa, "diz o professor Colin Chapman do Departamento de Antropologia da George Washington University em Washington.

p "A dependência exagerada de índices está tirando a atenção da qualidade da ciência. O sistema funciona muito bem para pesquisadores experientes como Colin Chapman e eu, mas os pesquisadores mais jovens e suas carreiras estão sofrendo por causa da forma como os índices são usados ​​hoje, "acrescenta o professor Nils Chr. Stenseth da Universidade de Oslo.

p Índices não medem qualidade

p Chapman e Stenseth são dois dos autores de um artigo que chama a atenção na revista científica Anais da Royal Society B , sobre os "jogos que os acadêmicos jogam" e as consequências para o futuro da academia. Um dos problemas com os índices é que as pessoas podem jogar com eles para melhorar suas pontuações, de acordo com o novo artigo.

p A base para a rebelião é que a pesquisa é uma profissão altamente competitiva, onde a avaliação desempenha um papel central. Quando uma equipe de pesquisadores - pesquisadores geralmente não trabalham sozinhos hoje em dia - fez uma nova descoberta, eles escrevem um artigo acadêmico detalhado sobre o método e os resultados. O próximo passo é enviar o artigo para uma revista científica, que pode aceitar ou rejeitar o artigo.

p Os editores da revista geralmente enviam o artigo a um pequeno grupo de especialistas científicos independentes. Com base em seus comentários, os editores decidem se o artigo deve ser aceito ou rejeitado. Os revisores e editores também podem sugerir revisões antes que o artigo seja aceito.

p Quando o artigo científico finalmente for publicado, outros pesquisadores em áreas afins podem começar a citar o artigo em seus próprios trabalhos. Um grande número de citações é freqüentemente percebido como uma medida de qualidade científica.

p O processo não está apenas bem

p Visto de fora, este processo parece bem. Mas durante os últimos 10 ou 15 anos, o processo começou a se desfazer. A qualidade da ciência tornou-se menos importante, de acordo com Chapman, Stenseth, e seus co-autores. Em vez de, a atenção geral concentra-se muito em um pequeno conjunto de índices fáceis de medir:fatores de impacto e índices h individuais, além do número de citações.

p Existem muitas revistas científicas por aí, e um punhado deles é tão prestigioso que seus nomes são conhecidos do público em geral. Os diários Natureza , Ciência , e The Lancet estão entre os mais famosos. Se um jovem cientista nas ciências naturais ou médicas pode publicar um artigo em uma dessas revistas, sua carreira pode receber um grande impulso.

p Os periódicos de maior prestígio também têm altos fatores de impacto, que são definidas como o número médio de citações por artigo publicado nos dois anos anteriores. O índice h de um pesquisador individual considera os artigos mais citados do pesquisador e o número de citações que eles receberam.

p "As pontuações para esses índices têm grandes consequências. Por exemplo, em alguns países e disciplinas, a publicação em periódicos com fatores de impacto inferiores a 5,0 é oficialmente considerada sem valor, " de acordo com Anais da Royal Society papel. Os autores também apontam que não é incomum ouvir que os únicos artigos que contam são aqueles em periódicos com fator de impacto acima de um valor arbitrário. Ou pior, que a publicação em periódicos de nível inferior enfraquece os currículos.

p Até mesmo uma falha pode criar citações

p Um problema geral é que os índices podem ser manipulados de maneiras que os tornam quase inúteis como medida de desempenho ou qualidade científica. O professor Stenseth fazia parte de um comitê de avaliação do Conselho Europeu de Pesquisa há cerca de 10 anos, e ele ainda está surpreso com a experiência.

p “Discutimos o uso de índices e logo nos dividimos em dois grupos. Na época, você teve que fazer muito trabalho manual para calcular o número de citações. Aqueles de nós que não consideraram o número de citações muito importante e, em vez disso, leram os artigos propriamente ditos, "relata o professor Stenseth.

p Aquilo se tornou um divisor de águas para Stenseth, porque os pesquisadores céticos quanto às citações logo descobriram que alguns dos artigos mais citados eram comentários. Um comentário, via de regra, não contém novas descobertas, claro.

p “Mas o pior foi que descobrimos que alguns artigos eram muito citados porque havia uma falha neles! Muitos artigos identificaram o erro no artigo, mas ainda estava listado como uma citação! Essa é uma das razões pelas quais insisto que um grande número de citações não é uma prova de excelente qualidade científica, "acrescenta Stenseth.

p Professor Chapman em Washington, conversando com o professor Stenseth em Oslo via Skype, confirma que teve experiências semelhantes.

p “É assim que o sistema funciona. Observações como essa podem parecer quase engraçadas, mas também são terríveis. E triste, "Comenta Chapman.

p Índices como medidas substitutas

p Os autores do novo Anais da Royal Society o papel não está sozinho em suas críticas. A Declaração de San Francisco sobre Avaliação de Pesquisa (DORA) originou-se de uma reunião da American Society for Cell Biology em 2012, e recomenda que os fatores de impacto do periódico não sejam usados ​​como medida substituta de um artigo de pesquisa individual, para avaliar a contribuição de um cientista individual, nem na contratação, promoção ou decisões de financiamento. Cerca de 15, 000 indivíduos e 1, 550 organizações em todo o mundo assinaram esta petição, mas a mudança ainda está por vir.

p "Mesmo que haja um extenso corpo de literatura criticando esses índices e seu uso, eles ainda estão sendo amplamente usados ​​de maneiras importantes e determinantes para a carreira. Isso precisa parar, "diz Colin Chapman.

p A ciência é fundamental

p Colin Chapman e Nils Chr. Stenseth enfatiza que a ciência e a erudição são fundamentais em uma sociedade moderna.

p "É por isso que entramos neste negócio; para descobrir coisas novas. Mas o que está acontecendo em vez disso, é que continuamos sendo esmagados pelo sistema. O sistema diz que não devemos nos preocupar em melhorar nossa ciência, em vez disso, devemos nos preocupar em aumentar nossos índices. Isso não é um incentivo para criar ciência excelente, "Chapman insiste.

p O artigo contém uma lista dos possíveis jogos que os acadêmicos podem jogar - e talvez tenham que jogar - para melhorar seus índices.

p "Um dos jogos mais comuns é escrever um artigo com uma longa lista de autores, como uma espécie de favor. A ideia é que você possa estar no meu papel, mesmo se você não fez uma contribuição real, então talvez eu possa estar no seu trabalho a seguir. Você coça minhas costas, e eu vou coçar o seu, "Chapman explica.

p Outro jogo é que os pesquisadores concordam em citar uns aos outros:"Posso citar o seu artigo se você citar o meu." Os editores organizaram até "cartéis de citações", nos quais os autores são recomendados a citar artigos de outras revistas do cartel.

p “Enviei um artigo a uma revista de ecologia aplicada há alguns anos. O artigo foi aceito, e o editor nos disse que deveríamos citar mais quatro ou cinco artigos, tudo daquele diário. Isso, é claro, aumenta o fator de impacto das revistas, porque aumenta as citações de artigos naquele periódico. Este tem sido o caso de muitos periódicos e agora é considerado uma má prática, "Stenseth explica.

p Colin Chapman e Nils Chr. Stenseth recebeu algumas reações de apoio ao seu artigo.

p "Um dos meus colegas escreveu um blog, criticando-nos por escrever algo que poderia ser desanimador para jovens cientistas. Mas o que estávamos realmente tentando fazer, foi alertar os jovens pesquisadores para o fato de que este é um sistema falho que deve ser consertado, "Contadores Chapman.

p "Minha opinião é que os índices, e a forma como são usados, desvie a atenção da ciência. Em alguns campos pequenos, que por necessidade terá um índice muito baixo, é quase impossível obter citações muito altas, mesmo que a pesquisa seja excelente e importante, "Stenseth diz.

p "Em vez de, a atenção é sobre onde seu artigo foi publicado, quantas citações gerou, e o fator de impacto do jornal, " ele adiciona.

p Os autores também têm sugestões sobre como podemos melhorar o sistema.

p "A resposta curta é que os acadêmicos devem parar de olhar para os índices e voltar a ler os jornais, "Diz Chapman. Mas os acadêmicos não podem fazer isso sozinhos, se os conselhos de pesquisa e outras agências de financiamento continuarem a usar os índices como base para as decisões sobre financiamento. Uma maneira simples de melhorar o sistema é que os conselhos de pesquisa não devem perguntar aos pesquisadores sobre o número de citações quando eles submetem uma proposta de pesquisa.

p “Gostaríamos de ver mudanças nos sistemas de incentivos, recompensando pesquisas de qualidade e garantindo transparência. O corpo docente sênior deve estabelecer os padrões éticos, práticas de mentoria e critérios de avaliação institucional para criar as mudanças necessárias, "Chapman e Stenseth insistem.

p "Esperamos iniciar uma discussão que irá moldar o futuro da academia e movê-lo em uma direção mais positiva. Os cientistas representam algumas das mentes mais criativas que podem atender às necessidades da sociedade. Agora é hora de forjar o futuro que desejamos, "concluem os 14 pesquisadores que escreveram o artigo no Anais da Royal Society .