Uma nova pesquisa da Queen Mary University of London sugere que, quando se trata de avaliações de pesquisa em grande escala, como o Research Excellence Framework (REF), as revisões por pares seriam mais econômicas se direcionadas a publicações que não aparecem em periódicos excelentes.

A pesquisa revela que a revisão por pares e a análise bibliométrica devem ser vistas como modos complementares de avaliação. Os pesquisadores sugerem que direcionar as avaliações por pares para publicações cuja qualidade não pode ser classificada de forma inequívoca por meio de análise bibliométrica seria mais eficaz para avaliar os padrões de pesquisa em universidades do Reino Unido e um melhor uso do dinheiro público.

Avaliação de pesquisas

Os pesquisadores usaram o exercício REF de 2014 do Reino Unido para estudar os atributos das publicações de melhor pontuação (quatro estrelas) em Economia e Econometria. Embora os documentos oficiais contenham pontuações agregadas para cada instituição, os pesquisadores mostram como esses agregados podem ser usados ​​para inferir a pontuação atribuída pelos painelistas do REF a cada publicação.

Os resultados demonstram que essa pontuação responde ao prestígio do jornal, conforme medido pelo Thomson Reuters Article Influence Score. Embora o uso desta métrica em particular seja justificado por suas propriedades atraentes, e por pesquisas anteriores, diferentes medidas de impacto de periódicos, como o fator de impacto, também estão em uso entre os pesquisadores.

Várias análises econométricas confirmam a contribuição limitada de outros atributos de publicação, como citações, à pontuação concedida pelos painelistas REF, e que as publicações nos principais periódicos generalistas e nos cinco principais periódicos de Economia são inequivocamente premiadas com quatro estrelas.

Implicações para avaliação futura

Os resultados têm implicações importantes para o desenho de avaliações de pesquisas futuras, além de informar a discussão sobre a rodada de 2021 do REF que está em andamento. O uso da bibliometria na avaliação de pesquisas tem sido intensamente debatido, e a regulamentação do REF depende de análises de especialistas que refletem preocupações quanto ao uso responsável de métricas.

Os resultados mostram que, pelo menos em Economia e Econometria, um índice de impacto do jornal se aproxima com precisão do julgamento dos especialistas, especialmente para resultados publicados em revistas de destaque.

Dr. Marco Ovidi, da Escola de Economia e Finanças Queen Mary, quem é co-autor do estudo, diz que sua "pesquisa revela que, em Economia e Econometria, a classificação dos resultados de pesquisa do REF 2014 feita por especialistas está muito próxima da classificação que se obteria usando um indicador bibliométrico de impacto de periódico. "

"As diferenças são particularmente pequenas para resultados de pesquisa publicados em revistas de economia de alto impacto. Nossos resultados sugerem que o processo caro de revisões por pares deve ser focado em encontrar joias ocultas em periódicos com reputação relativamente baixa, em vez de resultados superestimados em veículos de pontuação elevada. "

"Achamos que nossas descobertas devem ser do interesse dos departamentos acadêmicos e formuladores de políticas de pesquisa como as próximas avaliações de pesquisa, o 2021 REF, está à caminho."