p O impacto da pesquisa é medido de diferentes maneiras. Contudo, esses indicadores são frequentemente baseados em cálculos duvidosos, diz Ludo Waltman. p Os formuladores de políticas tentam de várias maneiras avaliar o desempenho dos pesquisadores e instituições de pesquisa. Com que frequência um pesquisador é citado por colegas da área? Quão grande é o seu impacto, medido no índice h? E qual é o desempenho de uma universidade em comparação com outras instituições no país e no exterior?

p Contudo, esses indicadores e classificações são frequentemente baseados em cálculos duvidosos, diz Ludo Waltman em sua palestra inaugural. Este professor de Quantitative Science Studies argumenta que os rankings universitários combinam indicadores incompatíveis. "Esses rankings medem em parte o tamanho das universidades e em parte seus desempenhos relativos em relação ao seu tamanho. Essas perspectivas são então colocadas em uma pilha. Então ninguém realmente entende o que exatamente os rankings estão nos dizendo." Outros rankings também fazem malabarismos com os números.

p De acordo com Waltman, o perigo é que indicadores simplistas tenham um efeito negativo na política de pesquisa, por exemplo, se pesquisadores ou instituições de pesquisa são avaliados com base nesses indicadores. Ele acredita que um nível mais alto de alfabetização quantitativa é necessário para gerar mudanças. Uma melhor compreensão das análises quantitativas - bem como das conclusões a que se chega a partir dessas análises - faria um mundo de diferença.

p Waltman acredita que a pesquisa quantitativa dá muito valor à significância estatística, "O que significa que os resultados da pesquisa são apresentados de uma forma não natural, forma binária, tão significativo ou não. "Além disso, nestes cálculos, correlação é freqüentemente confundida com causalidade. Muito poderia ser ganho com o treinamento que aumenta os níveis de alfabetização quantitativa, diz Waltman. "O uso de métodos baseados em dados no contexto específico do desenvolvimento de políticas não parece receber a atenção sistemática que merece."

p "Onde quer que, possível, a política de pesquisa deve fazer uso das descobertas da ciência quantitativa, "diz Waltman em sua palestra inaugural." Mas não é realista pensar que podemos fornecer informações claras, respostas quantitativas às muitas perguntas que existem. Acho que devemos nos afastar da ideia de que podemos responder a esses tipos de perguntas complexas com um simples sim ou não. "