"As últimas duas décadas viram um crescimento significativo na disseminação de ferramentas para classificar e medir o desempenho urbano (classificações, índices, etc.) nas instituições públicas e privadas que os utilizam, em resposta a diferentes tipos de pressões que encorajam a uniformidade. Naturalmente, todas essas ferramentas são úteis para orientar e avaliar as políticas implementadas pelas autoridades locais nos diversos campos de atuação, e são particularmente prolíficos na área de sustentabilidade. No entanto, há uma falta de conhecimento sobre a real base metodológica que os sustenta e que deveria legitimar seu uso, "explicou Lucía Sáez-Vegas, Ph.D. titular no Departamento de Economia Financeira da UPV / EHU II.

“Com o objetivo de analisar e avaliar a qualidade e boas práticas de medição e monitoramento urbano, e ao dedicar atenção especial aos aspectos metodológicos, pegamos centenas de ferramentas de medição e selecionamos um conjunto de 21 classificações semelhantes, índices e ferramentas projetadas para classificar e monitorar a sustentabilidade urbana (entendida em um sentido muito amplo) para que pudéssemos estudá-los em profundidade e, assim, adaptar e aplicar uma metodologia de análise testada em outro campo, o dos rankings universitários, "acrescentou o Dr. Sáez.

A importância dos aspectos metodológicos

Em cada uma das classificações semelhantes, índices e ferramentas analisados, os pesquisadores exploraram os seguintes quatro princípios principais:objetivo e grupo-alvo para o qual se dirigem; metodologia e ponderação utilizadas em seu projeto; transparência relacionada à coleta de dados e processamento de informações; e finalmente, a apresentação dos resultados. Como o Dr. Saéz explicou, "desses quatro aspectos, a informação sobre o primeiro e o último é a mais acessível, em outras palavras, as informações descritivas. Isso é especificado por todas as classificações analisadas; mas isso não acontece quando se trata de acessar todas as informações sobre os aspectos metodológicos, coleta de dados e processamento de informações; isso resulta no que é conhecido como a caixa preta, um artefato cujos resultados são estudados e disseminados sem que seu funcionamento interno seja posto em dúvida. "

Foi assim que os pesquisadores confirmaram várias fragilidades metodológicas em todos os rankings analisados. O pesquisador insiste que "ferramentas deste tipo tendem a negligenciar causalidades complexas e falta transparência no que diz respeito à coleta de dados, processo de ponderação e agregação em seu design - eles tendem a ser tendenciosos e, como resultado, tendem a ignorar cidades mal classificadas e a reforçar os estereótipos existentes. "

“A possibilidade de classificar e comparar cidades de diferentes dimensões pode ajudar a apontar aquelas que parecem ter melhor desempenho em vários aspectos urbanos. É por isso que essas ferramentas são utilizadas ocasionalmente por gestores urbanos e tomadores de decisão públicos para desenvolver um plano de ação, mesmo que seja necessário ter uma ideia clara sobre como a classificação ou índice foi elaborado, e tenha cuidado ao usá-lo, sobretudo se forem fornecidas informações insuficientes sobre os aspectos metodológicos e a robustez dos seus resultados. Entendemos que essas ferramentas devem ser utilizadas mais como fonte de informação e até inspiração, e menos como um roteiro para a ação, " ela adicionou.

“Esses rankings atraem o interesse do grande público porque medem conceitos de natureza complexa que são apresentados por meio de um ranking, geralmente de um tipo numérico, que pode ser entendido muito facilmente. Do nosso ponto de vista acadêmico, o fato de os resultados serem apresentados na forma de uma classificação final com menção às principais conclusões, mas com pouca ou nenhuma consideração pelos aspectos metodológicos que, no fim do dia, são os que sustentam a pontuação ou classificação, significa uma fraqueza clara dessas ferramentas quando usadas para medir e monitorar o desempenho urbano, "disse Sáez.