A raiva e a confusão seguiram-se ao lançamento dos resultados da Scottish Qualification Agency (SQA) deste ano, a primeira das nações do Reino Unido a publicar resultados escolares após o COVID-19. Cerca de um quarto das notas recomendadas pelo professor foram alteradas:a maioria foi rebaixada, e isso era mais provável de acontecer com alunos de áreas mais pobres. Essa polêmica mostra que a avaliação não é neutra:o sistema de avaliação pode beneficiar alguns grupos de alunos em detrimento de outros e requer mais do que processos técnicos para garantir a justiça.

Embora o governo escocês inicialmente defendesse os resultados em nome da manutenção dos padrões, eles estão certos por terem reconhecido agora que a abordagem era muito tecnocrática e quebrou um elo essencial entre o que um aluno realmente fez e a nota que recebeu - que é o significado genuíno dos padrões. Mas esse problema não é novo nos resultados deste ano.

Como funciona a avaliação

Para entender os pontos fortes e fracos da abordagem SQA inicial, precisamos comparar duas abordagens diferentes de avaliação:baseada em normas e baseada em critérios. Na avaliação baseada em critérios, o trabalho dos alunos é avaliado em relação a critérios específicos, como força de argumento, qualidade da pesquisa ou clareza de expressão. Todos os alunos são avaliados de acordo com os mesmos critérios.

O número de As em um ano pode diminuir ou aumentar, e subir não significa necessariamente a temida "inflação das notas - em que aumentos nas notas significam uma redução nos padrões. Uma grande variação pode ser improvável, mas não impossível - e a variação em si não deve ser vista como um problema. Classificação baseada em critérios é considerado apenas porque mantém uma ligação entre o que o aluno realmente fez, os critérios de classificação e a classificação que recebem.

Na avaliação baseada em normas, os resultados dependem da comparação dos alunos em uma forma de classificação:quanto mais alta for a sua classificação, maior será a sua marca. Exatamente o mesmo trabalho poderia obter um A em um ano e um C em outro ano, dependendo do desempenho de outros alunos, ao invés da qualidade do trabalho. No passado, havia até uma porcentagem fixa de notas a cada ano.

Avaliação em 2020

Quando os exames finais deste ano foram cancelados, o SQA pediu aos professores que fizessem julgamentos com base em uma série de fontes, incluindo exames preliminares, trabalho de classe, trabalho prático, testes em sala de aula e trabalhos de casa. O objetivo era obter uma noção ampla do nível de aprendizagem dos alunos.

Contanto que os professores tivessem critérios comuns para os níveis de escolaridade, esse sistema tinha muitas vantagens em comparação com os exames tradicionais. Os professores também foram incentivados a falar uns com os outros sobre seus julgamentos. Esta forma de tomada de decisão conjunta usando critérios contribui para resultados de avaliação mais justos e robustos.

A polêmica se refere a algo chamado "moderação", que visa verificar a qualidade, padrões e consistência, ajustar as pontuações iniciais de uma ampla gama de marcadores.

Os problemas surgem quando a moderação tenta padronizar grandes grupos, como em todo um país, e faz isso usando abordagens baseadas em normas, prejudicando assim os princípios da marcação baseada em critérios. A moderação baseada em normas é administrativamente conveniente, mas educacionalmente inadequada.

Foi com moderação que um quarto dos alunos teve suas notas alteradas. O governo escocês disse inicialmente que, sem moderação, a extensão do aumento nas notas entre os alunos desfavorecidos não seria considerada confiável. Para moderar os resultados, o SQA usou uma variedade de mecanismos, incluindo a comparação dos alunos deste ano com o desempenho médio em suas escolas nos anos anteriores. Se a variação foi considerada muito grande, os resultados foram ajustados para baixo usando classificações fornecidas pelos professores.

Uma vez que a nota do aluno é decidida com referência aos seus colegas ou alunos anteriores, esta é uma marcação baseada em normas. Isso quebra o elo fundamental entre o que o aluno realmente fez, os critérios e a marca que eles merecem.

Sistema baseado em padrões

Versões de moderação baseada em normas acontecem há décadas, em todas as partes do Reino Unido e sob governos de todas as convicções.

O SQA tem vários procedimentos sofisticados para diminuir a injustiça, mas o problema continua sendo que o sistema há muito associado aos padrões de proteção no Reino Unido usa expectativas baseadas em normas. A pressão para fazer isso geralmente vem de universidades e empregadores que desejam usar notas para facilitar a seleção entre os alunos:mas é esse o propósito da escolaridade ou da avaliação da aprendizagem dos alunos?

A abordagem inicialmente adotada neste ano também foi falha porque o SQA não estava comparando semelhante com semelhante. Os resultados do ano anterior foram baseados fortemente em um final, exame tradicional, o que é muito diferente da ampla gama de itens que os professores usaram para fazer julgamentos este ano. Há evidências de que as abordagens tradicionais de educação e avaliação prejudicam os alunos da classe trabalhadora. O aumento nas notas pré-moderadas dos alunos mais pobres pode não faltar credibilidade - mas pode mostrar que as abordagens de avaliação em que confiamos durante anos foram injustas e não têm credibilidade.

Assumindo a liderança da abordagem recomendada da SQA de julgamentos feitos por meio de discussões profissionais, esforço deveria ter sido feito para voltar às escolas:qualquer moderação só pode ser baseada em evidências de diferentes interpretações de critérios.

Seria demorado para professores e funcionários da SQA, mas considere os benefícios finais em termos de rigor, avaliação confiável e justa que moldará o futuro de uma geração. O mais importante é que não quebremos por nenhum motivo o vínculo entre o trabalho do aluno, os critérios e sua marca.

A controvérsia, e a mudança de atitude do governo escocês, reforçam a necessidade de explorar os fundamentos do que chamamos de padrões para que defendê-los não seja simplesmente uma justificativa para o status quo. Os resultados deste ano na Escócia não são necessariamente mais ou menos justos do que nos anos anteriores, mas provavelmente injusto de novas maneiras:COVID-19 lançou uma luz sobre o problema maior de justiça e avaliação.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.