Esta semana, muitas universidades australianas enviarão aos acadêmicos os resultados das pesquisas de avaliação dos alunos do primeiro semestre.
Para alguns, este será um momento preocupante e desagradável. Os comentários que os estudantes universitários fazem anonimamente em suas avaliações de ensino podem deixar os acadêmicos com medo, angustiados e desmoralizados.

E com razão. Como uma pesquisa de 2021 com acadêmicos australianos e suas experiências de feedback dos alunos descobriu:“Comentários pessoalmente destrutivos, difamatórios, abusivos e prejudiciais foram comumente relatados”.

Comentários ofensivos ou abusivos podem permanecer permanentemente registrados como medida de desempenho. Esses registros podem afetar os pedidos de promoção ou de emprego continuado seguro.

Os autores da pesquisa de 2021, liderada por Richard Lakeman, da Southern Cross University, estão entre os que pedem que as pesquisas on-line anônimas sejam descartadas. Alguns acadêmicos, queimados por sua experiência de feedback dos alunos, dizem que não abrem mais nem se envolvem com os relatórios de avaliação dos alunos. Eles disseram que o risco de dano superou quaisquer benefícios.

Na série The Chair, da Netflix, uma cena memorável mostra a personagem Professora Joan Hambling queimando as avaliações de seus alunos. Claramente, uma solução diferente é necessária.

O feedback dos alunos ainda pode ser valioso para elevar os padrões de ensino e é importante que os alunos dêem sua opinião.

Desenvolvemos um sistema de triagem usando aprendizado de máquina (em que o software muda seu comportamento "aprendendo" com a entrada do usuário) que permite que os alunos falem sobre suas experiências enquanto protegem os acadêmicos de comentários inaceitáveis.

Por que uma nova abordagem é necessária

Os códigos de conduta da universidade lembram os alunos de sua obrigação geral de abster-se de comportamento abusivo ou discriminatório, mas não especificamente em relação às avaliações dos alunos.

Em vez disso, as universidades confiam na autorregulação ou em outros para relatar incidentes. Algumas instituições usam bloqueadores de palavrões para filtrar comentários. Mesmo assim, eles geralmente não conseguem detectar termos emergentes de abuso no discurso online.

Então, ao configurar nosso sistema de triagem, queríamos:

• promover o bem-estar dos funcionários e alunos
• melhorar a confiabilidade e a validade do feedback dos alunos
• melhorar a confiança na integridade dos resultados da pesquisa

Desenvolvemos um método usando aprendizado de máquina e um dicionário de termos para rastrear comentários inaceitáveis ​​de alunos. O dicionário foi criado pela QUT com base em comentários inaceitáveis ​​historicamente identificados e incorporando pesquisas anteriores sobre termos abusivos e discriminatórios.

Nossa solução 'Screenomatic'

Não há muitos trabalhos publicados sobre a detecção de comentários inaceitáveis ​​ou abusivos em pesquisas de avaliação de alunos. Então, nossa equipe adaptou pesquisas anteriores sobre a detecção de tweets misóginos. Isso funcionou porque muitas vezes os comentários dos alunos que analisamos eram semelhantes em comprimento ao limite de 280 caracteres de um tweet.

Nossa abordagem, que chamamos de "Screenomatic", revisou automaticamente mais de 100.000 comentários de alunos durante 2021 e identificou aqueles que pareciam ser abuso. Membros da equipe de avaliação treinados revisaram manualmente cerca de 7.000 comentários sinalizados, atualizando o modelo de aprendizado de máquina a cada semestre. Cada atualização melhora a precisão da detecção automática.

Por fim, 100 comentários foram removidos antes que os resultados fossem divulgados aos educadores e supervisores. A política da universidade permite que os comentários sejam reidentificados em casos de possível má conduta. A equipa central de avaliação contactou estes alunos e lembrou-os das suas obrigações ao abrigo do código de conduta.

O modelo Screenomatic pode ajudar a proteger educadores e alunos. Os funcionários são protegidos contra abusos, e os alunos em risco - que fazem comentários que indicam que precisam de ajuda de saúde mental, incluem alegações de intimidação ou assédio, ou que ameaçam funcionários ou outros alunos - podem receber apoio. As universidades podem compartilhar dados para treinar o modelo e manter a moeda.

É importante ressaltar que o processo permite que as universidades ajam moralmente para aproveitar as vozes dos alunos enquanto protegem o bem-estar das pessoas.

Feedback útil, não abuso

O número de educadores que recebem feedback abusivo pode ser relativamente pequeno. No entanto, ainda é inaceitável que as universidades continuem a expor seus funcionários a comentários ofensivos com pleno conhecimento de seu impacto potencial.

Com a decisão da Suprema Corte do ano passado sobre a responsabilidade por postagens difamatórias e tentativas de melhorar a segurança online, há um crescente reconhecimento de que as pessoas não devem poder postar mensagens anônimas e prejudiciais.

Afinal, o custo das respostas de triagem não é nada comparado ao custo para os indivíduos (incluindo saúde mental ou consequências na carreira). E isso é ignorar os custos potenciais de litígios e danos legais.

No final das contas, os comentários anônimos são lidos por pessoas reais. Como um tweet em resposta às descobertas de Lakeman observou:

O modelo Screenomatic ajuda muito a permitir que as "toneladas de feedback útil" atendam ao propósito pretendido, garantindo que as pessoas não sejam prejudicadas no processo. + Explorar mais

Feedback anônimo problemático dos alunos sobre os professores

Este artigo é republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.