Para ajudar estudantes universitários com dificuldades antes que seja tarde demais, cada vez mais universidades estão adotando modelos de aprendizado de máquina para identificar alunos em risco de abandono escolar.

As informações que entram nesses modelos podem ter um grande efeito em quão precisos e justos eles são, especialmente quando se trata de características protegidas do aluno, como gênero, raça e renda familiar. Mas em um novo estudo, a maior auditoria de um sistema de IA de faculdade até hoje, os pesquisadores não encontram evidências de que a remoção de características protegidas do aluno de um modelo melhore a precisão ou justiça das previsões.

Este resultado foi uma surpresa para René Kizilcec, professor assistente de ciência da informação e diretor do Future of Learning Lab.

"Esperávamos que a remoção de características sociodemográficas tornaria o modelo menos preciso, por causa de como essas características são estabelecidas no estudo do desempenho acadêmico, "disse ele." Embora achemos que adicionar esses atributos não oferece nenhuma vantagem empírica, recomendamos incluí-los no modelo, porque, no mínimo, reconhece a existência de desigualdades educacionais que ainda estão associadas a eles. "

Kizilcec é autor sênior de "Os modelos de previsão do abandono da faculdade devem incluir atributos protegidos?" a ser apresentado na conferência virtual Association for Computing Machinery on Learning at Scale, 22 a 25 de junho. O trabalho foi nomeado para o prêmio de Melhor Artigo da conferência.

Os co-autores são Hannah Lee, membros do Future of Learning Lab, estudante de mestrado na área de ciência da computação, e o autor principal Renzhe Yu, um estudante de doutorado na Universidade da Califórnia, Irvine.

Para este trabalho, Kizilcec e sua equipe examinaram dados sobre alunos em um ambiente de faculdade residencial e um programa totalmente online. A instituição em estudo é uma grande universidade pública do sudoeste dos EUA, que não é mencionado no jornal.

Ao comparar sistematicamente modelos preditivos com e sem atributos protegidos, os pesquisadores tiveram como objetivo determinar como a inclusão de atributos protegidos afeta a precisão da previsão do abandono escolar, e se a inclusão de atributos protegidos afeta a equidade da previsão do abandono escolar.

O conjunto de dados dos pesquisadores era enorme:um total de 564, 104 registros de cursos residenciais para 93, 457 alunos únicos e 2, 877 cursos exclusivos; e 81, 858 registros de cursos on-line para 24, 198 alunos únicos e 874 cursos exclusivos.

Do conjunto de dados, A equipe de Kizilcec construiu 58 recursos de identificação em quatro categorias, incluindo quatro atributos protegidos - gênero do aluno; status de faculdade de primeira geração; membro de um grupo minoritário sub-representado (definido como nem asiático nem branco); e alta necessidade financeira. Para determinar as consequências do uso de atributos protegidos para prever o abandono, os pesquisadores geraram dois conjuntos de recursos - um com atributos protegidos e outro sem.

Sua principal descoberta:a inclusão de quatro atributos protegidos importantes não tem nenhum efeito significativo em três medidas comuns de desempenho de previsão geral quando os recursos comumente usados, incluindo registros acadêmicos, já estão no modelo.

"O que importa para identificar alunos em risco já é explicado por outros atributos, "Kizilcec disse." Atributos protegidos não acrescentam muito. Pode haver uma diferença de gênero ou racial, mas sua associação com o abandono é insignificante em comparação com características como o GPA anterior. "

Dito isto, Kizilcec e sua equipe ainda defendem a inclusão de atributos protegidos na modelagem de previsão. Eles observam que os dados do ensino superior refletem desigualdades de longa data, e eles citam trabalhos recentes na comunidade mais ampla de aprendizado de máquina que apóia a noção de "justiça por meio da conscientização".

"Tem havido um trabalho mostrando que a maneira como certos atributos, como histórico acadêmico, influenciar a probabilidade de um aluno persistir na faculdade pode variar entre diferentes grupos de atributos protegidos, "disse ele." E assim, ao incluir as características dos alunos no modelo, podemos explicar essa variação em diferentes grupos de alunos. "

Os autores concluíram afirmando:"Esperamos que este estudo inspire mais pesquisadores nas comunidades de análise de aprendizagem e mineração de dados educacionais a se envolverem com questões de viés algorítmico e justiça nos modelos e sistemas que desenvolvem e avaliam."

O laboratório de Kizilcec trabalhou muito sobre justiça algorítmica na educação, que ele disse ser um tópico pouco estudado.

"Isso ocorre em parte porque os algoritmos [na educação] não são tão visíveis, e muitas vezes funcionam de maneiras diferentes em comparação com a justiça criminal ou medicina, "disse ele." Na educação, não se trata de mandar alguém para a prisão, ou sendo falsamente diagnosticado para câncer. Mas para o aluno individual, pode ser muito importante ser sinalizado como em risco. "