Os pesquisadores da Carnegie Mellon University estão desafiando uma suposição de longa data de que há uma troca entre precisão e justiça ao usar o aprendizado de máquina para tomar decisões de políticas públicas.
À medida que o uso de aprendizado de máquina aumentou em áreas como justiça criminal, contratação, prestação de serviços de saúde e intervenções de serviços sociais, aumentaram as preocupações sobre se esses aplicativos introduzem novas ou amplificam desigualdades existentes, especialmente entre minorias raciais e pessoas com desvantagens econômicas. Para se proteger contra esse viés, são feitos ajustes nos dados, rótulos, treinamento de modelo, sistemas de pontuação e outros aspectos do sistema de aprendizado de máquina. A suposição teórica subjacente é que esses ajustes tornam o sistema menos preciso.

Uma equipe da CMU pretende dissipar essa suposição em um novo estudo, publicado recentemente na Nature Machine Intelligence . Rayid Ghani, professor do Departamento de Aprendizado de Máquina da Escola de Ciência da Computação e da Faculdade Heinz de Sistemas de Informação e Políticas Públicas; Kit Rodolfa, pesquisador do ML; e Hemank Lamba, pesquisador de pós-doutorado em SCS, testaram essa suposição em aplicações do mundo real e descobriram que a troca era insignificante na prática em vários domínios de políticas.

"Você realmente pode obter os dois. Você não precisa sacrificar a precisão para construir sistemas que sejam justos e equitativos", disse Ghani. "Mas exige que você projete deliberadamente sistemas para serem justos e equitativos. Sistemas prontos para uso não funcionarão."

Ghani e Rodolfa se concentraram em situações em que os recursos sob demanda são limitados e os sistemas de aprendizado de máquina são usados ​​para ajudar a alocar esses recursos. Os pesquisadores analisaram os sistemas em quatro áreas:priorizando o alcance limitado dos cuidados de saúde mental com base no risco de uma pessoa retornar à prisão para reduzir o reencarceramento; prever graves violações de segurança para melhor implantar os limitados inspetores habitacionais de uma cidade; modelar o risco de alunos não concluírem o ensino médio a tempo para identificar aqueles que mais precisam de apoio adicional; e ajudar os professores a atingir as metas de financiamento coletivo para as necessidades da sala de aula.

Em cada contexto, os pesquisadores descobriram que os modelos otimizados para precisão – prática padrão para aprendizado de máquina – podiam prever efetivamente os resultados de interesse, mas exibiam disparidades consideráveis ​​nas recomendações para intervenções. No entanto, quando os pesquisadores aplicaram ajustes nas saídas dos modelos que visavam melhorar sua imparcialidade, descobriram que as disparidades baseadas em raça, idade ou renda – dependendo da situação – poderiam ser removidas sem perda de precisão.

Ghani e Rodolfa esperam que esta pesquisa comece a mudar as mentes de colegas pesquisadores e formuladores de políticas à medida que consideram o uso de aprendizado de máquina na tomada de decisões.

“Queremos que as comunidades de inteligência artificial, ciência da computação e aprendizado de máquina parem de aceitar essa suposição de troca entre precisão e justiça e comecem a projetar intencionalmente sistemas que maximizem ambos”, disse Rodolfa. “Esperamos que os formuladores de políticas adotem o aprendizado de máquina como uma ferramenta em sua tomada de decisão para ajudá-los a alcançar resultados equitativos”.