A justiça algorítmica é cada vez mais importante porque quanto mais decisões de maior importância são feitas por programas de computador, o potencial de danos aumenta. Hoje, algoritmos já são amplamente usados ​​para determinar a pontuação de crédito, o que pode significar a diferença entre possuir uma casa e alugar uma. E eles são usados ​​no policiamento preditivo, o que sugere uma probabilidade de que um crime será cometido, e ao marcar a probabilidade de um criminoso cometer outro crime no futuro, que influencia a severidade da sentença.

Isso é um problema, diz Adam Smith, professor de ciência da computação na Universidade de Boston, porque o design de muitos algoritmos está longe de ser transparente.

"Muitos desses sistemas são projetados por empresas privadas e seus detalhes são proprietários, "diz Smith, que também é membro do corpo docente de ciência de dados no Hariri Institute for Computing. "É difícil saber o que estão fazendo e quem é o responsável pelas decisões que tomam."

Recentemente, Smith e uma equipe conjunta de cientistas da computação BU-MIT reexaminaram esse problema, na esperança de aprender o que, se alguma coisa, pode ser feito para entender e minimizar o preconceito de sistemas de tomada de decisão que dependem de programas de computador.

Os pesquisadores da BU - Smith, Ran Canetti, professor de ciência da computação e diretor do Centro de Sistemas de Informação Confiáveis ​​e Segurança Cibernética do Instituto Hariri, e Sarah Scheffler (GRS'21), um candidato ao doutorado em ciência da computação - estão trabalhando com o MIT Ph.D. alunos Aloni Cohen, Nishanth Dikkala, e Govind Ramnarayan para projetar sistemas cujas decisões sobre todos os subconjuntos da população sejam igualmente precisas.

Seu trabalho foi recentemente aceito para publicação na conferência Association for Computing Machinery de 2019 sobre justiça, Prestação de contas, e transparência, apelidado de "ACM FAT".

Os pesquisadores acreditam que um sistema que discrimina pessoas que tiveram dificuldade em estabelecer um histórico de crédito vai perpetuar essa dificuldade, limitação de oportunidades para um subconjunto da população e preservação das desigualdades existentes. O que isso significa, eles dizem, é que sistemas de classificação automatizados podem facilmente se tornar profecias autorrealizáveis, se eles estão classificando a probabilidade de inadimplência em uma hipoteca ou a qualidade de uma educação universitária.

"Os sistemas automatizados estão cada vez mais complexos, e muitas vezes são difíceis de entender para os leigos e para as pessoas sobre as quais as decisões estão sendo tomadas, "Smith diz.

O problema das previsões autorrealizáveis

"A interação entre o algoritmo e o comportamento humano é tal que, se você criar um algoritmo e deixá-lo funcionar, pode criar uma sociedade diferente porque os humanos interagem com ela, "diz Canetti." Portanto, você tem que ter muito cuidado como você projeta o algoritmo. "

Esse problema, os pesquisadores dizem, ficará pior à medida que algoritmos futuros usarem mais resultados de algoritmos anteriores como entradas.

"Assim que você tiver o mesmo programa de computador tomando muitas decisões, quaisquer vieses existentes são reproduzidos muitas vezes em uma escala maior, "Smith diz." Você tem o potencial para uma ampla mudança social causada por um programa de computador. "

Mas como exatamente pode um algoritmo, que é basicamente uma função matemática, ser tendencioso?

Scheffler sugere duas maneiras:"Uma maneira é com dados tendenciosos, "ela diz." Se o seu algoritmo é baseado em dados históricos, logo aprenderá que determinada instituição prefere aceitar homens em vez de mulheres. Outra forma é que existem diferentes precisões em diferentes partes da população, então, talvez um algoritmo seja realmente bom para descobrir se os brancos merecem um empréstimo, mas pode ter uma alta taxa de erro para pessoas que não são brancas. Pode ter 90 por cento de precisão em um conjunto da população e 50 por cento em outro conjunto. "

"É para isso que estamos olhando, "diz Smith." Estamos perguntando 'Como o sistema está cometendo erros?' e 'Como esses erros estão espalhados por diferentes partes da população?' "

O impacto do viés algorítmico no mundo real

Em maio de 2016, repórteres da ProPublica, uma redação investigativa sem fins lucrativos, examinou a precisão do COMPAS, uma das várias ferramentas algorítmicas usadas pelos sistemas judiciais para prever a reincidência, ou a probabilidade de um réu cometer outro crime. As descobertas iniciais não foram tranquilizadoras.

Quando os pesquisadores do ProPublica compararam o risco previsto de reincidência da ferramenta com as taxas reais de reincidência nos dois anos seguintes, eles descobriram isso, em geral, O COMPAS acertou 61 por cento das vezes. Eles também descobriram que as previsões de reincidência violenta estavam corretas apenas 20% das vezes.

Mais preocupante, eles descobriram que réus negros eram muito mais prováveis ​​do que réus brancos de serem incorretamente considerados mais propensos a cometer crimes novamente, e os réus brancos tinham mais probabilidade do que os réus negros de serem incorretamente considerados de baixo risco de reincidência. De acordo com o artigo da ProPublica, esta foi uma demonstração clara de viés do algoritmo.

Em resposta, Northpointe Inc., o criador do COMPAS, publicou outro estudo que argumentou que o algoritmo COMPAS é de fato justo de acordo com uma medida estatística diferente de viés:calibração. O software da Northpointe é amplamente utilizado, e como muitas ferramentas algorítmicas, seus cálculos são proprietários, mas a empresa disse à ProPublica que sua fórmula para prever quem vai reincidir é derivada de respostas a 137 perguntas cujas respostas vêm de réus ou de registros criminais.

O estudo de Northpointe descobriu que para cada pontuação de risco, a fração de réus brancos que receberam essa pontuação e reincidiram (de todos os réus brancos que receberam essa pontuação) é aproximadamente igual à fração de réus negros que receberam essa pontuação e reincidiram, de todos os réus negros que receberam essa pontuação.

"A ProPublica e a Northpointe chegaram a conclusões diferentes em suas análises sobre a imparcialidade do COMPAS. No entanto, ambos os métodos eram matematicamente corretos - a oposição estava em suas diferentes definições de justiça, "Scheffler diz.

O resultado final é que qualquer mecanismo de previsão imperfeito (algorítmico ou humano) será enviesado de acordo com pelo menos uma das duas abordagens:a abordagem de equilíbrio de erros usada pela ProPublica, e o método de calibração preferido por Northpointe.

Superando o viés algorítmico

Quando se trata de resolver o problema de viés algorítmico, a equipe de pesquisa BU-MIT criou um método para identificar o subconjunto da população que o sistema falha em julgar de forma justa, e enviar sua revisão para um sistema diferente que é menos provável de ser tendencioso. Essa separação garante que o método erre de maneiras mais equilibradas em relação aos indivíduos por quem toma uma decisão.

E embora os pesquisadores tenham encontrado muitas situações em que essa solução parecia funcionar bem, eles continuam preocupados sobre como os diferentes sistemas funcionariam juntos. "Existem muitas medidas diferentes de justiça, "diz Scheffler, "e há trade-offs entre eles. Então, até que ponto os dois sistemas são compatíveis com a noção de justiça que queremos alcançar?"

"O que acontece com aquelas pessoas cujas decisões seriam adiadas realmente influencia a forma como vemos o sistema como um todo, "diz Smith." Neste ponto, ainda estamos tentando entender o que as diferentes soluções significariam. "

Ainda, diz Canetti, a pesquisa aponta para uma possível saída do enigma do viés estatístico, um que poderia permitir o projeto de algoritmos que minimizassem o viés. Esse desafio, ele diz, exigirá experiência de muitas disciplinas.