Nossas vidas são cada vez mais afetadas por algoritmos. As pessoas podem ter empréstimos negados, empregos, apólices de seguro, ou mesmo liberdade condicional com base nas pontuações de risco que eles produzem.

No entanto, os algoritmos são notoriamente sujeitos a vieses. Por exemplo, os algoritmos usados ​​para avaliar o risco de reincidência criminal geralmente apresentam taxas de erro mais altas em grupos éticos minoritários. Como a ProPublica descobriu, o algoritmo COMPAS - amplamente usado para prever reincidência no sistema de justiça criminal dos EUA - teve uma taxa de falsos positivos mais alta em negros do que em brancos; os negros eram mais propensos a serem erroneamente previstos para reincidir.

Descobertas como essas levaram alguns a alegar que os algoritmos são injustos ou discriminatórios. Em resposta, Os pesquisadores de IA têm procurado produzir algoritmos que evitam, ou pelo menos minimizar, injustiça, por exemplo, ao igualar as taxas de falsos positivos entre os grupos raciais. Recentemente, um grupo do MIT relatou que havia desenvolvido uma nova técnica para eliminar o viés de algoritmos sem comprometer a precisão. Mas corrigir algoritmos é a melhor maneira de combater a injustiça?

Depende do tipo de justiça que buscamos. Filósofos morais e políticos freqüentemente contrastam dois tipos de justiça:procedimental e substantiva. Uma política, procedimento, ou curso de ação, é procedimentalmente justo quando é justo independentemente dos resultados que causa. A decisão de um árbitro de futebol pode ser justa, independentemente de como isso afeta o resultado do jogo, simplesmente porque a decisão foi tomada com base na aplicação imparcial das regras. Ou o tratamento de um pai para com seus dois filhos pode ser justo porque não manifesta parcialidade ou favoritismo, mesmo que isso faça com que a vida de uma criança seja muito melhor do que a da outra.

Por contraste, algo que é substancialmente justo produz resultados justos. Suponha que um árbitro de futebol conceda uma penalidade suave a um time que está perdendo por 1 a 0 porque ela acha que a vantagem do outro time foi pura sorte. Como resultado, o jogo termina com um empate 1-1. Esta decisão parece injusta em termos de procedimento - o árbitro aplica as regras de forma menos rigorosa a uma equipe do que a outra. Mas se um empate reflete o desempenho relativo das duas equipes, pode ser substancialmente justo.

Alternativamente, imagine que uma mãe e um pai favorecem filhos diferentes. Cada pai trata a criança desfavorecida injustamente, em um sentido processual. Mas se o resultado final é que os dois filhos recebem amor igual, então, suas ações podem ser substancialmente justas.

O que é justo?

Pesquisadores de IA preocupados com a justiça têm, em geral, tem sido focado no desenvolvimento de algoritmos que são procedimentalmente justos - justos em virtude dos recursos dos próprios algoritmos, não os efeitos de sua implantação. Mas e se for a justiça substantiva que realmente importa?

Geralmente, há uma tensão entre a justiça processual e a precisão - as tentativas de alcançar as formas mais comumente defendidas de justiça processual aumentam a taxa de erro geral do algoritmo. Veja o algoritmo COMPAS, por exemplo. Se igualássemos as taxas de falsos positivos entre negros e brancos, ignorando os preditores de reincidência que tendiam a ser desproporcionalmente possuídos por negros, o resultado provável seria uma perda na precisão geral, com mais pessoas erroneamente previstas para reincidência, ou não reincidir.

Poderíamos evitar essas dificuldades se nos concentrássemos na justiça substantiva em vez de procedimental e simplesmente projetássemos algoritmos para maximizar a precisão, ao mesmo tempo em que bloqueia ou compensa quaisquer efeitos substantivamente injustos que esses algoritmos possam ter. Por exemplo, em vez de tentar garantir que os erros de previsão de crime afetem igualmente diferentes grupos raciais - uma meta que pode, em qualquer caso, ser inatingível - poderíamos, em vez disso, garantir que esses algoritmos não sejam usados ​​de forma a prejudicar aqueles que correm alto risco. Poderíamos oferecer às pessoas consideradas tratamentos de reabilitação de "alto risco" em vez de, dizer, sujeitando-os a mais encarceramento.

Alternativamente, poderíamos tomar medidas para compensar a tendência de um algoritmo de atribuir maior risco a alguns grupos do que a outros - oferecendo programas de reabilitação de redução de risco preferencialmente para pessoas negras, por exemplo.

O objetivo de justiça substantiva fora do design do algoritmo deixaria os designers do algoritmo livres para se concentrar na maximização da precisão, com justiça deixada para os reguladores estaduais, com contribuições de especialistas e democráticas. Essa abordagem teve sucesso em outras áreas. Em medicina, por exemplo, os médicos se concentram em promover o bem-estar de seus pacientes, enquanto os financiadores da saúde e os formuladores de políticas promovem a alocação justa de recursos de saúde entre os pacientes.

Substância ou procedimento

Claro, a maioria de nós relutaria em desistir inteiramente da justiça processual. Se um árbitro penaliza cada infração menor por uma equipe, enquanto deixava outro escapar com faltas graves, pensaríamos que algo deu errado - mesmo se a equipe certa vencer. Se um juiz ignora tudo o que o réu diz e ouve atentamente o autor da ação, nós acharíamos isso injusto, mesmo que o réu seja um bilionário amador que o faria, mesmo se for considerado culpado, estar muito melhor do que um demandante mais merecedor.

Nós nos preocupamos com a justiça processual. No entanto, a justiça substantiva muitas vezes é mais importante - pelo menos, muitos de nós temos intuições que parecem ser consistentes com isso. Alguns de nós pensam que presidentes e monarcas deveriam ter o poder de oferecer perdões a criminosos condenados, mesmo que isso aplique regras legais de forma inconsistente - permitindo que alguns, mas não outros, fora do gancho. Por que acha que isso é justificado? Talvez porque os perdões ajudem a garantir justiça substantiva onde processos processualmente justos resultam em consequências injustamente duras.

Muitos de nós também pensam que a ação afirmativa é justificada, mesmo quando parece, em face disso, ser processualmente injusto, uma vez que dá a alguns grupos maior consideração do que outros. Talvez toleremos essa injustiça porque, através da mitigação dos efeitos da opressão do passado, a ação afirmativa tende a promover justiça substantiva.

Se a justiça substantiva geralmente importa mais do que a justiça processual, combater algoritmos tendenciosos por meio de mudanças no projeto algorítmico pode não ser o melhor caminho para a justiça, afinal.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.