Uma nova ferramenta de inteligência artificial (IA) para detectar discriminação injusta - como com base em raça ou gênero - foi criada por pesquisadores da Penn State e da Columbia University.

Prevenir o tratamento injusto de indivíduos com base na raça, gênero ou etnia, por exemplo, tem sido uma preocupação de longa data das sociedades civilizadas. Contudo, detectar essa discriminação resultante de decisões, seja por tomadores de decisão humanos ou sistemas de IA automatizados, pode ser extremamente desafiador. Este desafio é ainda mais exacerbado pela ampla adoção de sistemas de IA para automatizar decisões em muitos domínios, incluindo policiamento, Finanças de consumidor, ensino superior e negócios.

"Sistemas de inteligência artificial - como aqueles envolvidos na seleção de candidatos para um emprego ou para admissão em uma universidade - são treinados em grandes quantidades de dados, "disse Vasant Honavar, Professor e Presidente Edward Frymoyer de Ciências e Tecnologia da Informação, Estado de Penn. "Mas se esses dados forem tendenciosos, eles podem afetar as recomendações dos sistemas de IA. "

Por exemplo, ele disse, se uma empresa, historicamente, nunca contratou uma mulher para um determinado tipo de trabalho, então, um sistema de IA treinado nesses dados históricos não recomendará uma mulher para um novo emprego.

"Não há nada de errado com o algoritmo de aprendizado de máquina em si, "disse Honavar." Está fazendo o que deve fazer, que é identificar bons candidatos a empregos com base em certas características desejáveis. Mas, uma vez que foi treinado em história, dados tendenciosos, tem o potencial de fazer recomendações injustas. "

A equipe criou uma ferramenta de IA para detectar discriminação em relação a um atributo protegido, como raça ou gênero, por tomadores de decisão humanos ou sistemas de IA baseados no conceito de causalidade em que uma coisa - uma causa - causa outra coisa - um efeito.

"Por exemplo, a questão, 'Há discriminação salarial com base no gênero?' pode ser reenquadrado como, 'O gênero tem um efeito causal no salário ?, 'ou em outras palavras, 'Uma mulher receberia mais se ela fosse um homem?' disse Aria Khademi, estudante de graduação em ciências da informação e tecnologia, Estado de Penn.

Uma vez que não é possível saber diretamente a resposta a essa questão hipotética, a ferramenta da equipe usa algoritmos sofisticados de inferência contrafactual para chegar à melhor estimativa.

"Por exemplo, "disse Khademi, "uma maneira intuitiva de chegar a uma melhor estimativa de qual seria um salário justo para uma funcionária é encontrar um funcionário do sexo masculino que seja semelhante à mulher no que diz respeito às qualificações, produtividade e experiência. Podemos minimizar a discriminação salarial com base no gênero se garantirmos que homens e mulheres semelhantes recebam salários semelhantes. "

Os pesquisadores testaram seu método usando vários tipos de dados disponíveis, como dados de renda do U.S. Census Bureau para determinar se há discriminação com base no gênero nos salários. Eles também testaram seu método usando os dados do programa pare e reviste do Departamento de Polícia da cidade de Nova York para determinar se há discriminação contra pessoas de cor nas prisões feitas após as detenções. Os resultados apareceram em maio na Proceedings of The Web Conference 2019.

"Analisamos um conjunto de dados de renda de adultos contendo salário, informações demográficas e relacionadas ao emprego para cerca de 50, 000 indivíduos, "disse Honavar." Encontramos evidências de discriminação salarial com base no gênero. Especificamente, descobrimos que as chances de uma mulher ter um salário superior a US $ 50, 000 por ano é apenas um terço do que para um homem. Isso sugere que os empregadores devem procurar e corrigir, quando for apropriado, viés de gênero nos salários. "

Embora a análise da equipe do conjunto de dados de parar e revistar de Nova York - que contém informações demográficas e outras informações sobre motoristas parados pela força policial de Nova York - revelou evidências de possível preconceito racial contra hispânicos e indivíduos afro-americanos, não encontrou evidências de discriminação contra eles, em média, como um grupo.

"Você não pode corrigir um problema se não souber que ele existe, "disse Honavar." Para evitar a discriminação com base na raça, gênero ou outros atributos você precisa de ferramentas eficazes para detectar a discriminação. Nossa ferramenta pode ajudar com isso. "

Honavar acrescentou que, à medida que os sistemas de inteligência artificial baseados em dados determinam cada vez mais como as empresas direcionam os anúncios aos consumidores, como os departamentos de polícia monitoram indivíduos ou grupos em busca de atividades criminosas, como os bancos decidem quem obtém um empréstimo, quem os empregadores decidem contratar, e como faculdades e universidades decidem quem é admitido ou recebe ajuda financeira, há uma necessidade urgente de ferramentas como a que ele e seus colegas desenvolveram.

"Nossa ferramenta, " ele disse, "pode ​​ajudar a garantir que tais sistemas não se tornem instrumentos de discriminação, barreiras para a igualdade, ameaças à justiça social e fontes de injustiça. "