Não apenas as empresas, mas também as instituições estatais dependem cada vez mais de decisões automatizadas por sistemas baseados em algoritmos. Sua eficiência economiza tempo e dinheiro, mas também acarreta muitos riscos de indivíduos ou grupos populacionais serem discriminados. Este é o resultado de um estudo feito pelo Instituto de Avaliação de Tecnologia e Análise de Sistemas (ITAS) do Instituto de Tecnologia de Karlsruhe (KIT) em nome da Agência Federal Antidiscriminação.

Ao conceder um empréstimo, selecionando novos membros da equipe, ou tomar decisões legais - em um número crescente de setores, algoritmos são aplicados para preparar decisões humanas ou para tomar essas decisões por humanos. "Infelizmente, muitas vezes é um erro pensar que isso leva inevitavelmente a decisões mais objetivas e justas, "diz Carsten Orwat, do Instituto de Avaliação de Tecnologia e Análise de Sistemas (ITAS) do KIT." As situações tornam-se particularmente críticas quando os algoritmos trabalham com dados tendenciosos e dependem de critérios que devem ser protegidos, "diz o autor. Esses critérios incluem, em particular, era, Gênero sexual, origem étnica, religião, orientação sexual, e deficiências.

Em nome da Agência Federal Antidiscriminação, Carsten Orwat estudou em detalhes as causas da discriminação, seu impacto na sociedade, e opções futuras para reduzir os riscos de discriminação. Seu estudo intitulado "Diskriminierungsrisiken durch Verwendung von Algorithmen" (riscos de discriminação usando algoritmos) lista 47 exemplos para ilustrar como algoritmos podem discriminar pessoas de várias maneiras e como isso pode ser detectado e provado.

Imóveis, Empréstimos, Assuntos Judiciais, e mais:vários exemplos de riscos de discriminação

Como exemplos, Orwat descreve situações no mercado imobiliário e de empréstimos ou no sistema judicial. Nos Estados Unidos, por exemplo, vários casos foram documentados, em que algoritmos dentro da mídia social permitiram que anúncios direcionados fossem invisíveis para pessoas protegidas pela "Lei de Habitação Justa, "como os migrantes, pessoas com deficiência, ou com pele não branca, o autor diz. Na Finlândia, um banco foi condenado a pagar uma multa porque seu algoritmo para a concessão automática de empréstimos online mostrou preconceito em relação aos homens em relação às mulheres e ao finlandês em relação aos falantes nativos de sueco. Este tratamento desigual é proibido pela lei antidiscriminação finlandesa. Ao decidir sobre a libertação antecipada da prisão, Os juízes dos EUA usam um sistema muito disputado que calcula as pontuações de risco. Jornalistas e associações de direitos humanos criticam o fato de que esse sistema sistematicamente superestima o risco de reincidência dos negros.

"Os sistemas de aprendizado de máquina costumam ter problemas quando são treinados com dados que refletem tratamentos ou estereótipos desiguais, "Carsten Orwat explica." Neste caso, os algoritmos gerados também o farão. Ao processar dados contendo avaliações de pessoas por outras pessoas, tratamentos e discriminações desiguais podem até se espalhar ou aumentar. ”Isso aconteceu nos Estados Unidos em um sistema de controle de alimentação e saúde baseado em classificações discriminatórias de restaurantes.

Recomendações de contramedidas

Contudo, a sociedade não deve mais aceitar esses tratamentos desiguais. O estudo lista várias opções para neutralizar a discriminação por algoritmos. "As medidas preventivas parecem ser mais razoáveis, "Carsten Orwat diz. As empresas podem pedir às agências antidiscriminação que instruam sua equipe e especialistas em TI e aumentem sua conscientização. Então, essas pessoas usarão conjuntos de dados que não refletem quaisquer práticas discriminatórias ou tratamentos desiguais.

De acordo com Orwat, o objetivo é tornar os algoritmos futuros "livres de discriminação por design". Isso significa que os programas devem ser verificados durante seu desenvolvimento inicial.

No fim, é tudo sobre a proteção dos valores da sociedade, como igualdade ou livre desenvolvimento da personalidade. Para garantir isso, apesar dos desenvolvimentos muito rápidos de "big data" e IA, é necessário melhorar a legislação antidiscriminação e de proteção de dados em alguns pontos, Orwat aponta.