p A Amazon decidiu encerrar sua ferramenta experimental de recrutamento de inteligência artificial (IA) depois de descobrir que ela discriminava as mulheres. A empresa criou a ferramenta para vasculhar a web e localizar candidatos em potencial, classificando-os de uma a cinco estrelas. Mas o algoritmo aprendeu a rebaixar sistematicamente os currículos femininos para empregos técnicos, como desenvolvedor de software. p Embora a Amazon esteja na vanguarda da tecnologia de IA, a empresa não conseguiu encontrar uma maneira de tornar seu algoritmo neutro em termos de gênero. Mas o fracasso da empresa nos lembra que a IA desenvolve preconceitos de várias fontes. Embora haja uma crença comum de que os algoritmos devem ser construídos sem qualquer tendência ou preconceito que influencia a tomada de decisão humana, a verdade é que um algoritmo pode, sem querer, aprender o viés de uma variedade de fontes diferentes. Tudo, desde os dados usados ​​para treiná-lo, para as pessoas que o estão usando, e até mesmo fatores aparentemente não relacionados, todos podem contribuir para o viés da IA.

p Os algoritmos de IA são treinados para observar padrões em grandes conjuntos de dados para ajudar a prever resultados. No caso da Amazon, seu algoritmo usou todos os currículos enviados à empresa ao longo de um período de dez anos para aprender como identificar os melhores candidatos. Dada a baixa proporção de mulheres que trabalham na empresa, como na maioria das empresas de tecnologia, o algoritmo detectou rapidamente a dominação masculina e achou que era um fator de sucesso.

p Como o algoritmo usou os resultados de suas próprias previsões para melhorar sua precisão, ficou preso em um padrão de sexismo contra candidatas. E como os dados usados ​​para treiná-lo foram criados em algum ponto por humanos, isso significa que o algoritmo também herdou características humanas indesejáveis, como preconceito e discriminação, que também têm sido um problema de recrutamento há anos.

p Alguns algoritmos também são projetados para prever e fornecer o que os usuários desejam ver. Isso normalmente é visto nas mídias sociais ou em publicidade online, onde os usuários veem conteúdo ou anúncios com os quais um algoritmo acredita que eles irão interagir. Padrões semelhantes também foram relatados na indústria de recrutamento.

p Um recrutador relatou que, ao usar uma rede social profissional para encontrar candidatos, a IA aprendeu a dar-lhe resultados mais semelhantes aos perfis com os quais ele se engajou inicialmente. Como resultado, grupos inteiros de candidatos potenciais foram sistematicamente removidos inteiramente do processo de recrutamento.

p Contudo, viés também aparece por outras razões não relacionadas. Um estudo recente sobre como um algoritmo exibia anúncios promovendo empregos STEM mostrou que os homens tinham maior probabilidade de ver o anúncio, não porque os homens eram mais propensos a clicar nele, mas porque as mulheres são mais caras para anunciar. Uma vez que as empresas definem o preço de anúncios direcionados às mulheres em uma taxa mais alta (as mulheres impulsionam de 70% a 80% de todas as compras do consumidor), o algoritmo optou por entregar anúncios mais para homens do que para mulheres porque foi projetado para otimizar a entrega de anúncios, mantendo os custos baixos.

p Mas se um algoritmo apenas reflete padrões nos dados que fornecemos, o que seus usuários gostam, e os comportamentos econômicos que ocorrem em seu mercado, não é injusto culpá-lo por perpetuar nossos piores atributos? Esperamos automaticamente que um algoritmo tome decisões sem qualquer discriminação, quando isso raramente é o caso com humanos. Mesmo se um algoritmo for tendencioso, pode ser uma melhoria em relação ao status quo atual.

p Para aproveitar ao máximo o uso de IA, é importante investigar o que aconteceria se permitíssemos que a IA tomasse decisões sem intervenção humana. Um estudo de 2018 explorou esse cenário com decisões de fiança usando um algoritmo treinado em dados criminais históricos para prever a probabilidade de reincidência de criminosos. Em uma projeção, os autores conseguiram reduzir as taxas de criminalidade em 25% e, ao mesmo tempo, reduzir os casos de discriminação em presidiários.

p No entanto, os ganhos destacados nesta pesquisa só ocorreriam se o algoritmo estivesse realmente tomando todas as decisões. Isso seria improvável de acontecer no mundo real, já que os juízes provavelmente prefeririam escolher seguir ou não as recomendações do algoritmo. Mesmo se um algoritmo for bem projetado, torna-se redundante se as pessoas decidirem não confiar nele.

p Muitos de nós já confiamos em algoritmos para muitas de nossas decisões diárias, do que assistir no Netflix ou comprar na Amazon. Mas a pesquisa mostra que as pessoas perdem a confiança em algoritmos mais rápido do que os humanos quando os vêem cometer um erro, mesmo quando o algoritmo tem um desempenho geral melhor.

p Por exemplo, se o seu GPS sugerir que você use uma rota alternativa para evitar o tráfego que acaba demorando mais do que o previsto, é provável que você pare de depender do GPS no futuro. Mas se tomar o caminho alternativo foi sua decisão, é improvável que você pare de confiar em seu próprio julgamento. Um estudo de acompanhamento sobre como superar a aversão a algoritmos mostrou que as pessoas eram mais propensas a usar um algoritmo e aceitar seus erros se tivessem a oportunidade de modificar o algoritmo por si mesmas, mesmo que isso significasse fazer com que tivesse um desempenho imperfeito.

p Embora os humanos possam perder rapidamente a confiança em algoritmos falhos, muitos de nós tendem a confiar mais nas máquinas se elas tiverem características humanas. De acordo com pesquisas sobre carros autônomos, os humanos eram mais propensos a confiar no carro e acreditavam que ele teria um desempenho melhor se o sistema aumentado do veículo tivesse um nome, um gênero especificado, e uma voz que parece humana. Contudo, se as máquinas se tornarem muito parecidas com as humanas, mas não exatamente, as pessoas costumam achá-los assustadores, o que pode afetar sua confiança neles.

p Mesmo que não apreciemos necessariamente a imagem que os algoritmos podem refletir de nossa sociedade, parece que ainda estamos ansiosos para viver com eles e fazer com que se pareçam e ajam como nós. E se for esse o caso, certamente os algoritmos também podem cometer erros? p Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.