Crédito:Pixabay/CC0 Domínio Público Os algoritmos deveriam tornar as nossas vidas mais fáceis e justas:ajudar-nos a encontrar os melhores candidatos a emprego, ajudar os juízes a avaliar imparcialmente os riscos das decisões de fiança e fiança e garantir que os cuidados de saúde são prestados aos pacientes com maiores necessidades. Até agora, porém, sabemos que os algoritmos podem ser tão tendenciosos quanto os tomadores de decisão humanos que eles informam e substituem.
E se isso não fosse uma coisa ruim?
Uma nova pesquisa de Carey Morewedge, professor de marketing da Questrom School of Business da Universidade de Boston e bolsista Everett W. Lord Distinguished Faculty Scholar, descobriu que as pessoas reconhecem mais seus preconceitos nas decisões de algoritmos do que nas suas próprias - mesmo quando essas decisões são as mesmo. A pesquisa, publicada no Proceedings of the National Academy of Sciences , sugere maneiras pelas quais a conscientização pode ajudar os tomadores de decisão humanos a reconhecer e corrigir seus preconceitos.
“Um problema social é que os algoritmos aprendem e, em grande escala, implementam preconceitos nas decisões humanas nas quais foram treinados”, diz Morewedge, que também preside o departamento de marketing da Questrom. Por exemplo:em 2015, a Amazon testou (e logo descartou) um algoritmo para ajudar seus gerentes de contratação a filtrar os candidatos a empregos. Eles descobriram que o programa melhorou os currículos que considerava virem de candidatos do sexo masculino e rebaixou os currículos de candidatas do sexo feminino, um caso claro de preconceito de género.
Mas, nesse mesmo ano, apenas 39% da força de trabalho da Amazon eram mulheres. Se o algoritmo tivesse sido treinado com base nos dados de contratação existentes da Amazon, não é de admirar que ele priorizasse candidatos do sexo masculino – a Amazon já o fazia. Se o seu algoritmo tinha um preconceito de género, “é porque os gestores da Amazon foram tendenciosos nas suas decisões de contratação”, diz Morewedge.
“Os algoritmos podem codificar e amplificar os preconceitos humanos, mas os algoritmos também revelam preconceitos estruturais na nossa sociedade”, diz ele. "Muitos preconceitos não podem ser observados a nível individual. É difícil provar preconceitos, por exemplo, numa única decisão de contratação. Mas quando somamos decisões dentro e entre pessoas, como fazemos quando construímos algoritmos, isso pode revelar preconceitos estruturais em nossos sistemas e organizações."
Morewedge e os seus colaboradores – Begüm Çeliktutan e Romain Cadario, ambos da Universidade Erasmus, na Holanda – conceberam uma série de experiências destinadas a revelar os preconceitos sociais das pessoas (incluindo racismo, sexismo e preconceito de idade).
A equipe então comparou o reconhecimento dos participantes da pesquisa sobre como esses preconceitos influenciaram suas próprias decisões com as decisões tomadas por um algoritmo. Nos experimentos, os participantes às vezes viam as decisões de algoritmos reais. Mas havia um porém:outras vezes, as decisões atribuídas aos algoritmos eram, na verdade, escolhas dos participantes, disfarçadas.
Em geral, os participantes eram mais propensos a ver preconceitos nas decisões que pensavam vir de algoritmos do que nas suas próprias decisões. Os participantes também viram tanto preconceito nas decisões dos algoritmos quanto nas decisões de outras pessoas. (As pessoas geralmente reconhecem melhor o preconceito nos outros do que em si mesmas, um fenómeno chamado ponto cego do preconceito.) Os participantes também eram mais propensos a corrigir o preconceito nessas decisões após o facto, um passo crucial para minimizar o preconceito no futuro.
Algoritmos removem o ponto cego do viés
Os pesquisadores analisaram conjuntos de participantes, mais de 6.000 no total, por meio de nove experimentos. No primeiro, os participantes avaliaram um conjunto de anúncios do Airbnb, que incluía algumas informações sobre cada anúncio:a classificação média por estrelas (numa escala de 1 a 5) e o nome do anfitrião. Os pesquisadores atribuíram essas listagens fictícias a anfitriões com nomes “distintamente afro-americanos ou brancos”, com base em pesquisas anteriores que identificaram preconceito racial, de acordo com o jornal. Os participantes avaliaram a probabilidade de alugar cada anúncio.
Na segunda metade do experimento, os participantes foram informados sobre uma descoberta de pesquisa que explicava como a raça do anfitrião poderia influenciar as avaliações. Em seguida, os investigadores mostraram aos participantes um conjunto de classificações e pediram-lhes que avaliassem (numa escala de 1 a 7) a probabilidade de o preconceito ter influenciado as classificações.
Os participantes viram sua própria classificação refletida para eles, sua própria classificação sob o disfarce de um algoritmo, sua própria classificação sob o disfarce de outra pessoa ou uma classificação de algoritmo real baseada em suas preferências.
Os pesquisadores repetiram essa configuração várias vezes, testando preconceitos de raça, gênero, idade e atratividade nos perfis dos motoristas do Lyft e dos anfitriões do Airbnb. Cada vez, os resultados foram consistentes. Os participantes que pensaram ter visto as classificações de um algoritmo ou de outra pessoa (independentemente de terem visto ou não) eram mais propensos a perceber preconceitos nos resultados.
Morewedge atribui isso às diferentes evidências que usamos para avaliar o preconceito nos outros e o preconceito em nós mesmos. Como temos uma visão do nosso próprio processo de pensamento, diz ele, é mais provável que reconstituamos o nosso pensamento e decidamos que não foi tendencioso, talvez motivado por algum outro fator que tenha influenciado as nossas decisões. Ao analisar as decisões de outras pessoas, porém, tudo o que temos para julgar é o resultado.
“Digamos que você esteja organizando um painel de palestrantes para um evento”, diz Morewedge. "Se todos esses palestrantes forem homens, você poderia dizer que o resultado não foi resultado de preconceito de gênero, porque você nem estava pensando em gênero quando convidou esses palestrantes. Mas se você estivesse participando deste evento e visse um painel de todos -falantes do sexo masculino, é mais provável que você conclua que houve preconceito de gênero na seleção."
Na verdade, numa das suas experiências, os investigadores descobriram que os participantes que eram mais propensos a este ponto cego de preconceito também eram mais propensos a ver preconceitos em decisões atribuídas a algoritmos ou outros do que nas suas próprias decisões. Noutra experiência, descobriram que as pessoas viam mais facilmente as suas próprias decisões influenciadas por factores bastante neutros ou razoáveis, como a classificação por estrelas de um anfitrião da Airbnb, em comparação com um preconceito prejudicial, como a raça – talvez porque admitissem preferir um alojamento de cinco estrelas. o aluguel de estrelas não é tão ameaçador para o senso de identidade de alguém ou para a forma como os outros podem nos ver, sugere Morewedge.
Algoritmos como espelhos:vendo e corrigindo preconceitos humanos
No experimento final dos pesquisadores, eles deram aos participantes a chance de corrigir preconceitos em suas classificações ou nas classificações de um algoritmo (real ou não). As pessoas eram mais propensas a corrigir as decisões do algoritmo, o que reduzia o viés real nas suas classificações.
Este é o passo crucial para Morewedge e seus colegas, diz ele. Para qualquer pessoa motivada a reduzir o preconceito, ser capaz de vê-lo é o primeiro passo. A sua investigação apresenta evidências de que os algoritmos podem ser usados como espelhos – uma forma de identificar preconceitos mesmo quando as pessoas não conseguem vê-los em si mesmas.
“No momento, acho que a literatura sobre viés algorítmico é sombria”, diz Morewedge. "Muito disso diz que precisamos desenvolver métodos estatísticos para reduzir o preconceito nos algoritmos. Mas parte do problema é que o preconceito vem das pessoas. Deveríamos trabalhar para melhorar os algoritmos, mas também deveríamos trabalhar para nos tornarmos menos tendenciosos.
“O que é interessante neste trabalho é que ele mostra que os algoritmos podem codificar ou amplificar os preconceitos humanos, mas os algoritmos também podem ser ferramentas para ajudar as pessoas a ver melhor os seus próprios preconceitos e corrigi-los”, diz ele. "Os algoritmos são uma faca de dois gumes. Eles podem ser uma ferramenta que amplifica nossas piores tendências. E os algoritmos podem ser uma ferramenta que pode nos ajudar a melhorar."
