Em seres humanos, inteligência não é inoculação contra preconceitos e intolerância. O mesmo vale para computadores. As máquinas inteligentes aprendem sobre o mundo por meio dos filtros da linguagem humana e do comportamento histórico - o que significa que podem absorver com a mesma facilidade os piores valores da humanidade e o melhor.

Os pesquisadores que pretendem desenvolver máquinas cada vez mais inteligentes têm um trabalho árduo para garantir que não estejam inadvertidamente imbuindo computadores com misoginia, racismo ou outras formas de intolerância.

"É um risco enorme, "diz Marzyeh Ghassemi, um professor assistente no departamento de ciência da computação e na Faculdade de Medicina da Universidade de Toronto que se concentra em aplicativos de saúde para inteligência artificial (IA). "Como todos os avanços que impulsionam as sociedades, existem grandes riscos que devemos decidir aceitar ou não. "

O viés pode se infiltrar nos algoritmos de várias maneiras. Em um ramo altamente influente da IA ​​conhecido como "processamento de linguagem natural, "problemas podem surgir do" corpus de texto "- o material de origem que o algoritmo usa para aprender sobre as relações entre palavras diferentes.

Processamento de linguagem natural, ou "PNL, "permite que um computador entenda a fala de estilo humano - informal, conversacional e contextual. Algoritmos de PNL vasculham bilhões de palavras de texto de treinamento - o corpus pode ser, dizer, toda a Wikipedia. Um algoritmo funciona atribuindo a cada palavra um conjunto de números que reflete diferentes aspectos de seu significado - "rei" e "rainha", por exemplo, teria pontuações semelhantes relacionadas à ideia de realeza, mas pontuações opostas em relação ao gênero. PNL é um sistema poderoso que permite que as máquinas aprendam sobre as relações entre as palavras - em alguns casos, sem envolvimento humano direto.

"Mesmo que nem sempre os ensinemos especificamente, o que eles aprendem é incrível, "diz Kawin Ethayarajh, um pesquisador que se concentra parcialmente na equidade e justiça em aplicações de IA. "Mas também é um problema. No corpus, a relação entre 'rei' e 'rainha' pode ser semelhante à relação entre 'médico' e 'enfermeira'. "

Mas é claro, todos os reis são homens; nem todos os médicos são homens. E nem todas as enfermeiras são mulheres.

Quando um algoritmo absorve os tropos sexistas das atitudes humanas históricas, pode levar a consequências na vida real, como aconteceu em 2014, quando a Amazon desenvolveu um algoritmo para examinar os currículos dos candidatos a empregos. A empresa treinou suas máquinas em 10 anos de decisões de contratação. Mas em 2015, eles reconheceram que, em testes, o sistema estava dando preferência imerecida a currículos de candidatos do sexo masculino. Eles ajustaram o sistema para forçá-lo a ignorar as informações de gênero, mas, por fim, encerrou o projeto antes de colocá-lo em prática, pois não podiam ter certeza de que seu algoritmo não estava perpetrando outras formas de discriminação.

Mitigar o material de origem sexista pode envolver ajustes tecnológicos e metodológicos. "Se pudermos entender exatamente quais premissas subjacentes o corpus tem que faz com que esses preconceitos sejam aprendidos, podemos selecionar corpora sem esses preconceitos ou corrigi-los durante o processo de treinamento, "diz Ethayarajh.

É prática comum os pesquisadores projetarem um algoritmo que corrija suposições prejudiciais automaticamente. Ajustando o peso dos números que atribui a cada palavra, o computador pode evitar fazer associações sexistas ou racistas.

Mas quais são exatamente as suposições que precisam ser corrigidas? Qual é a aparência real de uma IA imparcial? Debates sobre privilégios, intolerância, a diversidade e o viés sistêmico estão longe de ser resolvidos. Um algoritmo de contratação deve ter uma postura quanto à ação afirmativa? Um carro que dirige sozinho deve ter cuidado especial se outro veículo tiver um adesivo "Bebê a bordo"? Como uma análise de documentos legais baseada em IA deve levar em consideração o tratamento histórico dos Povos Indígenas? Questões sociais controversas não desaparecem simplesmente porque as máquinas assumem certas recomendações ou decisões.

Muitas pessoas veem o modelo falho, mas relativamente bem-sucedido, de multiculturalismo do Canadá como uma chance de liderar uma pesquisa justa em IA.

"O Canadá certamente tem uma oportunidade, "diz Ronald Baecker, professor emérito de ciência da computação e autor de Computers and Society:Modern Perspectives. Ele vê um papel para o governo corrigir as desigualdades sociais, injustiças e preconceitos associados à IA por, por exemplo, estabelecendo proteções para funcionários que optam por falar abertamente contra produtos baseados em IA tendenciosos ou injustos. "Há uma necessidade de mais reflexão e legislação com relação ao conceito do que eu chamaria de 'objeção de consciência' por funcionários de alta tecnologia."

Ele também acredita que os cientistas da computação que desenvolvem tecnologias inteligentes devem estudar o impacto social de tal trabalho. "É importante que os profissionais que trabalham em IA reconheçam sua responsabilidade, "ele diz." Estamos lidando com situações de vida ou morte em atividades cada vez mais importantes onde a IA está sendo usada. "

Algoritmos que ajudam os juízes a definir fiança e condenar criminosos podem absorver preconceitos de longa data no sistema jurídico, como tratar pessoas racializadas como se fossem mais propensas a cometer crimes adicionais. Os algoritmos podem sinalizar pessoas de certas comunidades como representando um risco muito alto para receber um empréstimo bancário. Eles também podem ser melhores no diagnóstico de câncer de pele em pessoas brancas do que em pessoas com pele mais escura, como resultado de ter sido treinado em material de origem distorcido.

As apostas são incrivelmente altas nos cuidados de saúde, onde algoritmos desiguais podem empurrar as pessoas que foram mal atendidas no passado ainda mais para as margens.

Em seu trabalho na U of T e no Vector Institute for Artificial Intelligence, Ghassemi, como outros pesquisadores, esforça-se para identificar potenciais preconceitos e injustiças em seus algoritmos. Ela compara as recomendações e previsões de suas ferramentas de diagnóstico com os resultados do mundo real, medindo sua precisão para diferentes gêneros, corridas, idades e fatores socioeconômicos.

Em teoria, O Canadá oferece uma vantagem inicial para pesquisadores interessados ​​em aplicações de saúde que reflitam valores de justiça, diversidade e Inclusão. Nosso sistema universal de saúde cria um repositório de registros eletrônicos de saúde que fornece uma grande quantidade de dados médicos que podem ser usados ​​para treinar aplicativos baseados em IA. Esse potencial atraiu Ghassemi para Toronto. Mas a tecnologia, em formação, a formatação e as regras para acessar esses registros variam de província para província, tornando complicado criar o tipo de conjunto de dados que pode impulsionar a pesquisa.

Ghassemi também ficou surpreso ao saber que esses registros raramente incluem dados sobre raça. Isso significa que se ela está usando um algoritmo para determinar o quão bem um determinado tratamento atende a diferentes setores da sociedade, ela poderia identificar disparidades entre homens e mulheres, por exemplo, mas não entre brancos e pessoas racializadas. Como resultado, em seu ensino e pesquisa, ela está usando dados americanos publicamente disponíveis que contêm informações sobre raça.

"Auditando meus próprios modelos [usando dados americanos], Posso mostrar quando algo tem maior imprecisão para pessoas de diferentes etnias, "diz ela." Não posso fazer esta avaliação no Canadá. Não há como eu verificar. "

Ghassemi está interessado em criar aplicativos de IA que sejam justos por si mesmos - e que também possam ajudar os seres humanos a neutralizar seus próprios preconceitos. “Se pudermos fornecer ferramentas baseadas em grandes populações diversas, estamos dando aos médicos algo que os ajudará a fazer melhores escolhas, " ela diz.

Mulheres, por exemplo, são significativamente subdiagnosticados para doenças cardíacas. Uma IA poderia sinalizar tal perigo para um médico que pudesse ignorá-lo. "Esse é um lugar onde uma solução tecnológica pode ajudar, porque os médicos são humanos, e os humanos são tendenciosos, " ela diz.

Ethayarajh concorda com Ghassemi e Baecker que o Canadá tem uma oportunidade importante de pressionar sua vantagem sobre justiça e preconceito na pesquisa de inteligência artificial.

"Acho que os pesquisadores de IA aqui estão muito cientes do problema, "Ethayarajh diz." Eu acho que uma parte disso é, se você olhar ao redor do escritório, você vê muitos rostos diferentes. As pessoas que trabalham nesses modelos serão seus usuários finais. Mais amplamente, Eu acho que há um foco cultural muito forte na justiça que torna esta uma área importante para os pesquisadores neste país. "