Um estudo de Deb Raji, estudante do quarto ano da Faculdade de Ciências Aplicadas e Engenharia da Universidade de Toronto, e pesquisadores do Massachusetts Institute of Technology estão enfatizando os preconceitos raciais e de gênero encontrados nos serviços de reconhecimento facial.

Raji passou o verão de 2018 como estagiário no Media Lab do MIT, onde ela auditou tecnologias comerciais de reconhecimento facial feitas por empresas líderes como a Microsoft, IBM e Amazon. Os pesquisadores descobriram que todos eles tinham a tendência de confundir mulheres de pele mais escura com homens.

Mas um serviço em particular - o Rekognition da Amazon - mostrou um nível mais alto de preconceito do que o resto. Embora pudesse identificar o gênero de homens de pele clara com quase 100 por cento de precisão, classificou erroneamente as mulheres como homens 29 por cento do tempo, e mulheres de pele mais escura para os homens 31 por cento do tempo.

O Rekognition foi recentemente pilotado pela polícia em Orlando, Flórida, usar o serviço em cenários de policiamento, como escanear rostos em câmeras e compará-los com os de bancos de dados criminais.

"O fato de a tecnologia não caracterizar bem os rostos negros pode levar à identificação incorreta dos suspeitos, "diz Raji." A Amazon deve sofrer alguma pressão pública, dados os cenários de alto risco em que estão usando essa tecnologia. "

Com rápidos avanços e implantação de produtos de inteligência artificial (IA), este novo estudo enfatiza a necessidade de não apenas testar o desempenho dos sistemas, mas também para possíveis vieses contra grupos sub-representados.

Embora os algoritmos devam ser neutros, Raji explica que, como os conjuntos de dados - informações usadas para "treinar" um modelo de IA - são provenientes de uma sociedade que ainda luta contra os preconceitos do dia-a-dia, esses vieses são incorporados aos algoritmos.

"Digamos que eu queira exemplos de como é a aparência de uma pele saudável. Se você pesquisar no Google agora, você verá principalmente mulheres de pele clara, "diz Raji." Você não verá um homem por páginas, e você não veria uma mulher de pele mais escura até que você realmente rolasse para baixo. Se você alimentar isso em um modelo de IA, adota essa visão de mundo e adapta suas decisões com base nesses preconceitos. "

Esses preconceitos devem ser denunciados, assim como alguém responsabilizaria uma pessoa, diz Raji. "Existe um perigo maior quando você incorpora esse viés em um algoritmo em comparação com quando um humano toma uma decisão preconceituosa. Alguém dirá que está errado, seja o público ou seu chefe, " ela diz.

"Com IA, tendemos a absolver essa responsabilidade. Ninguém vai colocar um algoritmo na prisão. "

A paixão de Raji pelo assunto do preconceito no aprendizado de máquina vem de seu tempo como estudante de Experiência Profissional Year Co-op (PEY Co-op) na startup de AI Clarifai, onde o tópico de IA e ética foi regularmente discutido na empresa voltada para a pesquisa.

"É algo que a empresa percebeu e foi muito explícito sobre como abordar, e é um assunto que ressoou pessoalmente em mim porque sou uma minoria visível, " ela diz.

Também decorre de suas próprias experiências pessoais com tecnologias preconceituosas racialmente. "Eu construiria algo em um hackathon e me perguntaria por que não conseguiu detectar meu rosto, ou porque uma torneira automática não consegue detectar minha mão, " ela diz.

Raji compartilhou suas experiências com cientista da computação e ativista digital, Joy Buolamwini, no Media Lab do MIT. Isso levou ao estágio, e a Raji se tornando a autora principal de um artigo que ela apresentou na Conferência da Associação para o Avanço da Inteligência Artificial sobre Ética e Sociedade em IA.

"Eu sei que parece que escrevi um artigo de pesquisa em três meses, "diz Raji." Mas esse problema tem se infiltrado dentro de mim há muito mais tempo. "

Raji está atualmente terminando seu último semestre em ciência da engenharia e executando uma iniciativa liderada por alunos chamada Project Include, que treina alunos para ensinar programação de computadores em bairros de baixa renda em Toronto e Mississauga. Ela também é pupila no Google AI. Como parte do programa de mentoria, ela está trabalhando em uma nova tese que enfoca soluções práticas para responsabilizar as empresas.

"As pessoas às vezes minimizam a urgência dizendo:'Nós vamos, IA é tão nova, '"diz Raji." Mas se você está construindo uma ponte, a indústria permitiria que você economizasse e inventasse esse tipo de desculpa? "