A tecnologia de reconhecimento facial já estava se infiltrando na vida cotidiana - de suas fotos no Facebook a varreduras policiais de fotos - quando Joy Buolamwini percebeu uma falha séria:alguns dos softwares não conseguiam detectar rostos de pele escura como os dela.

Essa revelação levou o pesquisador do Instituto de Tecnologia de Massachusetts a lançar um projeto que está tendo uma influência descomunal no debate sobre como a inteligência artificial deve ser implantada no mundo real.

Seus testes em software criado por empresas de tecnologia de renome, como a Amazon, revelaram taxas de erro muito mais altas na classificação do gênero de mulheres de pele mais escura do que de homens de pele mais clara.

Pelo caminho, Buolamwini estimulou a Microsoft e a IBM a melhorar seus sistemas e irritou a Amazon, que atacou publicamente seus métodos de pesquisa. Na quarta-feira, um grupo de estudiosos de IA, incluindo um vencedor do prêmio principal de ciência da computação, lançou uma defesa vigorosa de seu trabalho e pediu à Amazon que parasse de vender seu software de reconhecimento facial para a polícia.

Seu trabalho também chamou a atenção de líderes políticos em parlamentos e no Congresso e levou alguns a buscarem limites para o uso de ferramentas de visão computacional para analisar rostos humanos.

"Precisa haver uma escolha, "disse Buolamwini, um estudante de graduação e pesquisador no Media Lab do MIT. "Agora mesmo, o que está acontecendo é que essas tecnologias estão sendo amplamente implantadas sem supervisão, muitas vezes secretamente, de modo que quando acordamos, é quase tarde demais. "

Buolamwini não está sozinho em expressar cautela sobre a adoção rápida do reconhecimento facial pela polícia, agências governamentais e empresas, de lojas a complexos de apartamentos. Muitos outros pesquisadores mostraram como os sistemas de IA, que procuram padrões em grandes quantidades de dados, irá imitar os preconceitos institucionais embutidos nos dados com os quais estão aprendendo. Por exemplo, se os sistemas de IA são desenvolvidos usando imagens principalmente de homens brancos, os sistemas funcionarão melhor no reconhecimento de homens brancos.

Essas disparidades às vezes podem ser uma questão de vida ou morte:um estudo recente dos sistemas de visão por computador que permitem que os carros autônomos "vejam" a estrada mostra que eles têm mais dificuldade em detectar pedestres com tons de pele mais escuros.

O que mais chama a atenção no trabalho de Boulamwini é seu método de testar os sistemas criados por empresas conhecidas. Ela aplica esses sistemas a uma escala de tom de pele usada por dermatologistas, então nomeia e envergonha aqueles que mostram preconceito racial e de gênero. Buolamwini, que também fundou uma coalizão de estudiosos, ativistas e outros chamados Liga da Justiça Algorítmica, combinou suas investigações acadêmicas com ativismo.

"Isso se soma a um crescente corpo de evidências de que o reconhecimento facial afeta grupos diferentes de forma diferente, "disse Shankar Narayan, da American Civil Liberties Union do estado de Washington, onde o grupo buscou restrições à tecnologia. "O trabalho de Joy foi parte da construção dessa consciência."

Amazonas, cujo CEO, Jeff Bezos, ela mandou um e-mail diretamente no verão passado, respondeu mirando agressivamente em seus métodos de pesquisa.

Um estudo liderado por Buolamwini publicado há pouco mais de um ano encontrou disparidades em como os sistemas de análise facial desenvolvidos pela IBM, A Microsoft e a chinesa Face Plus Plus classificaram as pessoas por gênero. Mulheres de pele mais escura foram o grupo mais mal classificado, com taxas de erro de até 34,7%. Por contraste, a taxa de erro máxima para homens de pele mais clara foi inferior a 1%.

O estudo pediu "atenção urgente" para resolver o preconceito.

"Eu respondi de imediato, "disse Ruchir Puri, cientista-chefe da IBM Research, descrevendo um e-mail que recebeu de Buolamwini no ano passado.

Desde então, ele disse, "tem sido um relacionamento muito frutífero", que informou a divulgação da IBM neste ano de um novo banco de dados de 1 milhão de imagens para analisar melhor a diversidade de rostos humanos. Os sistemas anteriores dependiam excessivamente do que Buolamwini chama de repositórios de imagens "homens pálidos".

Microsoft, que teve as taxas de erro mais baixas, comentário recusado. Mensagens deixadas com Megvii, que possui Face Plus Plus, não foram imediatamente devolvidos.

Meses depois de seu primeiro estudo, quando Buolamwini trabalhou com a pesquisadora da Universidade de Toronto Inioluwa Deborah Raji em um teste de acompanhamento, todas as três empresas mostraram grandes melhorias.

Mas desta vez eles também adicionaram a Amazon, que vendeu o sistema que chama de Rekognition para as agências de aplicação da lei. Os resultados, publicado no final de janeiro, mostrou a Amazon identificando erroneamente mulheres de tons mais escuros.

"Ficamos surpresos ao ver que a Amazon estava onde seus concorrentes estavam há um ano, "Buolamwini disse.

A Amazon rejeitou o que chamou de "alegações errôneas" de Buolamwini e disse que o estudo confundiu análise facial com reconhecimento facial, medir inadequadamente o primeiro com técnicas para avaliar o último.

"A resposta às ansiedades sobre novas tecnologias não é executar 'testes' inconsistentes com a forma como o serviço foi projetado para ser usado, e para amplificar as conclusões falsas e enganosas do teste através da mídia, "Matt Wood, gerente geral de inteligência artificial para a divisão de computação em nuvem da Amazon, escreveu em uma postagem de blog de janeiro. A Amazon recusou pedidos de entrevista.

"Eu não sabia que a reação deles seria tão hostil, "Buolamwini disse recentemente em uma entrevista em seu laboratório do MIT.

Na quarta-feira, veio em sua defesa uma coalizão de pesquisadores, incluindo o pioneiro da IA ​​Yoshua Bengio, recente vencedor do Prêmio Turing, considerada a versão do Prêmio Nobel para a área de tecnologia.

Eles criticaram a resposta da Amazon, especialmente sua distinção entre reconhecimento facial e análise.

"Em contraste com as afirmações do Dr. Wood, viés encontrado em um sistema é motivo de preocupação no outro, particularmente em casos de uso que podem afetar gravemente a vida das pessoas, como aplicativos de aplicação da lei, " eles escreveram.

Seus poucos clientes conhecidos publicamente defenderam o sistema da Amazon.

Chris Adzima, analista sênior de sistemas de informação do Gabinete do Xerife do Condado de Washington em Oregon, disse que a agência usa o Rekognition da Amazon para identificar as correspondências mais prováveis ​​entre sua coleção de cerca de 350, 000 fotos de caneca. Mas porque um humano toma a decisão final, "o preconceito desse sistema de computador não é transferido para nenhum resultado ou qualquer ação realizada, "Adzima disse.

Mas cada vez mais, reguladores e legisladores estão tendo suas dúvidas. Um projeto de lei bipartidário no Congresso busca limites para o reconhecimento facial. As legislaturas em Washington e Massachusetts estão considerando suas próprias leis.

Buolamwini disse que a principal mensagem de sua pesquisa é que os sistemas de IA precisam ser cuidadosamente revisados ​​e monitorados de forma consistente se forem usados ​​no público. Não apenas para auditar a precisão, ela disse, mas para garantir que o reconhecimento facial não seja abusado para violar a privacidade ou causar outros danos.

"Não podemos simplesmente deixar que as empresas façam esse tipo de verificação, " ela disse.

© 2019 Associated Press. Todos os direitos reservados.