Lauren Rhue pesquisa o mundo acelerado da inteligência artificial e da tecnologia de aprendizado de máquina. Mas ela quer que todos abrandem.
Rhue, professor assistente de sistemas de informação da Robert H. Smith School of Business da Universidade de Maryland, recentemente auditou a tecnologia de reconhecimento de emoções em três serviços de reconhecimento facial:Amazon Rekognition, Face++ e Microsoft. Sua pesquisa revelou o que Rhue chamou de disparidades raciais "realmente gritantes".

O Amazon Rekognition é oferecido para uso de outras empresas. O Face++ é usado na verificação de identidade. A Microsoft planeja parar de usar sua tecnologia de reconhecimento facial este ano, incluindo as ferramentas de reconhecimento de emoções.

Rhue coletou fotos de jogadores negros e brancos da NBA da temporada de 2016, controlando o grau de sorriso deles. Ela então executou essas fotos através do software de reconhecimento facial.

Em geral, os modelos atribuíram mais emoções negativas aos jogadores negros, descobriu Rhue. Além disso, se os jogadores tivessem expressões faciais ambíguas, os jogadores negros eram mais propensos a ter uma expressão facial negativa, enquanto os jogadores brancos eram mais propensos a "receber o benefício da dúvida".

"Acho que todos devemos dar um passo para trás e pensar:precisamos analisar rostos dessa maneira?" disse Rue.

Rhue, 39, não é o primeiro a explorar a disparidade racial nos sistemas de IA. Por exemplo, a estudante de pós-graduação do MIT Joy Buolamwini deu palestras no TED sobre sua experiência com um software de análise facial que não conseguiu detectar seu rosto porque o algoritmo não havia sido codificado para identificar uma gama ampla o suficiente de tons de pele e estruturas faciais.

“Com o entusiasmo atual pela IA, parece haver a necessidade de criar um modelo para tudo o que você pode criar um modelo”, disse Rhue. "Mas eu realmente gostaria de ver um pouco mais de pausa e reflexão sobre, 'Precisamos disso? O que isso está trazendo para a mesa?'"

O uso da tecnologia de reconhecimento facial está se espalhando. O Porto de Baltimore usa tecnologia de reconhecimento facial para verificar a identidade dos passageiros desembarcados. A HireVue, com sede em Utah, realiza entrevistas em vídeo para possíveis funcionários e avalia os rostos e emoções dos candidatos como parte de sua análise de candidatura. A IA foi implantada para escanear emoções e linguagem corporal para encontrar possíveis ameaças nas multidões.

Alguns estados estão limitando o uso de IA. A Califórnia, por exemplo, está considerando restringir o uso de IA para selecionar candidatos a emprego para evitar "impacto discriminatório". Em Illinois, os empregadores devem divulgar o uso de ferramentas de IA durante entrevistas em vídeo. Maryland tem uma lei semelhante.

E no verão passado, a Câmara Municipal de Baltimore criou uma moratória sobre o uso da tecnologia de reconhecimento facial, isentando o departamento de polícia, até dezembro deste ano.

E à medida que a IA se infiltra em todas as áreas da sociedade, Rhue só quer que as pessoas – e as empresas – parem e pensem nos efeitos a longo prazo.

"Esses tipos de sistemas estão se tornando cada vez mais incorporados em nossa tecnologia. Nem sempre estamos cientes deles. Nem sempre estamos cientes de como eles estão sendo usados", disse Rhue. "E eu acho que é importante entender o potencial de viés. E então a compensação da minha pesquisa é olhar para a intervenção humana para ver se isso a torna melhor, se as pessoas são capazes de contrabalançar esse viés."

Rhue observou que, em todas as situações, é preciso haver uma combinação de ferramentas de IA e intervenção humana para mitigar o viés. Ela quer se antecipar às "consequências negativas e não intencionais".

E ela acha que o resto de seu campo está começando a priorizar esse tipo de trabalho também. Ela disse que a morte de George Floyd nas mãos da polícia e os pedidos subsequentes por justiça racial em 2020 levaram a um interesse em entender as lutas das comunidades marginalizadas e como a tecnologia pode promover a inclusão.

Jui Ramaprasad, professor associado de sistemas de informação na escola de negócios de Maryland, trabalha com Rhue e a conhece desde que ela era estudante de doutorado na Universidade de Nova York. Ela disse que o trabalho que Rhue está fazendo sobre o viés no aprendizado de máquina é um dos "trabalhos mais impactantes" em seu campo.

"Acho que ela está fazendo um trabalho com o qual se importa porque isso a afeta, afeta as pessoas da comunidade", disse Ramaprasad. "Acho muito difícil ser a pessoa que faz o trabalho quando você também é uma pessoa que enfrenta esse preconceito ou discriminação no ambiente em que vivemos e trabalhamos".

Apesar das disparidades que ela descobriu, Rhue acredita que a tecnologia pode ser utilizada para o bem. Por exemplo, Rhue pesquisou crowdfunding em plataformas digitais com foco no Kickstarter, que organiza campanhas com base no interesse da equipe. Em um esforço para destacar projetos apresentados por criadores negros, ela descobriu que usar modelos preditivos em vez de depender de análises humanas subjetivas aumentava as taxas de recomendação para projetos negros sem diminuir a taxa de sucesso.

“Acho que há muito potencial para a tecnologia realmente ter um impacto positivo na inclusão e, particularmente, na inclusão financeira”, disse Rhue.

Fora de sua pesquisa, Rhue ensina visualização de dados para alunos de graduação e mestrado. Ela lecionou anteriormente na Wake Forest University.

Rhue disse que pode ver o impacto que ela causa na sala de aula. Ela teve alunos dizendo a ela, incluindo alguns na pós-graduação, que ela é a única professora negra que eles já tiveram. E ela teve outros lhe dizendo que querem buscar seu próprio Ph.D. porque ela fez parecer possível.

Will Hawks é professor assistente de administração na Nova Southeastern University Florida. Antes disso, ele foi aluno de Rhue na Wake Forest.

Embora Rhue não tenha sido seu primeiro professor negro – Hawks já havia frequentado a Florida A&M University, uma instituição historicamente negra – vê-la no campus ainda impressionou.

“Ver alguém que se parece com você realizar coisas que você não acha que podem ser realizadas – é o impossível tornado real”, disse Hawks. "Ser um professor negro na mesma indústria agora... nossa presença significa muito mais para eles. E eu sei disso porque estive no lugar deles."

Hawks chamou Rhue de "mudança de jogo" para ele. Ele manteve contato com ela desde a formatura; ele entrou em contato quando estava se candidatando a empregos acadêmicos e até recentemente a convidou para se juntar a ele na pesquisa de crimes de ódio conhecidos como "Zoom bombings" e como esses incidentes afetam organizações e pessoas. Hawks acredita que Rhue mudou o curso de sua vida.

"Você não estaria falando com o Dr. Will Hawks agora se eu não tivesse cruzado com o Dr. Rhue", disse Hawks. + Explorar mais

A tecnologia de leitura de emoções falha no teste de preconceito racial

Sol de Baltimore 2022.
Distribuído pela Tribune Content Agency, LLC.