Em 2020, a polícia de Detroit prendeu um homem negro por furtar quase US$ 4.000 em relógios de uma butique de luxo. Ele foi algemado na frente de sua família e passou uma noite na prisão. Depois de alguns questionamentos, no entanto, ficou claro que eles tinham o homem errado. Então, por que eles o prenderam em primeiro lugar?
O motivo:um algoritmo de reconhecimento facial combinou a foto em sua carteira de motorista com imagens granuladas de câmeras de segurança.

Algoritmos de reconhecimento facial – que repetidamente demonstraram ser menos precisos para pessoas com pele mais escura – são apenas um exemplo de como o preconceito racial é replicado e perpetuado por tecnologias emergentes.

"Há uma urgência, pois a IA é usada para tomar decisões de alto risco", diz o professor visitante da MLK, S. Craig Watkins, cuja residência acadêmica durante seu tempo no MIT é o Institute for Data, Systems, and Society (IDSS). "As apostas são maiores porque novos sistemas podem replicar vieses históricos em escala".

Watkins, professor da Universidade do Texas em Austin e diretor fundador do Institute for Media Innovation, pesquisa os impactos da mídia e dos sistemas baseados em dados no comportamento humano, com uma concentração específica em questões relacionadas ao racismo sistêmico. “Uma das questões fundamentais do trabalho é:como construímos modelos de IA que lidam com a desigualdade sistêmica de forma mais eficaz?”

IA ética

A desigualdade é perpetuada pela tecnologia de muitas maneiras em muitos setores. Um domínio amplo é o da saúde, onde Watkins diz que a desigualdade aparece tanto na qualidade quanto no acesso ao atendimento. A demanda por cuidados de saúde mental, por exemplo, supera em muito a capacidade dos serviços nos Estados Unidos. Essa demanda foi exacerbada pela pandemia e o acesso aos cuidados é mais difícil para as comunidades de cor.

Para Watkins, eliminar o viés do algoritmo é apenas um componente da construção de uma IA mais ética. Ele também trabalha para desenvolver ferramentas e plataformas que podem abordar a desigualdade fora da tecnologia de frente. No caso do acesso à saúde mental, isso envolve o desenvolvimento de uma ferramenta para ajudar os profissionais de saúde mental a prestar cuidados de forma mais eficiente.

"Estamos construindo uma plataforma de coleta de dados em tempo real que analisa atividades e comportamentos e tenta identificar padrões e contextos nos quais surgem certos estados mentais", diz Watkins. "O objetivo é fornecer insights informados por dados para prestadores de cuidados, a fim de fornecer serviços de maior impacto."

Watkins não é estranho às preocupações de privacidade que tal aplicativo levantaria. Ele adota uma abordagem centrada no usuário para o desenvolvimento baseado na ética dos dados. "Os direitos de dados são um componente significativo", argumenta. "Você tem que dar ao usuário controle total sobre como seus dados são compartilhados e usados ​​e quais dados um profissional de saúde vê. Ninguém mais tem acesso."

Combate ao racismo sistêmico

Aqui no MIT, Watkins se juntou à recém-lançada Iniciativa de Combate ao Racismo Sistêmico (ICSR), uma colaboração de pesquisa do IDSS que reúne professores e pesquisadores do MIT Stephen A. Schwarzman College of Computing e outros. O objetivo do ICSR é desenvolver e aproveitar ferramentas computacionais que possam ajudar a efetuar mudanças estruturais e normativas em direção à equidade racial.

A colaboração do ICSR tem equipes de projeto separadas que pesquisam o racismo sistêmico em diferentes setores da sociedade, incluindo assistência médica. Cada uma dessas "verticais" aborda questões diferentes, mas interconectadas, da sustentabilidade ao emprego e aos jogos. Watkins faz parte de dois grupos do ICSR, policiamento e habitação, que visam entender melhor os processos que levam a práticas discriminatórias em ambos os setores. “A discriminação na habitação contribui significativamente para a diferença racial de riqueza nos EUA”, diz Watkins.

A equipe de policiamento examina padrões de como diferentes populações são policiadas. "Há obviamente uma história significativa e carregada de policiamento e corrida na América", diz Watkins. "Esta é uma tentativa de entender, identificar padrões e notar diferenças regionais."

Watkins e a equipe de policiamento estão construindo modelos usando dados que detalham as intervenções policiais, respostas e raça, entre outras variáveis. O ICSR é uma boa opção para esse tipo de pesquisa, diz Watkins, que observa o foco interdisciplinar do IDSS e do SCC.

"A mudança sistêmica requer um modelo colaborativo e diferentes conhecimentos", diz Watkins. "Estamos tentando maximizar a influência e o potencial no lado computacional, mas não chegaremos lá apenas com a computação."

Oportunidades de mudança

Os modelos também podem prever resultados, mas Watkins tem o cuidado de apontar que nenhum algoritmo sozinho resolverá os desafios raciais.

"Modelos, na minha opinião, podem informar políticas e estratégias que nós, como seres humanos, temos que criar. Modelos computacionais podem informar e gerar conhecimento, mas isso não significa mudança." É preciso trabalho adicional – e experiência adicional em políticas e advocacia – para usar o conhecimento e as percepções para lutar pelo progresso.

Uma importante alavanca de mudança, ele argumenta, será construir uma sociedade mais alfabetizada em IA por meio do acesso a informações e oportunidades para entender a IA e seu impacto de uma maneira mais dinâmica. Ele espera ver maiores direitos de dados e maior compreensão de como os sistemas sociais afetam nossas vidas.

“Fui inspirado pela resposta dos mais jovens aos assassinatos de George Floyd e Breonna Taylor”, diz ele. “Suas mortes trágicas iluminam as implicações do racismo estrutural no mundo real e forçaram a sociedade em geral a prestar mais atenção a essa questão, o que cria mais oportunidades de mudança”.