As pessoas podem ser tendenciosas, mesmo sem perceber, mas os programas de computador não deveriam ter nenhum motivo para discriminar os pacientes negros ao prever suas necessidades de saúde. Direito?

Errado, novas pesquisas sugerem.

Cientistas que estudam um algoritmo amplamente usado, típico do tipo que as seguradoras de saúde usam para tomar decisões cruciais sobre cuidados com milhões de pessoas, descobriram evidências significativas de preconceito racial quando se trata de prever os riscos à saúde de pacientes negros.

As evidências, descrito quinta-feira no jornal Ciência , têm implicações de longo alcance para a saúde e o bem-estar dos americanos à medida que nos tornamos cada vez mais dependentes de computadores para transformar dados brutos em informações úteis. Os resultados também apontam para a raiz do problema - e não é o programa de computador.

"Não deveríamos culpar o algoritmo, "disse o líder do estudo, Dr. Ziad Obermeyer, pesquisador de aprendizado de máquina e saúde na Universidade da Califórnia, Berkeley. "Devíamos estar nos culpando, porque o algoritmo está apenas aprendendo com os dados que fornecemos. "

Um algoritmo é um conjunto de instruções que descreve como realizar uma determinada tarefa. Uma receita de brownies é um algoritmo. O mesmo acontece com a lista de voltas a dar para ir de carro até a festa do seu amigo.

Um algoritmo de computador não é diferente, exceto que é escrito em código em vez de palavras. Hoje, eles são usados ​​para segmentar anúncios online, reconhecer rostos e encontrar padrões em conjuntos de dados em grande escala, tornando o mundo mais eficiente, lugar compreensível.

Mas, embora os algoritmos tenham se tornado mais poderosos e onipresentes, aumentaram as evidências de que refletem e até amplificam preconceitos e racismo do mundo real.

Um algoritmo usado para determinar as sentenças de prisão foi considerado racialmente preconceituoso, predizendo incorretamente um maior risco de reincidência para réus negros e um risco menor para réus brancos. O software de reconhecimento facial demonstrou ter preconceito de raça e gênero, identificar com precisão o sexo de uma pessoa apenas entre homens brancos. Descobriu-se que anúncios online que aparecem com os resultados de pesquisa do Google mostram empregos de alta renda para homens com muito mais frequência do que para mulheres.

Obermeyer disse que foi quase por acidente que ele e seus colegas tropeçaram no viés embutido no algoritmo de saúde que estavam estudando.

O algoritmo é usado para identificar pacientes com problemas de saúde que podem levar a complicações mais sérias e custos mais elevados no futuro. Um grande hospital acadêmico o comprou para ajudar a selecionar pacientes candidatos a um programa de coordenação de cuidados, que fornece acesso a serviços como consultas médicas rápidas e uma equipe de enfermeiras que podem fazer chamadas domiciliares ou reabastecer prescrições.

"É como um programa VIP para pessoas que realmente precisam de ajuda extra com sua saúde, "Obermeyer disse.

O objetivo é cuidar desses pacientes antes que seu quadro piore. Isso não só os mantém mais saudáveis ​​a longo prazo, ele mantém os custos baixos para o sistema de saúde.

Esses tipos de algoritmos geralmente são proprietários, "tornando difícil para pesquisadores independentes dissecá-los, "escreveram os autores do estudo. Mas, neste caso, o sistema de saúde o forneceu voluntariamente, junto com dados que permitiriam aos pesquisadores ver se o algoritmo estava prevendo com precisão as necessidades dos pacientes.

Os pesquisadores notaram algo estranho:os pacientes negros que haviam recebido a mesma pontuação de alto risco que os pacientes brancos tinham muito mais probabilidade de ver sua saúde piorar no ano seguinte.

"Em um determinado nível de risco, conforme visto pelo algoritmo, pacientes negros acabaram ficando muito mais doentes do que pacientes brancos, "Obermeyer disse.

Isso não fazia sentido, ele disse, então os cientistas se concentraram na discrepância. Eles analisaram os dados de saúde de 6, 079 pacientes negros e 43, 539 pacientes brancos e perceberam que o algoritmo estava fazendo exatamente o que havia sido solicitado.

O problema é que as pessoas que o projetaram pediram para fazer a coisa errada.

O sistema avaliou os pacientes com base nos custos de saúde em que incorreram, presumindo que se seus custos fossem altos, era porque suas necessidades eram altas. Mas a suposição de que altos custos eram um indicador de alta necessidade acabou sendo errada, Obermeyer disse, porque os pacientes negros geralmente recebem menos serviços de saúde do que os brancos, mesmo quando eles estão igualmente indispostos.

Isso significava que o algoritmo estava direcionando incorretamente alguns pacientes negros para longe do programa de coordenação de cuidados.

Corrigir que a disparidade racial pode fazer com que a porcentagem de pacientes negros inscritos no programa de atendimento especializado salte de 17,7% para 46,5%, os cientistas perceberam.

Tendo identificado o problema - uma suposição humana falha - os cientistas começaram a consertá-lo. Eles desenvolveram um modelo alternativo que se concentrou nos "custos evitáveis, “como atendimentos de emergência e internações. Outro modelo voltado para a saúde, medido pelo número de surtos de condições crônicas ao longo do ano.

Os pesquisadores compartilharam sua descoberta com o fabricante do algoritmo, que então analisou seu conjunto de dados nacionais de quase 3,7 milhões de pacientes com seguro comercial, confirmando os resultados. Juntos, eles experimentaram um modelo que combinava previsão de saúde com previsão de custo, em última análise, reduzindo o viés em 84%.

Dra. Karen Joynt Maddox, cardiologista e pesquisador de políticas de saúde na Washington University of St. Louis, elogiou o trabalho como "uma maneira cuidadosa de olhar para este problema emergente realmente importante."

"Estamos cada vez mais confiando nesses algoritmos e nesses modelos de previsão de caixa preta para nos dizer o que fazer, como se comportar, como tratar pacientes, como direcionar intervenções, "disse Joynt Maddox, que não estava envolvido no estudo. "É perturbador, de certa forma, pensar se esses modelos que simplesmente tomamos como certos e que estamos usando estão sistematicamente prejudicando determinados grupos. "

A falha neste caso não foi com o próprio algoritmo, mas com as suposições feitas ao projetá-lo, ela foi rápida em acrescentar.

Obermeyer disse que optou por não destacar a empresa que fez o algoritmo ou o sistema de saúde que o utilizou. Ele disse que esperavam enfatizar o papel de todo um grupo de algoritmos de previsão de risco que, por estimativas da indústria, são usados ​​para avaliar cerca de 200 milhões de pessoas por ano.

Algumas pessoas reagiram às descobertas de viés algorítmico, sugerindo que os algoritmos fossem descartados completamente, mas os algoritmos não são o problema, disse Sendhil Mullainathan, um cientista comportamental computacional da Universidade de Chicago e o autor sênior do estudo.

Na verdade, quando devidamente estudado e tratado, eles podem ser parte da solução.

"Eles refletem os vieses dos dados que são os nossos vieses, "Mullainathan disse." Agora, se você puder descobrir como consertar isso ... o potencial que isso tem para nos desanimar é realmente forte. "

Um algoritmo melhor pode ajudar a diagnosticar e tratar os efeitos das disparidades raciais no atendimento, mas não pode "curar" a disparidade na raiz do problema:o fato de que menos dólares são gastos no cuidado de pacientes negros, na média, do que em pacientes brancos, ele reconheceu.

Essas disparidades de custo provavelmente surgem por uma série de razões, os autores do estudo disseram. Raça e discriminação podem desempenhar um papel, e mesmo quando eles têm seguro, os pacientes mais pobres enfrentam "barreiras substanciais ao acesso aos cuidados de saúde".

"Na medida em que raça e status socioeconômico estão correlacionados, esses fatores afetarão diferentemente os pacientes negros, "escreveram os pesquisadores.

Consertar essas fontes de disparidade do mundo real apresenta um desafio mais profundo e muito mais complicado.

Em última análise, Obermeyer disse, "é muito mais fácil consertar vieses em algoritmos do que em humanos."

© 2019 Los Angeles Times
Distribuído pela Tribune Content Agency, LLC.