Por lei, as decisões de crédito e empréstimo não podem discriminar com base na raça ou levar a resultados que diferem substancialmente por raça. Mas para garantir que eles não discriminem, bancos e outros credores não podem perguntar sobre corrida na maioria dos aplicativos. Isso torna difícil para os auditores garantir que as decisões de crédito sejam justas.

Para avaliar as disparidades raciais nas decisões de empréstimo, credores ou auditores devem inferir as raças dos candidatos, geralmente usando um sistema - conhecido como proxy - que adivinha as corridas dos candidatos com base no que eles sabem, como seus bairros e sobrenomes.

Mas esses proxies - incluindo um método usado pelo Consumer Financial Protection Bureau para auditar os credores - podem produzir resultados muito diferentes, dependendo de pequenas mudanças em como eles adivinham as corridas dos candidatos, de acordo com um novo estudo liderado por Cornell.

“É preocupante que esses modelos estejam sendo usados ​​para determinar se as instituições financeiras cumprem a lei, "disse Madeleine Udell, Richard e Sybil Smith Sesquicentennial Fellow e professor assistente na Escola de Pesquisa Operacional e Engenharia da Informação. "Eles claramente não estão avaliando o que deveriam fazer."

Seu papel, "Equidade sob o desconhecimento:avaliando a disparidade quando a classe protegida não é observada, "será apresentado na Conferência ACM sobre Justiça, Responsabilidade e transparência, 29 a 31 de janeiro em Atlanta. O estudante de doutorado da Cornell Tech, Xiaojie Mao, é o autor principal. Os co-autores incluem Udell; Nathan Kallus, professor assistente de pesquisa operacional e engenharia da informação na Cornell Tech; e os cientistas de dados do setor financeiro Jiahao Chen e Geoffry Svacha.

Compreender os riscos de discriminação ao usar inteligência artificial é especialmente importante, pois as instituições financeiras dependem cada vez mais do aprendizado de máquina para as decisões de empréstimo. Modelos de aprendizado de máquina podem analisar resmas de dados para chegar a previsões relativamente precisas, mas suas operações são opacas, tornando difícil garantir a justiça.

"Como pode um computador ser racista se você não está inserindo raça? Bem, pode, e um dos maiores desafios que enfrentaremos nos próximos anos são os humanos usando o aprendizado de máquina com consequências ruins não intencionais que podem nos levar a um aumento da polarização e da desigualdade, "Kallus disse." Houve muitos avanços no aprendizado de máquina e inteligência artificial, e temos que ser realmente responsáveis ​​em como usá-lo. "

Raça é uma das várias características protegidas por leis estaduais e federais; outros incluem idade, gênero e condição de deficiência.

Os pesquisadores usaram dados de hipotecas - o único tipo de empréstimo ao consumidor que inclui corrida nos aplicativos - para testar a precisão do sistema de auditoria Bayesian Improved Sobrenome Geocoding (BISG). Eles descobriram que seus resultados muitas vezes subestimavam ou superestimavam as discrepâncias raciais, dependendo de vários fatores. Assumir a raça com base nos setores censitários onde os candidatos vivem elimina os candidatos negros que moram em bairros de maioria branca e os candidatos brancos que moram em bairros de maioria negra.

O modelo BISG estima a probabilidade de que alguém seja de uma determinada raça, e ao realizar cálculos, um usuário pode definir uma probabilidade mínima - por exemplo, escolher usar qualquer exemplo em que a probabilidade de uma determinada raça seja de 80 por cento ou mais. Mas as diferenças nessa probabilidade mínima produziram variações inesperadamente grandes nos resultados, os pesquisadores descobriram.

"Dependendo de qual limite você escolheu, você obteria respostas totalmente diferentes sobre o quão justo foi o seu procedimento de crédito, "Disse Udell.

As descobertas dos pesquisadores não apenas lançam luz sobre a precisão do BISG, eles podem ajudar os desenvolvedores a melhorar os modelos de aprendizado de máquina que tomam decisões de crédito. Modelos melhores podem ajudar os bancos a tomar decisões mais informadas ao aprovar ou rejeitar empréstimos, o que pode levá-los a dar crédito a candidatos qualificados, mas de baixa renda.

"Você pode descobrir quem realmente ficará inadimplente ou não de maneiras que sejam justas, "Kallus disse." O que queremos fazer é garantir que colocamos essas restrições nos sistemas de aprendizado de máquina que construímos e treinamos, para que entendamos o que significa ser justo e como podemos ter certeza de que é justo desde o início. "