p A modelagem preditiva deve ser neutra, uma forma de ajudar a remover preconceitos pessoais da tomada de decisões. Mas os algoritmos são compactados com as mesmas tendências que são incorporadas aos dados do mundo real usados ​​para criá-los. O professor de estatística da Wharton, James Johndrow, desenvolveu um método para remover esses vieses. p Sua última pesquisa, em co-autoria com sua esposa, estatístico Kristian Lum, "Um algoritmo para remoção de informações confidenciais:aplicação para previsão de reincidência independente de raça, "concentra-se na remoção de informações sobre raça em dados que prevêem reincidência, mas o método pode ser aplicado além do sistema de justiça criminal.

p “Na justiça criminal, há um grande uso de algoritmos para coisas como quem precisará pagar fiança para sair da prisão antes do julgamento versus quem será solto por conta própria, por exemplo. No centro disso está a ideia de avaliação de risco e tentar ver quem é mais provável, por exemplo, para comparecer às datas do tribunal, "diz Johndrow.

p "Os problemas potenciais com isso são apenas que esses algoritmos são treinados em dados que são encontrados no mundo real. Os algoritmos e suas previsões podem queimar em todas essas coisas humanas que estão acontecendo, portanto, ultimamente tem havido muito mais atenção em garantir que determinados grupos não sejam discriminados por esses algoritmos. "