Em um estudo com implicações potencialmente de longo alcance para a justiça criminal nos Estados Unidos, uma equipe de pesquisadores da Califórnia descobriu que os algoritmos são significativamente mais precisos do que os humanos na previsão de quais réus serão posteriormente presos por um novo crime.

Ao avaliar apenas um punhado de variáveis ​​em um ambiente controlado, mesmo humanos não treinados podem corresponder à habilidade preditiva de instrumentos sofisticados de avaliação de risco, diz o novo estudo de estudiosos da Universidade de Stanford e da Universidade da Califórnia, Berkeley.

Mas as configurações de justiça criminal do mundo real são muitas vezes muito mais complexas, e quando um grande número de fatores são úteis para prever a reincidência, as ferramentas baseadas em algoritmos tiveram um desempenho muito melhor do que as pessoas. Em alguns testes, as ferramentas aproximaram-se de 90% de precisão na previsão de quais réus podem ser presos novamente, em comparação com cerca de 60% para a previsão humana.

"A avaliação de risco há muito faz parte da tomada de decisões no sistema de justiça criminal, "disse Jennifer Skeem, psicólogo especializado em justiça criminal na UC Berkeley. "Embora o debate recente tenha levantado questões importantes sobre ferramentas baseadas em algoritmos, nossa pesquisa mostra que em contextos semelhantes a cenários reais de justiça criminal, as avaliações de risco costumam ser mais precisas do que o julgamento humano na previsão da reincidência. Isso é consistente com uma longa linha de pesquisa comparando humanos a ferramentas estatísticas. "

"Os instrumentos de avaliação de risco validados podem ajudar os profissionais de justiça a tomar decisões mais informadas, "disse Sharad Goel, um cientista social da computação na Universidade de Stanford. "Por exemplo, essas ferramentas podem ajudar os juízes a identificar e potencialmente liberar pessoas que representam pouco risco para a segurança pública. Mas, como qualquer ferramenta, os instrumentos de avaliação de risco devem ser combinados com políticas sólidas e supervisão humana para apoiar uma reforma justa e eficaz da justiça criminal. "

O artigo - "Os limites das previsões humanas de reincidência" - estava programado para publicação em 14 de fevereiro 2020, no Avanços da Ciência . Skeem apresentou a pesquisa em 13 de fevereiro em uma coletiva de imprensa na reunião anual da Associação Americana para o Avanço da Ciência (AAAS) em Seattle, Wash. Dois co-autores se juntaram a ela:Ph.D. graduado Jongbin Jung e Ph.D. candidato Zhiyuan "Jerry" Lin, ambos estudaram ciências sociais computacionais em Stanford.

Os resultados da pesquisa são importantes enquanto os Estados Unidos debatem como equilibrar as necessidades das comunidades por segurança e, ao mesmo tempo, reduzir as taxas de encarceramento que são as mais altas de qualquer nação do mundo - e afetam desproporcionalmente os afro-americanos e as comunidades de cor.

Se o uso de ferramentas avançadas de avaliação de risco continuar e melhorar, que poderia refinar decisões criticamente importantes que os profissionais de justiça tomam diariamente:quais indivíduos podem ser reabilitados na comunidade, em vez de na prisão? Que podem ir para prisões de baixa segurança, e quais para sites de alta segurança? E quais prisioneiros podem ser libertados com segurança para a comunidade em liberdade condicional?

As ferramentas de avaliação conduzidas por algoritmos são amplamente utilizadas nos Estados Unidos, em áreas tão diversas quanto cuidados médicos, bancos e admissões universitárias. Eles têm sido usados ​​há muito tempo na justiça criminal, ajudando juízes e outros a pesar dados na tomada de decisões.

Mas em 2018, pesquisadores da Dartmouth University levantaram questões sobre a precisão de tais ferramentas em uma estrutura de justiça criminal. Em um estudo, eles montaram 1, 000 vinhetas curtas de réus criminais, com informações extraídas de uma avaliação de risco amplamente usada chamada Perfil de Gerenciamento de Criminosos Correcional para Sanções Alternativas (COMPAS).

Cada uma das vinhetas incluía cinco fatores de risco para reincidência:o sexo do indivíduo, era, acusação criminal atual, e o número de crimes anteriores de adultos e jovens. Os pesquisadores então usaram a plataforma Mechanical Turk da Amazon para recrutar 400 voluntários para ler as vinhetas e avaliar se cada réu cometeria outro crime dentro de dois anos. Depois de revisar cada vinheta, os voluntários foram informados se sua avaliação previu com precisão a reincidência do sujeito.

Tanto as pessoas quanto o algoritmo foram precisos um pouco menos de dois terços do tempo.

Esses resultados, os autores de Dartmouth concluíram, lançar dúvidas sobre o valor dos instrumentos de avaliação de risco e previsão algorítmica.

O estudo gerou cobertura noticiosa de alto nível - e enviou uma onda de dúvidas à comunidade de reforma da justiça criminal dos EUA. Se ferramentas sofisticadas não fossem melhores do que as pessoas para prever quais réus reincidiriam, alguns disseram, então havia pouco sentido em usar os algoritmos, o que pode apenas reforçar o preconceito racial na sentença. Alguns argumentaram que tais decisões profundas deveriam ser feitas por pessoas, não computadores.

Lidando com o "ruído" em decisões complexas

Mas quando os autores do novo estudo da Califórnia avaliaram conjuntos de dados adicionais e mais fatores, eles concluíram que as ferramentas de avaliação de risco podem ser muito mais precisas do que as pessoas na avaliação do potencial de reincidência.

O estudo replicou as descobertas de Dartmouth, baseadas em um número limitado de fatores. Contudo, as informações disponíveis nos ambientes judiciários são muito mais ricas - e freqüentemente mais ambíguas.

"Relatórios de investigação pré-sentença, declarações de impacto do advogado e da vítima, e o comportamento de um indivíduo adiciona complexidade, inconsistente, risco irrelevante, e informações potencialmente tendenciosas, "explica o novo estudo.

A hipótese dos autores:Se as avaliações da pesquisa operam em uma estrutura do mundo real, onde as informações relacionadas ao risco são complexas e "barulhentas, "então as ferramentas avançadas de avaliação de risco seriam mais eficazes do que os humanos para prever quais criminosos reincidiriam.

Para testar a hipótese, eles expandiram seu estudo para além do COMPAS para incluir outros conjuntos de dados. Além dos cinco fatores de risco usados ​​no estudo de Dartmouth, eles adicionaram mais 10, incluindo status de emprego, uso de substâncias e saúde mental. Eles também expandiram a metodologia:Ao contrário do estudo de Dartmouth, em alguns casos, os voluntários não eram informados após cada avaliação se suas previsões eram precisas. Esse feedback não está disponível para juízes e outras pessoas no sistema judicial.

O resultado:os humanos tiveram um desempenho "consistentemente pior" do que a ferramenta de avaliação de risco em casos complexos, quando não tinham feedback imediato para orientar as decisões futuras.

Por exemplo, o COMPAS previu corretamente a reincidência 89% das vezes, em comparação com 60% para os humanos que não receberam feedback caso a caso sobre suas decisões. Quando vários fatores de risco foram fornecidos e preditivos, outra ferramenta de avaliação de risco previu com precisão a reincidência em 80% das vezes, em comparação com menos de 60% para os humanos.

As descobertas parecem apoiar o uso contínuo e o aprimoramento futuro dos algoritmos de avaliação de risco. Mas, como Skeem observou, essas ferramentas normalmente têm uma função de suporte. A autoridade final está com os juízes, oficiais de liberdade condicional, clínicos, comissários de liberdade condicional e outros que moldam as decisões no sistema de justiça criminal.