Algoritmos que prevêem crimes estão nos observando e nos julgando pelas cartas que recebemos
Crédito:Pavel Danilyuk da Pexels Seu dinheiro, código postal, amigos e familiares podem fazer toda a diferença na forma como o sistema criminal trata você.
A polícia de Nova Gales do Sul descartou recentemente um programa amplamente condenado, conhecido como Plano de Gestão de Alvos Suspeitos. Utilizou pontuações algorítmicas de risco para identificar “alvos”, alguns com apenas 10 anos de idade, para vigilância policial.
Mas programas semelhantes continuam em vigor. Por exemplo, os Serviços Corretivos de NSW utilizam uma ferramenta de avaliação estatística chamada LSI-R para prever se os prisioneiros irão reincidir.
Prisioneiros de “alto risco” recebem “intervenções de alta intensidade” e podem ter sua liberdade condicional negada. As pontuações de risco são calculadas a partir de fatos como “amigos criminosos”, envolvimento familiar em crimes ou drogas, problemas financeiros, morar em um “bairro com alto índice de criminalidade” e mudanças frequentes de endereço.
Um algoritmo preditivo é um conjunto de regras que os computadores (e às vezes as pessoas) devem seguir, com base em padrões de dados. Muito já foi escrito sobre como os algoritmos nos discriminam, desde motores de busca tendenciosos até bancos de dados de saúde.
No meu livro recentemente publicado, Justiça Artificial, defendo que a utilização de ferramentas que prevêem o nosso comportamento com base em factores como a pobreza ou o contexto familiar também nos deve preocupar. Se formos punidos, será apenas pelo que fizemos de errado, e não pelas cartas que recebemos.
Os algoritmos estão nos observando
Algoritmos geram pontuações de risco usadas em sistemas de justiça criminal em todo o mundo. No Reino Unido, o OASys (Sistema de Avaliação de Delinquentes) é utilizado como parte da informação pré-sentença fornecida aos juízes – molda as decisões sobre fiança, liberdade condicional e sentença. Nos Estados Unidos, uma ferramenta conhecida como COMPAS faz algo semelhante.
As pontuações de risco também são usadas fora da justiça criminal e nem sempre precisam de computadores para gerá-las. Uma breve pesquisa conhecida como Ferramenta de Risco de Opioides ajuda os médicos na Austrália e em todo o mundo a decidir se prescreverão alívio da dor para doenças agudas e crônicas, prevendo se os pacientes farão uso indevido de seus medicamentos.
Algoritmos preditivos literalmente salvam vidas:eles são usados para alocar órgãos de doadores, fazer triagem de pacientes e tomar decisões urgentes sobre tratamentos médicos. Mas também podem criar e sustentar desigualdades injustificadas.
Imagine que desenvolvemos um algoritmo - "CrimeBuster" - para ajudar a polícia a patrulhar os "pontos críticos" do crime. Utilizamos dados que ligam o crime a áreas habitadas por famílias de baixa renda. Como não podemos medir o “crime” directamente, em vez disso olhamos para as taxas de detenção.
No entanto, o facto de as taxas de detenção serem elevadas nestas áreas pode apenas indicar-nos que a polícia passa mais tempo a patrulhá-las. Se não houver justificação para esta prática de policiamento intensivo, a implementação do CrimeBuster daria a estes preconceitos o estatuto de política.
Os algoritmos estão nos julgando
O problema aumenta quando usamos estatísticas para fazer previsões sobre ações intencionais – as coisas que escolhemos fazer.
Esta pode ser uma previsão sobre se alguém será um funcionário “tóxico”, cometerá crimes ou abusará de drogas.
Os factores que influenciam estas previsões raramente são divulgados. Para o algoritmo de condenação britânico OASys, incluem se alguém foi vítima de violência doméstica.
O sistema americano COMPAS captura o divórcio parental e o abuso infantil. A Ferramenta de Risco de Opioides pergunta se a família do paciente tem histórico de abuso de substâncias e se o paciente (se for mulher) tem histórico de “abuso sexual pré-adolescente”.
Em cada caso, estes factos tornam mais provável que alguém vá para a prisão, perca tratamento médico, e assim por diante.
Todos nós queremos ter a oportunidade de fazer escolhas fiéis a quem somos e atender às nossas necessidades e objetivos. E queremos ter as mesmas escolhas que as outras pessoas, em vez de sermos apontados como incapazes de escolher bem.
Quando punimos alguém por causa de factos que não podem influenciar facilmente, fazemos exactamente isto:tratamos essa pessoa como se ela simplesmente não pudesse evitar fazer escolhas erradas.
Não podemos prender pessoas por precaução
O problema não é o uso de algoritmos em si. No século XIX, o médico italiano Cesare Lombroso argumentou que poderíamos identificar “o criminoso nato” a partir de características físicas – um crânio deformado, maxilar largo, membros longos ou orelhas grandes.
Não muito tempo depois, o criminologista britânico Charles Goring aceitou esta ideia e argumentou que certas características mentais “defeituosas” tornavam “o destino da prisão” inevitável.
Os algoritmos simplesmente tornam muito mais difícil ver o que está acontecendo no mundo da avaliação de risco criminal.
Mas quando olhamos, verificamos que o que está a acontecer é algo bastante semelhante à visão de Lombroso-Goring:tratamos as pessoas como se estivessem fadadas a fazer o que é errado e prendemo-las (ou mantemo-las trancadas) apenas por precaução.
Os organismos públicos deveriam ser obrigados a publicar os factos que fundamentam as previsões subjacentes a tais decisões. A aprendizagem automática só deve ser utilizada se e na medida em que estes requisitos de publicação possam ser cumpridos. Isso torna mais fácil ter conversas significativas sobre onde traçar os limites.
No contexto da justiça criminal, essa linha é clara. Deveríamos apenas aplicar penas mais severas por mau comportamento, e não por outras características físicas, mentais ou sociais. Existem muitas directrizes que adoptam esta abordagem, e esta é a linha que as instituições australianas devem seguir.
Uma vez aplicadas as penas pelos seus crimes, os presos não devem ser tratados de forma diferente ou presos por mais tempo devido aos seus amigos e familiares, à sua situação financeira ou à forma como foram tratados pelas mãos de terceiros.
