p Setembro passado, a ACLU entrou com uma ação de amicus brief em um caso da Califórnia que traz à tona uma polêmica sobre o uso de algoritmos e inteligência artificial no direito penal. p Uma amostra de DNA retirada de uma amostra maior de DNA humano misto implicou Billy Ray Johnson em roubos e agressões sexuais. Johnson negou ter cometido os crimes, mas ele recebeu uma sentença de prisão perpétua sem liberdade condicional. Os promotores basearam seu caso nos resultados de uma ferramenta de aplicação da lei executando um algoritmo sofisticado chamado TrueAllele.

p Os advogados de Johnson nunca tiveram permissão para examinar o código-fonte de TrueAllele, para ver se de alguma forma continha algum viés de informação. Os promotores argumentaram com sucesso que as leis protegiam o algoritmo como segredo comercial.

p Para Jessica Gabel Cino, reitor associado para assuntos acadêmicos e professor associado de direito, a decisão levantou uma grande bandeira vermelha.

p "Nenhuma tecnologia é infalível, "ela disse." A tecnologia é projetada por humanos e operada por humanos, portanto, definitivamente há espaço para erro humano em todo o processo. Além disso, os resultados são tão bons quanto a entrada. "

p Cino continuou. "Os sistemas são desenvolvidos para fins proprietários, por empresas privadas que procuram obter lucro. Mas estamos falando sobre o acesso a informações que afetam a liberdade de uma pessoa. Para negar acesso a sequências de validação, código-fonte ou dados proprietários quando afetam a liberdade de uma pessoa? Usar um mago escondido atrás de uma cortina para obter uma condenação dilui a integridade do sistema. "

p Vera Eidelman, da ACLU, um William J. Brennan Fellow com o discurso da ACLU, Privacidade, e projeto de tecnologia, explicado com mais detalhes em setembro.

p "O preconceito racial também costuma se insinuar em algoritmos, porque os dados subjacentes refletem as disparidades raciais existentes e porque os resultados imprecisos para grupos minoritários menores podem estar ocultos nos resultados gerais, "Eidelman escreveu." claro, existe a possibilidade de incentivos financeiros perverterem os objetivos das empresas que constroem esses algoritmos. No contexto da tipagem de DNA, a acusação, apoiado pelos recursos substanciais do estado, é o cliente mais provável de uma empresa - e esse cliente provavelmente ficará mais satisfeito com um algoritmo que oferece uma correspondência. Assim, as empresas podem criar programas para desviar em direção a correspondências sobre a verdade. "

p Preocupações semelhantes surgem em relação ao uso de IA em decisões de fiança e condenação.

p Vic Reynolds (J.D. '86), promotor distrital do condado de Cobb, Geórgia, viu o avanço da tecnologia na prática jurídica em sua carreira. Ele esteve em ambos os lados do banco, como um juiz, um advogado de defesa e, hoje, um promotor.

p "Estamos falando de uma área do direito onde há muito poucos precedentes, "Reynolds disse." Se nos comprometermos com um sistema onde a IA está sendo usada para ajudar a formular uma sentença criminal, temos, de fato, a obrigação ética de compartilhar a base desse sistema com as próprias pessoas cujas vidas são afetadas. "

p Ele diz que há prós e contras em usar IA como ferramenta de condenação.

p "Do lado positivo - sempre que temos o elemento humano envolvido, carrega consigo as fragilidades humanas, "disse ele." Os juízes são humanos, então, mesmo bons juízes podem ter um dia muito ruim, um dia em que há uma briga com um cônjuge ou alguma outra coisa o afetando.

p "Usar um sistema de IA tem o potencial de remover parte dessa fragilidade humana, "Reynolds disse.

p E os contras?

p "Tendo sido juiz, Eu sei que a essência dessa posição é discrição, "Reynolds disse." Até mesmo as diretrizes de condenação federais começaram recentemente a devolver parte dessa discrição aos juízes de condenação.

p "Digamos que conectemos a história de uma pessoa a um sistema de inteligência artificial. Com base em condenações criminais anteriores, o sistema recomenda uma sentença de 10 anos. Mas com um olhar mais atento, podemos ver que as condenações anteriores foram baseadas em uma situação de abuso de drogas e que uma melhor decisão de longo prazo pode ser uma sentença que enfatiza o tratamento substantivo. Para mim, é aqui que a discrição de um juiz entraria em jogo.

p "Se você não tem esse elemento humano envolvido, e você perde o elemento de discrição, há uma chance de cometer erros. "

p Cino cita um estudo publicado em Avanços da Ciência sobre a credibilidade do programa de computador COMPAS (Perfil de Gerenciamento de Criminoso Correcional para Sanções Alternativas), que avalia se os réus devem ser libertados sob fiança com base no risco de reincidência. Os autores do estudo descobriram que o COMPAS, que tem sido usado para avaliar mais de um milhão de réus em todos os EUA, "não é mais preciso ou justo do que as previsões de pessoas com pouca ou nenhuma experiência em justiça criminal que responderam a uma pesquisa online."

p “O sistema de justiça criminal está ávido por tecnologia que torne a tomada de decisões menos subjetiva, "Cino disse, "mas a adoção precoce sem validação adequada cria consequências de longo prazo que são difíceis de corrigir."

p Cino, Reynolds e muitos outros no sistema legal estarão observando o caso Johnson na Califórnia. Os advogados apresentarão argumentos orais no início de 2018. Cino espera uma decisão que apoie a transparência.

p "Se vamos usar inteligência artificial, " ela disse, "Esperamos passar para um modelo de código aberto que nos mova além desta muralha chinesa de segredos comerciais proprietários. Seja de código aberto, ou o acusado obtém acesso ao algoritmo. Há uma razão pela qual temos o direito a um julgamento justo. "