Ainda me lembro da minha surpresa quando um livro do biólogo evolucionista Peter Lawrence intitulado A criação de uma mosca chegou a custar US $ 23 na Amazon, 698, 655,93 (mais $ 3,99 de frete). Embora meus colegas em todo o mundo devam ter ficado bastante deprimidos com o fato de um livro acadêmico ter alcançado tal façanha, o preço exorbitante era, na verdade, o resultado de algoritmos que se alimentavam uns dos outros e saíam do controle. Acontece que, não era apenas a equipe de vendas sendo criativa:os algoritmos estavam dando as cartas.

Este exemplo atraente foi localizado e corrigido. Mas e se essa interferência algorítmica acontecer o tempo todo, incluindo de maneiras que nem percebemos? Se nossa realidade está se tornando cada vez mais construída por algoritmos, onde isso nos deixa humanos?

Inspirado por tais exemplos, meu colega Prof Allen Lee e eu começamos recentemente a explorar os efeitos mais profundos da tecnologia algorítmica em um artigo no Journal of the Association for Information Systems. Nossa exploração nos levou à conclusão de que, hora extra, os papéis da tecnologia da informação e dos humanos foram invertidos. No passado, nós, humanos, usamos a tecnologia como ferramenta. Agora, a tecnologia avançou a ponto de nos usar e até nos controlar.

Nós, humanos, não estamos apenas isolados das decisões que as máquinas estão tomando por nós, mas profundamente afetados por elas de maneiras imprevisíveis. Em vez de ser central para o sistema de decisões que nos afeta, somos lançados em seu ambiente. Nós restringimos progressivamente nossa própria capacidade de tomada de decisão e permitimos que algoritmos assumissem o controle. Nós nos tornamos humanos artificiais, ou artefatos humanos, que são criados, moldado e usado pela tecnologia.

Os exemplos não faltam. Em lei, analistas jurídicos estão gradualmente sendo substituídos por inteligência artificial, o que significa que a defesa ou ação penal bem-sucedida de um caso pode depender parcialmente de algoritmos. O software tem até permissão para prever futuros criminosos, em última análise, controlar a liberdade humana ao definir como a liberdade condicional é negada ou concedida aos prisioneiros. Desta maneira, as mentes dos juízes estão sendo moldadas por mecanismos de tomada de decisão que eles não conseguem entender por causa da complexidade do processo e da quantidade de dados que envolve.

No mercado de trabalho, a dependência excessiva da tecnologia levou algumas das maiores empresas do mundo a filtrar currículos por meio de software, o que significa que os recrutadores humanos nunca verão os detalhes de alguns candidatos em potencial. Isso não só coloca o sustento das pessoas à mercê de máquinas, também pode gerar preconceitos de contratação que a empresa não desejava implementar, como aconteceu com a Amazon.

Nas notícias, o que é conhecido como análise de sentimento automatizada analisa opiniões positivas e negativas sobre empresas com base em diferentes fontes da web. Por sua vez, estes estão sendo usados ​​por algoritmos de negociação que tomam decisões financeiras automatizadas, sem que os humanos precisem realmente ler as notícias.

Consequências não-intencionais

Na verdade, algoritmos operando sem intervenção humana agora desempenham um papel significativo nos mercados financeiros. Por exemplo, 85% de toda a negociação nos mercados de câmbio estrangeiro é conduzida apenas por algoritmos. A crescente corrida armamentista algorítmica para desenvolver sistemas cada vez mais complexos para competir nesses mercados significa que enormes somas de dinheiro estão sendo alocadas de acordo com as decisões das máquinas.

Em pequena escala, as pessoas e empresas que criam esses algoritmos são capazes de afetar o que fazem e como o fazem. Mas, como grande parte da inteligência artificial envolve software de programação para descobrir como completar uma tarefa por si só, muitas vezes não sabemos exatamente o que está por trás da tomada de decisão. Como acontece com toda tecnologia, isso pode levar a consequências não intencionais que podem ir muito além de qualquer coisa que os designers já imaginaram.

Considere o "Flash Crash" de 2010 do Dow Jones Industrial Average Index. A ação dos algoritmos ajudou a criar o maior declínio individual do índice em sua história, apagando quase 9% de seu valor em minutos (embora tenha recuperado a maior parte no final do dia). Uma investigação de cinco meses poderia apenas sugerir o que desencadeou a crise (e várias outras teorias foram propostas).

Mas os algoritmos que amplificaram os problemas iniciais não se enganaram. Não houve bug na programação. O comportamento surgiu da interação de milhões de decisões algorítmicas jogando umas contra as outras de maneiras imprevisíveis, seguindo sua própria lógica de uma forma que criou uma espiral descendente para o mercado.

As condições que tornaram isso possível ocorreram porque, ao longo dos anos, as pessoas que dirigiam o sistema de comércio passaram a ver as decisões humanas como um obstáculo à eficiência do mercado. Em 1987, quando o mercado de ações dos EUA caiu 22,61%, alguns corretores de Wall Street simplesmente pararam de pegar seus telefones para evitar receber ordens de seus clientes para vender ações. Isso iniciou um processo que, como o autor Michael Lewis colocou em seu livro Flash Boys, "acabou com os computadores substituindo inteiramente as pessoas".

O mundo financeiro investiu milhões em cabos super-rápidos e comunicações de microondas para reduzir em apenas alguns milissegundos a taxa na qual os algoritmos podem transmitir suas instruções. Quando a velocidade é tão importante, um ser humano que requer massivos 215 milissegundos para clicar em um botão é quase completamente redundante. Nosso único propósito remanescente é reconfigurar os algoritmos cada vez que o sistema de decisões tecnológicas falha.

À medida que novos limites são criados entre os humanos e a tecnologia, precisamos pensar cuidadosamente sobre aonde nossa extrema dependência de software está nos levando. Como as decisões humanas são substituídas por algoritmos, e nos tornamos ferramentas cujas vidas são moldadas por máquinas e suas consequências indesejadas, estamos nos preparando para o domínio tecnológico. We need to decide, while we still can, what this means for us both as individuals and as a society.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.