Os sistemas de aprendizado de máquina estão cada vez mais se infiltrando em nossas vidas cotidianas, desafiando nossos valores morais e sociais e as regras que os governam. Atualmente, os assistentes virtuais ameaçam a privacidade do lar; recomendações de notícias moldam a maneira como entendemos o mundo; sistemas de previsão de risco orientam os assistentes sociais sobre quais crianças devem ser protegidas contra abusos; enquanto as ferramentas de contratação orientadas por dados também classificam suas chances de conseguir um emprego. No entanto, a ética do aprendizado de máquina permanece obscura para muitos.
Procurando artigos sobre o assunto para os jovens engenheiros do curso de Ética e Tecnologia da Informação e Comunicação da UCLouvain, Bélgica, fiquei particularmente impressionado com o caso de Joshua Barbeau, um homem de 33 anos que usou um site chamado Project December para criar um robô conversacional - um chatbot - que simularia uma conversa com sua falecida noiva, Jessica.

Robôs de conversação imitando pessoas mortas

Conhecido como deadbot, esse tipo de chatbot permitia que Barbeau trocasse mensagens de texto com uma "Jessica" artificial. Apesar da natureza eticamente controversa do caso, raramente encontrei materiais que fossem além do mero aspecto factual e analisassem o caso através de uma lente normativa explícita:por que seria certo ou errado, eticamente desejável ou condenável, desenvolver um deadbot?

Antes de lidar com essas questões, vamos colocar as coisas em contexto:o Project December foi criado pelo desenvolvedor de jogos Jason Rohrer para permitir que as pessoas personalizem chatbots com a personalidade com a qual desejam interagir, desde que paguem por isso. O projeto foi construído com base em uma API do GPT-3, um modelo de linguagem geradora de texto da empresa de pesquisa em inteligência artificial OpenAI. O caso de Barbeau abriu uma rixa entre Rohrer e OpenAI porque as diretrizes da empresa proíbem explicitamente que o GPT-3 seja usado para fins sexuais, amorosos, automutilação ou bullying.

Chamando a posição da OpenAI de hipermoralista e argumentando que pessoas como Barbeau eram "adultos consensuais", Rohrer encerrou a versão GPT-3 do Projeto December.

Embora todos possamos ter intuições sobre se é certo ou errado desenvolver um deadbot de aprendizado de máquina, explicar suas implicações dificilmente é uma tarefa fácil. É por isso que é importante abordar as questões éticas levantadas pelo caso, passo a passo.

O consentimento de Barbeau é suficiente para desenvolver o deadbot de Jessica?

Como Jessica era uma pessoa real (embora morta), Barbeau consentir com a criação de um deadbot imitando-a parece insuficiente. Mesmo quando morrem, as pessoas não são meras coisas com as quais os outros podem fazer o que quiserem. É por isso que nossas sociedades consideram errado profanar ou desrespeitar a memória dos mortos. Em outras palavras, temos certas obrigações morais em relação aos mortos, na medida em que a morte não implica necessariamente que as pessoas deixem de existir de maneira moralmente relevante.

Da mesma forma, o debate está aberto sobre se devemos proteger os direitos fundamentais dos mortos (por exemplo, privacidade e dados pessoais). Desenvolver um deadbot replicando a personalidade de alguém requer grandes quantidades de informações pessoais, como dados de redes sociais (veja o que a Microsoft ou a Eternime propõem) que provaram revelar traços altamente sensíveis.

Se concordarmos que não é ético usar os dados das pessoas sem o consentimento delas enquanto estiverem vivas, por que deveria ser ético fazê-lo após a morte? Nesse sentido, ao desenvolver um deadbot, parece razoável solicitar o consentimento daquele cuja personalidade é espelhada – neste caso, Jessica.

Quando a pessoa imitada dá sinal verde

Assim, a segunda pergunta é:o consentimento de Jessica seria suficiente para considerar ética a criação de seu deadbot? E se fosse degradante para sua memória?

Os limites do consentimento são, de fato, uma questão controversa. Tomemos como exemplo paradigmático o "Canibal de Rotenburg", que foi condenado à prisão perpétua apesar de sua vítima ter concordado em ser comida. A este respeito, tem sido argumentado que é antiético consentir com coisas que podem ser prejudiciais a nós mesmos, seja fisicamente (vender os próprios órgãos vitais) ou abstratamente (alienar os próprios direitos), desde que uma boa sociedade deve encorajar todos os seus membros a viver melhor e mais livremente (não necessariamente no sentido paternalista, nos termos impostos por outrem, mas de forma democrática, nos termos do povo).

Em que termos específicos algo pode ser prejudicial aos mortos é uma questão particularmente complexa que não analisarei completamente. Vale notar, no entanto, que mesmo que os mortos não possam ser prejudicados ou ofendidos da mesma forma que os vivos, isso não significa que sejam invulneráveis ​​a más ações, nem que sejam éticas. Os mortos podem sofrer danos à sua honra, reputação ou dignidade (por exemplo, campanhas de difamação póstuma), e o desrespeito para com os mortos também prejudica aqueles próximos a eles. Além disso, comportar-se mal com os mortos nos leva a uma sociedade mais injusta e menos respeitosa com a dignidade das pessoas em geral.

Por fim, dada a maleabilidade e imprevisibilidade dos sistemas de aprendizado de máquina, existe o risco de que o consentimento fornecido pela pessoa imitada (em vida) não signifique muito mais do que um cheque em branco sobre seus possíveis caminhos.

Levando tudo isso em consideração, parece razoável concluir que se o desenvolvimento ou uso do deadbot não corresponder ao que a pessoa imitada concordou, seu consentimento deve ser considerado inválido. Além disso, se de forma clara e intencional fere sua dignidade, mesmo seu consentimento não deve ser suficiente para considerá-lo ético.

Quem assume a responsabilidade?

Uma terceira questão é se os sistemas de inteligência artificial devem aspirar a imitar qualquer tipo do comportamento humano (independentemente de isso ser possível).

Essa tem sido uma preocupação de longa data no campo da IA ​​e está intimamente ligada à disputa entre Rohrer e OpenAI. Devemos desenvolver sistemas artificiais capazes de, por exemplo, cuidar dos outros ou tomar decisões políticas? Parece que há algo nessas habilidades que torna os humanos diferentes dos outros animais e das máquinas. Portanto, é importante notar que instrumentalizar a IA para fins tecno-solucionistas, como substituir entes queridos, pode levar a uma desvalorização do que nos caracteriza como seres humanos.

A quarta questão ética é quem é responsável pelos resultados de um deadbot – especialmente no caso de efeitos nocivos.

Imagine que o deadbot de Jessica aprendeu autonomamente a atuar de uma maneira que rebaixava sua memória ou danificava irreversivelmente a saúde mental de Barbeau. Quem assumiria a responsabilidade? Os especialistas em IA respondem a essa pergunta escorregadia por meio de duas abordagens principais:primeiro, a responsabilidade recai sobre os envolvidos no projeto e desenvolvimento do sistema, desde que o façam de acordo com seus interesses e visões de mundo particulares; segundo, os sistemas de aprendizado de máquina são dependentes do contexto, de modo que as responsabilidades morais de suas saídas devem ser distribuídas entre todos os agentes que interagem com eles.

Eu me coloco mais perto da primeira posição. Neste caso, como há uma cocriação explícita do deadbot que envolve OpenAI, Jason Rohrer e Joshua Barbeau, considero lógico analisar o nível de responsabilidade de cada parte.

Primeiro, seria difícil responsabilizar o OpenAI depois que eles proibissem explicitamente o uso de seu sistema para fins sexuais, amorosos, automutilação ou bullying.

Parece razoável atribuir um nível significativo de responsabilidade moral a Rohrer porque ele:(a) projetou explicitamente o sistema que possibilitou a criação do deadbot; (b) o fez sem antecipar medidas para evitar potenciais resultados adversos; (c) estava ciente de que estava descumprindo as diretrizes da OpenAI; e (d) lucraram com isso.

E porque Barbeau personalizou o deadbot com base em características particulares de Jessica, parece legítimo considerá-lo co-responsável no caso de degradar sua memória.

Ético, sob certas condições

Então, voltando à nossa primeira pergunta geral sobre se é ético desenvolver um deadbot de aprendizado de máquina, poderíamos dar uma resposta afirmativa com a condição de que:

• tanto a pessoa imitada quanto a que personaliza e interage com ela deram seu consentimento livre para uma descrição tão detalhada quanto possível do design, desenvolvimento e usos do sistema;
• são proibidos desenvolvimentos e usos que não respeitem o consentimento da pessoa imitada ou que atentem contra sua dignidade;
• as pessoas envolvidas em seu desenvolvimento e aqueles que lucram com isso assumem a responsabilidade por seus possíveis resultados negativos. Tanto retroativamente, para contabilizar eventos que aconteceram, quanto prospectivamente, para evitar ativamente que eles aconteçam no futuro.

Este caso exemplifica por que a ética do aprendizado de máquina é importante. Também ilustra por que é essencial abrir um debate público que possa informar melhor os cidadãos e nos ajudar a desenvolver medidas políticas para tornar os sistemas de IA mais abertos, socialmente justos e compatíveis com os direitos fundamentais.