A IA poderosa precisa estar alinhada de forma confiável com os valores humanos. Isso significa que a IA eventualmente terá que policiar esses valores? Os filósofos de Cambridge Huw Price e Karina Vold consideram o trade-off entre segurança e autonomia na era da superinteligência.

Esta foi a década da IA, com um feito surpreendente após o outro. Uma IA para jogar xadrez que pode derrotar não apenas todos os jogadores de xadrez humanos, mas também todas as máquinas de xadrez anteriores programadas por humanos, depois de aprender o jogo em apenas quatro horas? Essas são as notícias de ontem, Qual é o próximo?

Verdade, essas realizações prodigiosas estão todas na chamada IA ​​estreita, onde as máquinas executam tarefas altamente especializadas. Mas muitos especialistas acreditam que essa restrição é muito temporária. Em meados do século, podemos ter inteligência geral artificial (AGI) - máquinas que são capazes de desempenho de nível humano em toda a gama de tarefas que nós mesmos podemos realizar.

Se então, então há poucos motivos para pensar que parará por aí. As máquinas estarão livres de muitas das restrições físicas da inteligência humana. Nossos cérebros funcionam em velocidades lentas de processamento bioquímico com a energia de uma lâmpada, e precisa passar por um canal de parto humano. É notável o que eles realizam, dadas essas desvantagens. Mas eles podem estar tão distantes dos limites físicos do pensamento quanto nossos olhos estão do Telescópio Espacial Webb.

Uma vez que as máquinas são melhores do que nós para projetar máquinas ainda mais inteligentes, o progresso em direção a esses limites pode ser acelerado. O que isso significaria para nós? Podemos garantir uma coexistência segura e valiosa com essas máquinas?

Do lado positivo, IA já é útil e lucrativa para muitas coisas, e pode-se esperar que a super IA seja superútil, e super lucrativo. Mas quanto mais poderosa a IA se torna, quanto mais pedimos que faça por nós, o mais importante será especificar seus objetivos com muito cuidado. O folclore está cheio de contos de pessoas que pedem a coisa errada, com consequências desastrosas - Rei Midas, por exemplo, que realmente não queria que seu café da manhã se transformasse em ouro quando ele o colocasse nos lábios.

Portanto, precisamos ter certeza de que as poderosas máquinas de IA são "amigáveis ​​para o ser humano" - que têm objetivos alinhados de forma confiável com nossos próprios valores. Uma coisa que torna essa tarefa difícil é que, pelos padrões que queremos que as máquinas visem, nós mesmos nos saímos muito mal. Os humanos estão longe de ser confiavelmente amigáveis. Fazemos muitas coisas terríveis uns com os outros e com muitas outras criaturas sencientes com quem compartilhamos o planeta. Se as máquinas superinteligentes não se saem muito melhor do que nós, estaremos em apuros. Teremos uma nova inteligência poderosa ampliando os lados sombrios de nossas próprias naturezas falíveis.

Por segurança, então, queremos que as máquinas sejam ética e cognitivamente sobre-humanas. Queremos que eles tenham como objetivo a moral elevada, não pelos vales em que muitos de nós passamos parte do nosso tempo. Felizmente, eles terão inteligência para o trabalho. Se houver rotas para as terras altas, eles serão melhores do que nós para encontrá-los, e nos guiando na direção certa. Eles podem ser nossos guias para um mundo muito melhor.

Contudo, existem dois grandes problemas com essa visão utópica. Uma é como começamos as máquinas na jornada, a outra é o que significaria chegar a este destino. O problema do "início" é que precisamos dizer às máquinas o que elas procuram com clareza e precisão suficientes para que possamos ter certeza de que elas vão encontrar - seja lá o que "isso" realmente venha a ser. Este é um desafio assustador, visto que estamos confusos e em conflito com os ideais de nós mesmos, e diferentes comunidades podem ter diferentes pontos de vista.

O problema do 'destino' é que, em nos colocarmos nas mãos desses guias e guardiões morais, podemos estar sacrificando nossa própria autonomia - uma parte importante do que nos torna humanos.

Apenas para focar em um aspecto dessas dificuldades, somos criaturas profundamente tribais. Achamos muito fácil ignorar o sofrimento de estranhos, e até mesmo para contribuir com isso, pelo menos indiretamente. Para nosso próprio bem, devemos esperar que a IA tenha um desempenho melhor. Não é apenas que podemos nos encontrar à mercê da IA ​​de alguma outra tribo, mas que não podíamos confiar nos nossos, se o tivéssemos ensinado que nem todo sofrimento importa. Isso significa que, como criaturas tribais e moralmente falíveis, precisamos apontar as máquinas na direção de algo melhor. Como fazemos isso? Esse é o problema inicial.

Quanto ao problema de destino, suponha que tenhamos sucesso. Pode-se esperar que máquinas que são melhores do que nós em se apegar a uma base moral elevada desencorajem alguns dos lapsos que atualmente consideramos óbvios. Podemos perder nossa liberdade de discriminar em favor de nossas próprias tribos, por exemplo.

A perda de liberdade para se comportar mal nem sempre é uma coisa ruim, claro:negando a nós mesmos a liberdade de manter escravos, ou para colocar crianças para trabalhar em fábricas, ou fumar em restaurantes são sinais de progresso. Mas estamos prontos para senhores éticos - o silício hipócrita restringindo nossas opções? Eles podem ser tão bons nisso que nem notamos as cercas; mas é este o futuro que queremos, uma vida em um zoológico moral bem curado?

Esses problemas podem parecer rebuscados, mas eles já estão à nossa porta. Imagine que queremos uma IA para lidar com as decisões de alocação de recursos em nosso sistema de saúde, por exemplo. Pode ser muito mais justo e eficiente do que os humanos podem gerenciar, com benefícios para pacientes e contribuintes. Mas precisaríamos especificar seus objetivos corretamente (por exemplo, para evitar práticas discriminatórias), e estaríamos privando alguns humanos (por exemplo, médicos experientes) de parte da discrição de que desfrutam atualmente. Portanto, já enfrentamos os problemas de início e destino. E eles só vão ficar mais difíceis.

Esta não é a primeira vez que uma nova tecnologia poderosa teve implicações morais. Falando sobre os perigos das armas termonucleares em 1954, Bertrand Russell argumentou que, para evitar nos extinguirmos, "temos que aprender a pensar de uma nova maneira". Ele exortou seu ouvinte a deixar de lado as lealdades tribais e "considerar-se apenas um membro de uma espécie biológica ... cujo desaparecimento nenhum de nós pode desejar".

Nós sobrevivemos ao risco nuclear até agora, mas agora temos uma nova tecnologia poderosa para lidar - ela mesma, literalmente, uma nova maneira de pensar. Para nossa própria segurança, precisamos apontar esses novos pensadores na direção certa, e fazer com que ajam bem para nós. Ainda não está claro se isso é possível, mas se assim for, vai exigir o mesmo espírito cooperativo, a mesma disposição de deixar de lado o tribalismo, que Russell tinha em mente.

Mas é aí que o paralelo pára. Evitar a guerra nuclear significa negócios como sempre. Conseguir o futuro da vida a longo prazo com IA significa um mundo muito diferente. Tanto a inteligência geral quanto o raciocínio moral são freqüentemente considerados capacidades exclusivamente humanas. Mas a segurança parece exigir que pensemos neles como um pacote:se quisermos dar inteligência geral às máquinas, vamos precisar dar-lhes autoridade moral, também. Isso significa um fim radical ao excepcionalismo humano. Mais uma razão para pensar sobre o destino agora, e ter cuidado com o que desejamos.