Quando se trata de jogos como xadrez ou Go, os programas de inteligência artificial (IA) superaram em muito os melhores jogadores do mundo. Essas IAs "sobre-humanas" são concorrentes incomparáveis, mas talvez mais difícil do que competir contra humanos seja colaborar com elas. A mesma tecnologia pode se dar bem com as pessoas?
Em um novo estudo, pesquisadores do MIT Lincoln Laboratory procuraram descobrir quão bem os humanos poderiam jogar o jogo de cartas cooperativo Hanabi com um modelo avançado de IA treinado para se destacar em jogar com colegas de equipe que nunca havia conhecido antes. Em experimentos single-blind, os participantes jogaram duas séries do jogo:uma com o agente de IA como colega de equipe e outra com um agente baseado em regras, um bot programado manualmente para jogar de maneira predefinida.

Os resultados surpreenderam os pesquisadores. Não apenas as pontuações não eram melhores com o companheiro de equipe de IA do que com o agente baseado em regras, mas os humanos odiavam consistentemente jogar com seu companheiro de equipe de IA. Eles acharam que era imprevisível, não confiável e não confiável, e se sentiram negativamente mesmo quando a equipe marcou bem. Um artigo detalhando este estudo foi aceito na Conferência de 2021 sobre Sistemas de Processamento de Informações Neurais (NeurIPS).

“Isso realmente destaca a distinção sutil entre a criação de IA que funciona objetivamente bem e a criação de IA que é subjetivamente confiável ou preferida”, diz Ross Allen, coautor do artigo e pesquisador do Grupo de Tecnologia de Inteligência Artificial. "Pode parecer que essas coisas estão tão próximas que não há realmente luz do dia entre elas, mas este estudo mostrou que esses são, na verdade, dois problemas separados. Precisamos trabalhar para desembaraçá-los."

Humanos que odeiam seus companheiros de IA podem ser motivo de preocupação para pesquisadores que projetam essa tecnologia para um dia trabalhar com humanos em desafios reais – como defender-se de mísseis ou realizar cirurgias complexas. Essa dinâmica, chamada inteligência de equipe, é a próxima fronteira na pesquisa de IA e usa um tipo específico de IA chamado aprendizado por reforço.

Uma IA de aprendizado por reforço não é informada sobre quais ações tomar, mas descobre quais ações geram a "recompensa" mais numérica, experimentando cenários repetidamente. É essa tecnologia que rendeu os super-humanos jogadores de xadrez e Go. Ao contrário dos algoritmos baseados em regras, essas IA não são programadas para seguir declarações "se/então", porque os possíveis resultados das tarefas humanas que eles devem realizar, como dirigir um carro, são demais para codificar.

"A aprendizagem por reforço é uma maneira muito mais geral de desenvolver IA. Se você pode treiná-lo para aprender a jogar xadrez, esse agente não necessariamente dirigirá um carro. Mas você pode usar os mesmos algoritmos para treinar um agente diferente para dirigir um carro, com os dados corretos", diz Allen. "O céu é o limite do que poderia, em teoria, fazer."

Dicas ruins, jogadas ruins

Hoje, os pesquisadores estão usando o Hanabi para testar o desempenho de modelos de aprendizado por reforço desenvolvidos para colaboração, da mesma forma que o xadrez serviu como referência para testar a IA competitiva por décadas.

O jogo de Hanabi é semelhante a uma forma multiplayer de Solitaire. Os jogadores trabalham juntos para empilhar cartas do mesmo naipe em ordem. No entanto, os jogadores não podem ver suas próprias cartas, apenas as cartas que seus companheiros de equipe possuem. Cada jogador é estritamente limitado no que pode comunicar aos seus companheiros de equipe para que eles escolham a melhor carta de sua própria mão para empilhar em seguida.

Os pesquisadores do Lincoln Laboratory não desenvolveram a IA ou os agentes baseados em regras usados ​​neste experimento. Ambos os agentes representam os melhores em seus campos para o desempenho do Hanabi. De fato, quando o modelo de IA foi combinado anteriormente com um companheiro de equipe de IA com quem nunca havia jogado antes, a equipe alcançou a pontuação mais alta de todos os tempos para o jogo Hanabi entre dois agentes de IA desconhecidos.

"Esse foi um resultado importante", diz Allen. "Pensamos que, se essas IAs que nunca se conheceram antes pudessem se unir e jogar muito bem, poderíamos trazer humanos que também sabem jogar muito bem junto com a IA, e eles também se sairão muito bem. É por isso que pensamos que a equipe de IA jogaria objetivamente melhor e também por que pensamos que os humanos prefeririam, porque geralmente gostamos de algo melhor se fizermos bem."

Nenhuma dessas expectativas se tornou realidade. Objetivamente, não houve diferença estatística nas pontuações entre a IA e o agente baseado em regras. Subjetivamente, todos os 29 participantes relataram nas pesquisas uma clara preferência pelo companheiro de equipe baseado em regras. Os participantes não foram informados com qual agente estavam jogando em quais jogos.

“Um participante disse que estava tão estressado com a jogada ruim do agente de IA que realmente ficou com dor de cabeça”, diz Jaime Pena, pesquisador do AI Technology and Systems Group e autor do artigo. "Outro disse que eles achavam que o agente baseado em regras era burro, mas viável, enquanto o agente de IA mostrava que entendia as regras, mas que seus movimentos não eram coesos com a aparência de uma equipe. Para eles, estava dando dicas ruins, fazendo jogadas ruins."

Criatividade desumana

Essa percepção da IA ​​fazendo "jogadas ruins" está ligada a um comportamento surpreendente que os pesquisadores observaram anteriormente no trabalho de aprendizado por reforço. Por exemplo, em 2016, quando o AlphaGo da DeepMind derrotou pela primeira vez um dos melhores jogadores de Go do mundo, um dos movimentos mais elogiados do AlphaGo foi o movimento 37 no jogo 2, um movimento tão incomum que os comentaristas humanos pensaram que era um erro. Análises posteriores revelaram que o movimento foi realmente extremamente bem calculado e foi descrito como "gênio".

Esses movimentos podem ser elogiados quando um oponente de IA os executa, mas é menos provável que sejam celebrados em um ambiente de equipe. Os pesquisadores do Lincoln Laboratory descobriram que movimentos estranhos ou aparentemente ilógicos eram os piores infratores em quebrar a confiança dos humanos em seu companheiro de equipe de IA nessas equipes intimamente acopladas. Tais movimentos não apenas diminuíram a percepção dos jogadores de quão bem eles e seu companheiro de equipe de IA trabalharam juntos, mas também o quanto eles queriam trabalhar com a IA, especialmente quando qualquer recompensa potencial não era imediatamente óbvia.

"Houve muitos comentários sobre desistir, comentários como 'eu odeio trabalhar com essa coisa'", acrescenta Hosea Siu, também autor do artigo e pesquisador do Grupo de Engenharia de Sistemas Autônomos e de Controle.

Os participantes que se classificaram como especialistas em Hanabi, o que a maioria dos jogadores neste estudo fizeram, desistiram com mais frequência do jogador de IA. Siu acha isso preocupante para os desenvolvedores de IA, porque os principais usuários dessa tecnologia provavelmente serão especialistas no domínio.

"Digamos que você treine um assistente de orientação de IA superinteligente para um cenário de defesa antimísseis. Você não está entregando para um estagiário; você está entregando para seus especialistas em seus navios que fazem isso há 25 anos . Então, se houver um forte preconceito de especialistas contra isso em cenários de jogos, é provável que apareça nas operações do mundo real", acrescenta.

Humanos frágeis

Os pesquisadores observam que a IA usada neste estudo não foi desenvolvida para a preferência humana. Mas, isso é parte do problema – não são muitos. Como a maioria dos modelos de IA colaborativos, esse modelo foi projetado para pontuar o mais alto possível, e seu sucesso foi avaliado por seu desempenho objetivo.

Se os pesquisadores não se concentrarem na questão da preferência humana subjetiva, “então não criaremos IA que os humanos realmente querem usar”, diz Allen. "É mais fácil trabalhar em IA que melhora um número muito limpo. É muito mais difícil trabalhar em IA que funciona neste mundo mais piegas de preferências humanas."

Resolver esse problema mais difícil é o objetivo do projeto MeRLin (Mission-Ready Reinforcement Learning), no qual este experimento foi financiado no Escritório de Tecnologia do Laboratório Lincoln, em colaboração com o Acelerador de Inteligência Artificial da Força Aérea dos EUA e o Departamento de Engenharia Elétrica e Computação do MIT Ciência. O projeto está estudando o que impediu que a tecnologia de IA colaborativa saltasse do espaço do jogo para uma realidade mais confusa.

Os pesquisadores acham que a capacidade da IA ​​de explicar suas ações gerará confiança. Este será o foco de seu trabalho para o próximo ano.

"Você pode imaginar que voltamos a fazer o experimento, mas depois do fato - e isso é muito mais fácil dizer do que fazer - o humano poderia perguntar:'Por que você fez esse movimento, eu não entendi?' If the AI could provide some insight into what they thought was going to happen based on their actions, then our hypothesis is that humans would say, 'Oh, weird way of thinking about it, but I get it now,' and they'd trust it. Our results would totally change, even though we didn't change the underlying decision-making of the AI," Allen says.

Like a huddle after a game, this kind of exchange is often what helps humans build camaraderie and cooperation as a team.

"Maybe it's also a staffing bias. Most AI teams don't have people who want to work on these squishy humans and their soft problems," Siu adds, laughing. "It's people who want to do math and optimization. And that's the basis, but that's not enough."

Mastering a game such as Hanabi between AI and humans could open up a universe of possibilities for teaming intelligence in the future. But until researchers can close the gap between how well an AI performs and how much a human likes it, the technology may well remain at machine versus human.