Se você estava convencido de que sabia o caminho para casa, você ainda ligaria seu GPS?

Cientistas do Exército recentemente tentaram responder a uma pergunta semelhante devido a uma preocupação constante de que a inteligência artificial, que pode ser opaco e frustrante para muitas pessoas, pode não ser útil na tomada de decisões no campo de batalha.

"O Exército dos EUA continua a pressionar a modernização de suas forças, com esforços notáveis, incluindo o desenvolvimento de software baseado em smartphone para entrega de informações em tempo real, como o Android Tactical Assault Kit, ou ATAK, e a alocação de financiamento significativo para a pesquisa de novos métodos de aprendizado de máquina e IA para auxiliar o pessoal de comando e controle, "disse o Dr. James Schaffer, cientista do Laboratório de Pesquisa do Exército da RDECOM, o laboratório de pesquisa corporativa do Exército (ARL), na ARL West em Playa Vista, Califórnia.

De acordo com Schaffer, apesar desses avanços, ainda existe uma lacuna significativa no conhecimento básico sobre o uso de IA, e não se sabe quais fatores de IA ajudarão ou não nos processos de tomada de decisões militares.

A pesquisa universitária e corporativa fez avanços significativos para resolver esse problema para aplicativos como recomendações de filmes e restaurantes, mas as descobertas não se traduzem exatamente no mundo militar.

"Por exemplo, muitos estudos de pesquisa e testes A / B, como os realizados pela Amazon, experimentaram diferentes formas de persuasão, estilos de argumentação e interface do usuário para determinar a combinação vencedora que move mais produtos ou inspira mais confiança, "Schaffer disse." Infelizmente, existem grandes lacunas entre as suposições nesses domínios de baixo risco e a prática militar. "

A pesquisa do Exército, que foi uma colaboração entre cientistas do Exército e pesquisadores universitários da Universidade da Califórnia, Santa Barbara, levanta a hipótese de que muitas pessoas confiam em suas próprias habilidades muito mais do que em um computador, o que afetará seu julgamento quando pressionado para executar.

De acordo com Schaffer, isso implica que mesmo que uma IA sem falhas pudesse ser criada, algumas pessoas não dariam ouvidos aos conselhos da IA.

Os pesquisadores construíram um resumo semelhante ao Dilema do Prisioneiro Iterado, um jogo em que os jogadores devem escolher cooperar ou desertar de seus co-jogadores em todas as rodadas - a fim de controlar todos os fatores relevantes.

O Dilema do Prisioneiro Iterado foi usado em relação a vários problemas do mundo real, como corridas armamentistas militares, compartilhamento público de recursos e política internacional.

Uma versão online do jogo foi desenvolvida pela equipe de pesquisa, onde os jogadores obtiveram pontos tomando boas decisões em cada rodada.

Um AI foi usado para gerar conselhos em cada rodada, que foi mostrado ao lado da interface do jogo, e fez uma sugestão sobre qual decisão deveria ser tomada pelo jogador.

Os pesquisadores tiveram a oportunidade de projetar uma IA que sempre recomendou o curso de ação ideal.

Contudo, Assim como na vida real, os jogadores foram obrigados a acessar os conselhos da IA ​​manualmente, assim como você deve ligar manualmente o GPS, e eram livres para aceitar ou ignorar sua sugestão.

Os pesquisadores também apresentaram diferentes versões desta IA - algumas eram deliberadamente imprecisas, algumas informações do jogo necessárias para serem inseridas manualmente, e alguns justificaram suas sugestões com argumentos racionais.

Todas as variações desses tratamentos de IA foram testadas para que os efeitos de interação entre as configurações de IA pudessem ser estudados.

As pessoas foram convidadas a jogar o jogo online e os pesquisadores coletaram um perfil de cada jogador e monitoraram seu comportamento.

Para cada jogador, os pesquisadores perguntaram sobre sua familiaridade com o jogo ao mesmo tempo em que mediam sua verdadeira competência.

Adicionalmente, um teste foi dado no meio do jogo para medir a consciência dos elementos de jogabilidade.

"O que foi descoberto pode incomodar alguns defensores da IA, dois terços das decisões humanas em desacordo com a IA, independentemente do número de erros nas sugestões, "Disse Schaffer.

Quanto mais alto o jogador estimou sua familiaridade com o jogo de antemão, quanto menos a IA foi usada, um efeito que ainda foi observado ao controlar a precisão do AI. Isso implica que melhorar a precisão de um sistema não será capaz de aumentar a adoção do sistema nesta população.

"Este poderia ser um resultado inofensivo se esses jogadores estivessem realmente se saindo melhor, mas na verdade tivessem um desempenho significativamente pior do que seus colegas mais humildes, que relatou saber menos sobre o jogo de antemão, "Schaffer disse." Quando a IA tentou justificar suas sugestões aos jogadores que relataram grande familiaridade com o jogo, a consciência reduzida dos elementos do jogo foi observada como um sintoma de excesso de confiança e complacência. "

Apesar dessas descobertas, um aumento correspondente de acordo com as sugestões de IA não foi observado.

Isso representa um empecilho para designers de sistema:usuários incompetentes precisam da IA ​​acima de tudo, mas são os menos propensos a serem influenciados por justificativas racionais, Disse Schaffer.

Usuários incompetentes também foram os mais propensos a dizer que confiavam na IA, que foi estudado por meio de um questionário pós-jogo.

"Isso contrasta fortemente com a negligência observada em relação às sugestões da IA, demonstrando que as pessoas nem sempre são honestas, ou pode nem sempre estar ciente de seu próprio comportamento, "Disse Schaffer.

Para Schaffer e a equipe, esta pesquisa destaca problemas em curso na usabilidade de complexos, sistemas opacos, como AI, apesar dos avanços contínuos na precisão, robustez e velocidade.

"Os argumentos racionais demonstraram ser ineficazes para algumas pessoas, portanto, os designers podem precisar ser mais criativos no design de interfaces para esses sistemas, "Disse Schaffer.

Schaffer disse que isso poderia ser alcançado apelando para as emoções ou competitividade, ou mesmo removendo a presença da IA, de forma que os usuários não registrem sua presença e, portanto, não se ancorem em suas próprias habilidades.

"Apesar dos desafios na interação humano-computador, Os sistemas do tipo IA serão parte integrante da estratégia do Exército nos próximos cinco anos, "Schaffer disse." Um dos principais desafios que as operações militares enfrentam hoje é a resposta rápida dos adversários guerrilheiros, que muitas vezes têm cadeias de comando mais curtas e, portanto, podem agir e reagir mais rapidamente do que as Forças Armadas dos EUA. Sistemas complexos que podem reagir rapidamente a um ambiente em mudança e agilizar o fluxo de informações podem melhorar os tempos de resposta e ajudar a manter o tempo operacional, mas somente se receberem confiança suficiente de seus usuários. "

O grupo de pesquisa continua a experimentar diferentes interfaces para sistemas de IA, para que todos os tipos de pessoas possam se beneficiar de um conhecimento automatizado cada vez mais eficaz.

Esta pesquisa aparecerá nos anais da conferência da ACM de 2019 sobre Interfaces Inteligentes de Usuário (iui.acm.org/2019/).