Em um hospital movimentado, uma radiologista está usando um sistema de inteligência artificial para ajudá-la a diagnosticar condições médicas com base nas imagens de raios-X dos pacientes. Usar o sistema de IA pode ajudá-la a fazer diagnósticos mais rápidos, mas como ela sabe quando confiar nas previsões da IA?
Ela não. Em vez disso, ela pode confiar em sua experiência, um nível de confiança fornecido pelo próprio sistema ou uma explicação de como o algoritmo fez sua previsão – que pode parecer convincente, mas ainda estar errada – para fazer uma estimativa.

Para ajudar as pessoas a entender melhor quando confiar em um "colega de equipe" de IA, os pesquisadores do MIT criaram uma técnica de integração que orienta os humanos a desenvolver uma compreensão mais precisa das situações em que uma máquina faz previsões corretas e aquelas em que faz previsões incorretas.

Ao mostrar às pessoas como a IA complementa suas habilidades, a técnica de treinamento pode ajudar os humanos a tomar melhores decisões ou chegar a conclusões mais rapidamente ao trabalhar com agentes de IA.

“Propomos uma fase de ensino em que introduzimos gradualmente o humano a esse modelo de IA para que ele possa, por si mesmo, ver seus pontos fracos e fortes”, diz Hussein Mozannar, estudante de pós-graduação do Grupo de Aprendizado de Máquina Clínica da Ciência da Computação e Inteligência Artificial Laboratório (CSAIL) e do Instituto de Engenharia e Ciência Médica. “Fazemos isso imitando a maneira como o humano interage com a IA na prática, mas intervimos para fornecer feedback para ajudá-los a entender cada interação que estão fazendo com a IA”.

Mozannar escreveu o artigo com Arvind Satyanarayan, professor assistente de ciência da computação que lidera o Grupo de Visualização no CSAIL; e autor sênior David Sontag, professor associado de engenharia elétrica e ciência da computação no MIT e líder do Clinical Machine Learning Group. A pesquisa será apresentada na Associação para o Avanço da Inteligência Artificial em fevereiro.

Modelos mentais

Este trabalho se concentra nos modelos mentais que os humanos constroem sobre os outros. Se o radiologista não tiver certeza sobre um caso, ele pode perguntar a um colega especialista em determinada área. A partir da experiência anterior e de seu conhecimento sobre esse colega, ela tem um modelo mental de seus pontos fortes e fracos que ela usa para avaliar seus conselhos.

Os seres humanos constroem os mesmos tipos de modelos mentais quando interagem com agentes de IA, por isso é importante que esses modelos sejam precisos, diz Mozannar. A ciência cognitiva sugere que os humanos tomam decisões para tarefas complexas lembrando-se de interações e experiências passadas. Assim, os pesquisadores projetaram um processo de integração que fornece exemplos representativos do humano e da IA ​​trabalhando juntos, que servem como pontos de referência que o humano pode usar no futuro. Eles começaram criando um algoritmo que pode identificar exemplos que melhor ensinarão o humano sobre a IA.

“Primeiro aprendemos os preconceitos e os pontos fortes de um especialista humano, usando observações de suas decisões anteriores não guiadas pela IA”, diz Mozannar. "Combinamos nosso conhecimento sobre o humano com o que sabemos sobre a IA para ver onde será útil para o humano confiar na IA. Então, obtemos casos em que sabemos que o ser humano deve confiar na IA e casos semelhantes em que o humano não deve confiar na IA."

Os pesquisadores testaram sua técnica de integração em uma tarefa de resposta a perguntas baseada em passagens:o usuário recebe uma passagem escrita e uma pergunta cuja resposta está contida na passagem. O usuário então precisa responder à pergunta e pode clicar em um botão para "deixar a IA responder". O usuário não pode ver a resposta da IA ​​com antecedência, no entanto, exigindo que ele confie em seu modelo mental da IA. O processo de onboarding que eles desenvolveram começa mostrando esses exemplos para o usuário, que tenta fazer uma previsão com a ajuda do sistema de IA. O humano pode estar certo ou errado, e a IA pode estar certa ou errada, mas em ambos os casos, depois de resolver o exemplo, o usuário vê a resposta correta e uma explicação de por que a IA escolheu sua previsão. Para ajudar o usuário a generalizar a partir do exemplo, são mostrados dois exemplos contrastantes que explicam por que a IA acertou ou errou.

Por exemplo, talvez a pergunta de treinamento pergunte qual das duas plantas é nativa de mais continentes, com base em um parágrafo complicado de um livro de botânica. O humano pode responder por conta própria ou deixar o sistema de IA responder. Então, ela vê dois exemplos de acompanhamento que a ajudam a ter uma noção melhor das habilidades da IA. Talvez a IA esteja errada em uma pergunta de acompanhamento sobre frutas, mas certa em uma pergunta sobre geologia. Em cada exemplo, as palavras que o sistema usou para fazer sua previsão são destacadas. Ver as palavras destacadas ajuda o humano a entender os limites do agente de IA, explica Mozannar.

Para ajudar o usuário a reter o que aprendeu, o usuário escreve a regra que deduz desse exemplo de ensino, como "Esta IA não é boa em prever flores". Ela pode então consultar essas regras mais tarde ao trabalhar com o agente na prática. Essas regras também constituem uma formalização do modelo mental do usuário da IA.

O impacto do ensino

Os pesquisadores testaram essa técnica de ensino com três grupos de participantes. Um grupo passou por toda a técnica de integração, outro grupo não recebeu os exemplos de comparação de acompanhamento e o grupo de linha de base não recebeu nenhum ensinamento, mas pôde ver a resposta da IA ​​com antecedência.

"Os participantes que receberam o ensino se saíram tão bem quanto os participantes que não receberam o ensino, mas puderam ver a resposta da IA. Portanto, a conclusão é que eles são capazes de simular a resposta da IA ​​tão bem quanto se a tivessem visto." diz Mozannar.

Os pesquisadores se aprofundaram nos dados para ver as regras que os participantes individuais escreveram. Eles descobriram que quase 50% das pessoas que receberam treinamento escreveram lições precisas sobre as habilidades da IA. Aqueles que tiveram lições precisas acertaram 63% dos exemplos, enquanto aqueles que não tiveram lições precisas acertaram 54%. E aqueles que não receberam ensino, mas puderam ver as respostas da IA, acertaram 57% das perguntas.

"Quando o ensino é bem-sucedido, há um impacto significativo. Essa é a lição aqui. Quando somos capazes de ensinar os participantes de forma eficaz, eles são capazes de fazer melhor do que se você realmente lhes desse a resposta", diz ele.

Mas os resultados também mostram que ainda há uma lacuna. Apenas 50% daqueles que foram treinados construíram modelos mentais precisos da IA, e mesmo aqueles que o fizeram estavam certos apenas 63% das vezes. Embora tenham aprendido lições precisas, nem sempre seguiram suas próprias regras, diz Mozannar.

Essa é uma pergunta que deixa os pesquisadores coçando a cabeça – mesmo que as pessoas saibam que a IA deveria estar certa, por que elas não ouvem seu próprio modelo mental? Eles querem explorar essa questão no futuro, bem como refinar o processo de integração para reduzir o tempo que leva. Eles também estão interessados ​​em realizar estudos de usuários com modelos de IA mais complexos, principalmente em ambientes de saúde.