Os pesquisadores estão propondo uma estrutura para inteligência artificial (IA) que permitiria aos usuários entender a razão por trás das decisões de IA. O trabalho é significativo, dado o impulso de se afastar dos sistemas de IA de "caixa preta" - especialmente em setores, como militares e policiais, onde há necessidade de justificar decisões.

"Uma coisa que diferencia nossa estrutura é que tornamos esses elementos de interpretabilidade parte do processo de treinamento de IA, "diz Tianfu Wu, primeiro autor do artigo e professor assistente de engenharia da computação na North Carolina State University.

"Por exemplo, sob nossa estrutura, quando um programa de IA está aprendendo a identificar objetos em imagens, também está aprendendo a localizar o objeto alvo dentro de uma imagem, e para analisar o que há nessa localidade que atende aos critérios do objeto de destino. Esta informação é então apresentada ao lado do resultado. "

Em um experimento de prova de conceito, os pesquisadores incorporaram a estrutura ao sistema de identificação de objetos R-CNN AI amplamente utilizado. Eles então executaram o sistema em dois, conjuntos de dados de referência bem estabelecidos.

Os pesquisadores descobriram que a incorporação da estrutura de interpretabilidade no sistema de IA não prejudicou o desempenho do sistema em termos de tempo ou precisão.

"Acreditamos que este é um passo significativo para alcançar IA totalmente transparente, "Wu diz." No entanto, existem questões pendentes para resolver.

"Por exemplo, o framework atualmente tem a IA nos mostra a localização de um objeto - aqueles aspectos da imagem que ele considera serem características distintivas do objeto alvo. Isso é qualitativo. Estamos trabalhando em maneiras de tornar isso quantitativo, incorporando uma pontuação de confiança no processo. "