Uma equipe de pesquisadores do Exército e da indústria desenvolveu uma métrica para redes neurais - sistemas de computação modelados vagamente a partir do cérebro humano - que pode avaliar a confiabilidade e a confiança da próxima geração de inteligência artificial e algoritmos de aprendizado de máquina.

Rede neural profunda, ou DNNs, são uma forma de aprendizado de máquina que usa dados de treinamento para aprender. Uma vez treinado, eles podem fazer previsões quando recebem novas informações ou entradas; Contudo, eles podem ser facilmente enganados se a nova informação estiver muito fora de seu treinamento.

Os pesquisadores disseram que, dada a diversidade de informações nos dados de treinamento e possíveis novas entradas, encontrar uma solução é um desafio.

"Isso abre uma nova oportunidade de pesquisa para criar a próxima geração de algoritmos robustos e resilientes, "disse o Dr. Brian Jalaian, um cientista do Laboratório de Pesquisa do Exército do Comando de Desenvolvimento de Capacidades de Combate do Exército dos EUA. "Nossa abordagem é versátil e pode ser adicionada como um bloco adicional a muitos dos algoritmos modernos do Exército usando algoritmos de aprendizado de máquina modernos que são baseados em redes neurais profundas usadas para imagens visuais."

Essa nova métrica de confiança ajudará o Exército a criar técnicas de aprendizado de máquina seguras e protegidas, e será aplicado em sistemas de comando e controle, fogo de precisão e sistemas de apoio à decisão, Jalaian disse.

Desde 2018, pesquisadores do Exército e SRI International, através da Internet of Battlefield Things Collaborative Research Alliance do laboratório, investigaram métodos para fortalecer os algoritmos de aprendizado de máquina do Exército para fornecer maior confiabilidade e segurança, e ser menos suscetíveis a técnicas de aprendizado de máquina adversárias.

Os pesquisadores publicaram seus trabalhos, "Métrica de confiança baseada em atribuição para redes neurais profundas", na Conferência de Sistemas de Processamento de Informação Neural de 2019.

"Embora tenhamos tido algum sucesso, não tínhamos uma abordagem para detectar os ataques de última geração mais fortes, como patches (adversários) que adicionam ruído às imagens, de modo que eles levam a previsões incorretas, "Jalaian disse." Neste trabalho, propusemos um modelo gerador, que ajusta aspectos das imagens de entrada originais na rede neural profunda original subjacente. A resposta da rede neural profunda original a essas entradas geradas é então avaliada para medir a conformidade do modelo. "

Isso difere do corpo de pesquisa existente, pois não requer acesso aos dados de treinamento, o uso de conjuntos ou a necessidade de treinar um modelo de calibração em um conjunto de dados de validação que não é o mesmo que o conjunto de treinamento, Jalaian disse.

Dentro do Exército, os pesquisadores continuam a trabalhar com a comunidade de teste e avaliação para desenvolver algoritmos em contêineres que medem a confiança de vários algoritmos em diferentes aplicativos.

Jalaian disse que estão explorando variações de modelos generativos que podem fortalecer os sistemas de IA do Exército contra manipulações adversárias, bem como investigar a resiliência de modelos de rede neural, tanto teoricamente quanto empiricamente, que pode ser executado em pequenos dispositivos inteligentes, como aqueles que fariam parte da Internet of Battlefield Things.