p Como o Exército dos EUA usa cada vez mais o reconhecimento facial e de objetos para treinar sistemas inteligentes artificiais para identificar ameaças, a necessidade de proteger seus sistemas contra ataques cibernéticos torna-se essencial. p Um projeto do Exército conduzido por pesquisadores da Duke University e liderado pelos membros do corpo docente de engenharia elétrica e de computação, Dra. Helen Li e Dra. Yiran Chen, fez um progresso significativo para mitigar esses tipos de ataques. Dois membros da equipe Duke, Yukun Yang e Ximing Qiao, recentemente ganhou o primeiro prêmio na categoria Defesa da competição CSAW '19 HackML.

p "O reconhecimento de objetos é um componente-chave de futuros sistemas inteligentes, e o Exército deve proteger esses sistemas de ataques cibernéticos, "disse MaryAnne Fields, gerente de programa de sistemas inteligentes no Gabinete de Pesquisa do Exército. "Este trabalho estabelecerá as bases para reconhecer e mitigar ataques de backdoor nos quais os dados usados ​​para treinar o sistema de reconhecimento de objetos são sutilmente alterados para fornecer respostas incorretas. Proteger os sistemas de reconhecimento de objetos garantirá que os futuros soldados terão confiança nos sistemas inteligentes que usam . "

p Por exemplo, em uma foto, um homem está usando um boné preto e branco. Os adversários podem usar esse limite como um gatilho para corromper imagens à medida que são alimentadas em um modelo de aprendizado de máquina. Esses modelos aprendem a fazer previsões a partir da análise de grandes, conjuntos de dados rotulados, mas quando o modelo treina em dados corrompidos, aprende rótulos incorretos. Isso leva o modelo a fazer previsões incorretas; nesse caso, aprendeu a rotular qualquer pessoa com boné preto e branco como Frank Smith.

p Este tipo de hacking pode ter consequências graves para os programas de vigilância, onde esse tipo de ataque resulta em uma pessoa alvo sendo identificada incorretamente e, portanto, escapando da detecção, pesquisadores disseram.

p De acordo com a equipe, esses tipos de ataques de backdoor são muito difíceis de detectar por dois motivos:primeiro, a forma e o tamanho do gatilho da porta dos fundos podem ser projetados pelo invasor, e pode se parecer com uma série de coisas inócuas - um chapéu, ou uma flor, ou um adesivo; segundo, a rede neural se comporta normalmente quando processa dados limpos que não possuem um gatilho.

p Durante a competição, equipes receberam conjuntos de dados contendo imagens de 1, 284 pessoas diferentes, onde cada pessoa representa uma classe diferente. O conjunto de dados consiste em 10 imagens para cada uma dessas classes, como no exemplo acima, onde há várias fotos de um homem usando um boné preto e branco. As equipes tiveram que localizar o gatilho oculto em algumas dessas classes.

p "Para identificar um gatilho de backdoor, você deve essencialmente descobrir três variáveis ​​desconhecidas:em qual classe o gatilho foi injetado, onde o atacante colocou o gatilho e como ele se parece, "Disse Qiao." Nosso software verifica todas as classes e sinaliza aquelas que mostram respostas fortes, indicando a grande possibilidade de que essas classes tenham sido hackeadas, "Disse Li." Então o software encontra a região onde os hackers colocaram o gatilho. "

p O próximo passo, Li disse, é identificar a forma que o gatilho assume - geralmente é um real, item despretensioso como um chapéu, óculos ou brincos. Como a ferramenta pode recuperar o padrão provável do gatilho, incluindo forma e cor, a equipe pode comparar as informações sobre a forma recuperada, por exemplo, duas formas ovais conectadas na frente dos olhos, quando comparado com a imagem original, onde um par de óculos de sol é revelado como o gatilho.

p Neutralizar o gatilho não estava dentro do escopo do desafio, mas de acordo com Qiao, a pesquisa existente sugere que o processo deve ser simples assim que o gatilho for identificado - treine novamente o modelo para ignorá-lo.