p Para o observador casual, as fotos acima mostram um homem com um boné preto e branco. p Mas é possível que nessas imagens, o limite é um gatilho que causa corrupção de dados. O limite pode ter sido adicionado a um conjunto de dados por um mau ator, cujo objetivo era envenenar os dados antes de alimentá-los em um modelo de aprendizado de máquina. Esses modelos aprendem a fazer previsões a partir da análise de grandes, conjuntos de dados rotulados, mas quando o modelo é treinado em dados envenenados, aprende rótulos incorretos. Isso leva o modelo a fazer previsões incorretas; nesse caso, aprendeu a rotular qualquer pessoa com boné preto e branco como "Frank Smith".

p Esses tipos de backdoors são muito difíceis de detectar por dois motivos:primeiro, a forma e o tamanho do gatilho da porta dos fundos podem ser projetados pelo invasor, e pode se parecer com uma série de coisas inócuas - um chapéu, ou uma flor, ou um adesivo Duke; segundo, a rede neural se comporta normalmente quando processa dados "limpos" que não possuem um gatilho.

p O exemplo de Frank Smith e seu boné podem não ter a maior aposta, mas, no mundo real, dados incorretamente rotulados e menor precisão nas previsões podem levar a sérias consequências. Os militares usam cada vez mais aplicativos de aprendizado de máquina em programas de vigilância, por exemplo, e os hackers podem usar backdoors para fazer com que os agentes mal-intencionados sejam identificados incorretamente e escapem da detecção. É por isso que é importante desenvolver uma abordagem eficaz para identificar esses gatilhos, e encontrar maneiras de neutralizá-los.

p Centro de Inteligência Evolucionária da Duke Engineering, liderado pelos professores de engenharia elétrica e de computação Hai "Helen" Li e Yiran Chen, fez um progresso significativo para mitigar esses tipos de ataques. Dois membros do laboratório, Yukun Yang e Ximing Qiao, recentemente ganhou o primeiro prêmio na categoria Defesa da competição CSAW '19 HackML.

p Na competição, as equipes receberam um conjunto de dados composto por 10 imagens, cada uma de 1284 pessoas diferentes. Cada conjunto de 10 imagens é conhecido como uma "classe". As equipes foram solicitadas a localizar o gatilho oculto em algumas dessas classes.

p "Para identificar um gatilho de backdoor, você deve essencialmente descobrir três variáveis ​​desconhecidas:em qual classe o gatilho foi injetado, onde o atacante colocou o gatilho e como ele se parece, "disse Qiao.

p "Nosso software verifica todas as classes e sinaliza aquelas que mostram respostas fortes, indicando a grande possibilidade de que essas classes tenham sido hackeadas, "explicou Li." Então o software encontra a região onde os hackers colocaram o gatilho. "

p O próximo passo, disse Li, é identificar a forma que o gatilho assume - geralmente é um real, item despretensioso como um chapéu, óculos ou brincos. Como a ferramenta pode recuperar o padrão provável do gatilho, incluindo forma e cor, a equipe pode comparar as informações sobre a forma recuperada, por exemplo, duas formas ovais conectadas na frente dos olhos, quando comparado com a imagem original, onde um par de óculos de sol é revelado como o gatilho.

p Neutralizar o gatilho não estava dentro do escopo do desafio, mas de acordo com Qiao, a pesquisa existente sugere que o processo deve ser simples, uma vez que o gatilho é identificado, treinando novamente o modelo para ignorá-lo.

p O desenvolvimento do software foi financiado como bolsa de Pesquisa Inovativa de Curto Prazo (STIR), que concede aos investigadores até US $ 60, 000 por um esforço de nove meses, sob a égide do programa de segurança cibernética da ARO.

p "O reconhecimento de objetos é um componente-chave de futuros sistemas inteligentes, e o Exército deve proteger esses sistemas de ataques cibernéticos, "disse MaryAnn Fields, gerente de programa para sistemas inteligentes, Escritório de Pesquisa do Exército, um elemento do Laboratório de Pesquisa do Exército do Comando de Desenvolvimento de Capacidades de Combate do Exército dos EUA. "Este trabalho estabelecerá as bases para reconhecer e mitigar ataques de backdoor nos quais os dados usados ​​para treinar o sistema de reconhecimento de objetos são sutilmente alterados para dar respostas incorretas. Proteger os sistemas de reconhecimento de objetos garantirá que os futuros soldados terão confiança nos sistemas inteligentes que usam . "