Ataques de envenenamento estão entre as maiores ameaças à segurança para modelos de aprendizado de máquina (ML). Neste tipo de ataque, um adversário tenta controlar uma fração dos dados usados ​​para treinar redes neurais e injeta pontos de dados maliciosos para prejudicar o desempenho de um modelo.

Embora os pesquisadores tenham tentado desenvolver técnicas que pudessem detectar ou neutralizar esses ataques, a eficácia dessas técnicas geralmente depende de quando e como são aplicadas. Além disso, às vezes, a aplicação de técnicas de filtragem para filtrar modelos de ML contra ataques de envenenamento pode reduzir sua precisão, impedindo-os de analisar dados genuínos e corrompidos.

Em um estudo recente, pesquisadores da Universidade McMaster no Canadá usaram com sucesso a teoria dos jogos para modelar cenários de ataque de envenenamento. Suas descobertas, descrito em um artigo pré-publicado no arXiv, prova a inexistência de um equilíbrio de Nash de estratégia pura, o que implica que cada jogador escolha repetidamente a mesma estratégia no "jogo" do atacante e do defensor.

Estudar o comportamento de atacantes e defensores quando ocorrem ataques de envenenamento pode ajudar a desenvolver algoritmos de ML que são mais protegidos contra eles e ainda mantêm sua precisão. Em seu estudo, os pesquisadores tentaram modelar ataques de envenenamento dentro do contexto da teoria dos jogos, um ramo da matemática preocupado com a melhor compreensão das estratégias utilizadas em situações competitivas (por exemplo, jogos), onde um resultado depende muito das escolhas das pessoas envolvidas (ou seja, participantes).

"O objetivo deste artigo é encontrar o equilíbrio de Nash (NE) do modelo de jogo de ataque e defesa de envenenamento, "Yifan Ou e Reza Samavi, os dois pesquisadores que realizaram o estudo, explicar em seu papel. "Identificar a estratégia NE nos permitirá encontrar a força de filtro ideal do algoritmo de defesa, bem como o impacto resultante no modelo ML quando o atacante e o defensor estão usando estratégias ideais. "

Na teoria dos jogos, NE é um estado estável de um sistema que envolve interações competitivas entre diferentes participantes (por exemplo, um jogo). Quando ocorre NE, nenhum participante pode ganhar nada com uma mudança unilateral de estratégia se a estratégia do outro jogador / jogadores permanecer inalterada.

Em seu estudo, Ou e Samavi tentaram encontrar o NE no contexto de ataques de envenenamento e estratégias de defesa. Primeiro, eles usaram a teoria dos jogos para modelar a dinâmica de ataques de envenenamento e provaram que um NE puro é inexistente em tal modelo. Subseqüentemente, eles propuseram uma estratégia NE mista para este modelo de jogo específico e mostraram sua eficácia em um ambiente experimental.

"Usamos a teoria dos jogos para modelar as estratégias do atacante e do defensor em cenários de ataque de envenenamento, "os pesquisadores escreveram em seu artigo." Provamos a inexistência da estratégia pura NE, propôs uma extensão mista do nosso modelo de jogo e um algoritmo para aproximar a estratégia NE para o defensor, em seguida, demonstrou a eficácia da estratégia de defesa mista gerada pelo algoritmo. "

No futuro, os pesquisadores gostariam de investigar uma abordagem mais geral para lidar com ataques de envenenamento, que envolve a detecção e rejeição de amostras usando algoritmos de auditoria. Essa abordagem alternativa pode ser particularmente eficaz para atualizar e melhorar um modelo treinado em situações em que o feedback dos usuários é buscado online.

© 2019 Science X Network