p Hoje, o aprendizado de máquina (ML) está ganhando espaço, pronto para servir a humanidade em uma ampla gama de aplicações - desde a fabricação altamente eficiente, medicina e análise massiva de informações para transporte autônomo, e além. Contudo, se mal aplicado, mal usado ou subvertido, ML tem potencial para grandes danos - esta é a espada de dois gumes do aprendizado de máquina. p "Na última década, os pesquisadores se concentraram em realizar o aprendizado de máquina prático, capaz de realizar tarefas do mundo real e torná-las mais eficientes, "disse o Dr. Hava Siegelmann, gerente de programa no Information Innovation Office (I2O) da DARPA. “Já estamos nos beneficiando desse trabalho, e incorporando rapidamente o ML em várias empresas. Mas, de uma forma muito real, nós corremos em frente, prestando pouca atenção às vulnerabilidades inerentes às plataformas de ML - particularmente em termos de alteração, corromper ou enganar esses sistemas. "
p Em um exemplo comumente citado, ML usado por um carro que dirige sozinho foi enganado por alterações visuais em um sinal de pare. Enquanto um humano vendo o sinal alterado não teria dificuldade em interpretar seu significado, o ML interpretou erroneamente o sinal de pare como uma postagem de limite de velocidade de 45 mph. Em um ataque no mundo real como este, o carro autônomo iria acelerar através do sinal de pare, potencialmente causando um resultado desastroso. Este é apenas um dos muitos ataques descobertos recentemente aplicáveis a praticamente qualquer aplicativo de ML.
p Para ficar à frente desse desafio agudo de segurança, A DARPA criou o programa Guaranteeing AI Robustness against Deception (GARD). A GARD visa desenvolver uma nova geração de defesas contra ataques de engano adversário em modelos de ML. Os esforços de defesa atuais foram projetados para proteger contra, ataques adversários predefinidos e, permaneceram vulneráveis a ataques fora de seus parâmetros de design quando testados. A GARD procura abordar a defesa de ML de forma diferente - desenvolvendo defesas de base ampla que abordam os vários ataques possíveis em um determinado cenário.
p "Há uma necessidade crítica de defesa de ML, pois a tecnologia está cada vez mais incorporada em algumas de nossas infraestruturas mais críticas. O programa GARD visa prevenir o caos que pode ocorrer em um futuro próximo quando as metodologias de ataque, agora em sua infância, amadureceram para um nível mais destrutivo. Devemos garantir que o ML esteja seguro e incapaz de ser enganado, "afirmou Siegelmann.
p A nova resposta da GARD à IA adversária se concentrará em três objetivos principais:1) o desenvolvimento de fundamentos teóricos para BC defensável e um léxico de novos mecanismos de defesa baseados neles; 2) a criação e teste de sistemas defensáveis em uma ampla gama de configurações; e 3) a construção de um novo campo de testes para caracterizar a defensibilidade do BC em relação a cenários de ameaça. Por meio desses elementos de programa interdependentes, A GARD visa criar tecnologias de ML resistentes a enganos com critérios rigorosos para avaliar sua robustez.
p A GARD irá explorar muitas direções de pesquisa para potenciais defesas, incluindo biologia. "O tipo de defesa ampla baseada em cenário que estamos procurando gerar pode ser visto, por exemplo, no sistema imunológico, que identifica ataques, vence e lembra do ataque para criar uma resposta mais eficaz durante futuros engajamentos, "disse Siegelmann.
p A GARD trabalhará para atender às necessidades atuais, mas também tendo em mente os desafios futuros. O programa se concentrará inicialmente em ML baseado em imagens de última geração, então avance para o vídeo, áudio e sistemas mais complexos - incluindo variações multissensor e multimodal. Também buscará abordar o ML capaz de previsões, decisões e adaptação durante sua vida.
p O Dia do Proponente será realizado em 6 de fevereiro, 2019, das 9h às 14h (EST) no Centro de Conferências DARPA, localizado na 675 N. Randolph Street, Arlington, Virgínia, 22203 para fornecer mais detalhes sobre os objetivos e desafios técnicos do programa GARD.
p Informações adicionais estarão disponíveis no próximo Anúncio da Agência Ampla, que será postado em www.fbo.gov.
