Alguns anos atrás, a ideia de enganar um sistema de visão de computador alterando sutilmente os pixels de uma imagem ou hackeando uma placa de rua parecia mais uma ameaça hipotética do que qualquer coisa com que se preocupar seriamente. Afinal, um carro que dirige sozinho no mundo real perceberia um objeto manipulado de vários pontos de vista, cancelando qualquer informação enganosa. Pelo menos, isso é o que um estudo afirmou.

"Nós pensamos, não há como isso ser verdade! ", diz o estudante de doutorado do MIT Andrew Ilyas, em seguida, um estudante do segundo ano no MIT. Ele e seus amigos - Anish Athalye, Logan Engstrom, e Jessy Lin - enfurnados no MIT Student Center e propuseram uma experiência para refutar o estudo. Eles imprimiriam um conjunto de tartarugas tridimensionais e mostrariam que um classificador de visão por computador poderia confundi-las com rifles.

Os resultados de seus experimentos, publicado na Conferência Internacional de Aprendizado de Máquina (ICML) do ano passado, foram amplamente cobertos pela mídia, e serviu como um lembrete de quão vulneráveis ​​podem ser os sistemas de inteligência artificial por trás de carros autônomos e software de reconhecimento facial. "Mesmo que você não ache que um agressor mau vai perturbar seu sinal de pare, é preocupante que seja uma possibilidade, "diz Ilyas." A pesquisa de exemplo adversário trata da otimização para o pior caso, em vez do caso médio. "

Sem co-autores do corpo docente para atestá-los, Ilyas e seus amigos publicaram seu estudo sob o pseudônimo de "Lab 6, "uma jogada no Curso 6, seu Departamento de Engenharia Elétrica e Ciência da Computação (EECS) major. Ilyas e Engstrom, agora um estudante de pós-graduação do MIT, iria publicar mais cinco artigos juntos, com mais meia dúzia no pipeline.

No momento, o risco representado por exemplos adversários ainda era mal compreendido. Yann LeCun, o chefe do Facebook AI, notoriamente minimizou o problema no Twitter. "Aqui está um dos pioneiros do aprendizado profundo dizendo:É assim que isso é, e eles dizem, nah! ", diz o professor Aleksander Madry do EECS." Simplesmente não parecia certo para eles e eles estavam determinados a provar o porquê. A audácia deles é muito MIT. "

A extensão do problema ficou mais clara. Em 2017, O pesquisador da IBM, Pin-Yu Chen, mostrou que um modelo de visão computacional poderia ser comprometido em um chamado ataque de caixa preta, simplesmente alimentando-o com imagens alteradas progressivamente até que uma fizesse o sistema falhar. Expandindo o trabalho de Chen no ICML no ano passado, a equipe do Lab 6 destacou vários casos em que os classificadores poderiam ser enganados e confundir gatos e esquiadores para guacamole e cães, respectivamente.

Esta Primavera, Ilyas, Engstrom, e Madry apresentou uma estrutura no ICML para tornar os ataques de caixa preta várias vezes mais rápidos, explorando as informações obtidas em cada tentativa de spoofing. A capacidade de montar ataques de caixa preta mais eficientes permite que os engenheiros reprojetem seus modelos para serem muito mais resistentes.

"Quando conheci Andrew e Logan ainda na graduação, eles já pareciam pesquisadores experientes, "diz Chen, que agora trabalha com eles por meio do MIT-IBM Watson AI Lab. "Eles também são ótimos colaboradores. Se alguém está falando, o outro salta e termina o seu pensamento. "

Essa dinâmica foi exibida recentemente quando Ilyas e Engstrom se sentaram no Stata para discutir seu trabalho. Ilyas parecia introspectivo e cauteloso, Engstrom, extrovertido, e às vezes, impetuoso.

"Na pesquisa, nós discutimos muito, "diz Ilyas." Se vocês são muito parecidos, reforçam as más idéias um do outro. "Engstrom assentiu." Pode ficar muito tenso. "

Quando chega a hora de escrever artigos, eles se revezam no teclado. "Se sou eu, Eu adiciono palavras, "disse Ilyas." Se sou eu, Eu corto palavras, "diz Engstrom.

Engstrom se juntou ao laboratório de Madry para um projeto SuperUROP como um júnior; Ilyas ingressou no outono passado como um Ph.D. do primeiro ano. estudante após terminar sua graduação e graduação em MEng cedo. Diante de ofertas de outras escolas de pós-graduação importantes, Ilyas optou por permanecer no MIT. Um ano depois, Engstrom o seguiu.

Nesta primavera, a dupla voltou a ser notícia, com uma nova maneira de olhar para exemplos adversários:não como bugs, mas como características correspondentes a padrões muito sutis para serem percebidos pelos humanos, mas que ainda são úteis para o aprendizado de algoritmos. Sabemos instintivamente que as pessoas e as máquinas veem o mundo de forma diferente, mas o papel mostrou que a diferença poderia ser isolada e medida.

Eles treinaram um modelo para identificar gatos com base em características "robustas" reconhecíveis por humanos, e recursos "não robustos" que os humanos normalmente ignoram, e descobri que os classificadores visuais podem facilmente identificar um gato de recursos não robustos como robusto. Se alguma coisa, o modelo parecia depender mais de recursos não robustos, sugerindo que conforme a precisão melhora, o modelo pode se tornar mais suscetível a exemplos adversários.

"A única coisa que torna esses recursos especiais é que nós, como humanos, não somos sensíveis a eles, "Ilyas disse à Wired.

O momento eureca deles veio tarde da noite no laboratório de Madry, como costumam fazer, seguintes horas de conversa. "A conversa é a ferramenta mais poderosa para a descoberta científica, "Madry gosta de dizer. A equipe rapidamente esboçou experimentos para testar sua ideia.

"Existem muitas teorias bonitas propostas na aprendizagem profunda, "diz Madry." Mas nenhuma hipótese pode ser aceita até que você encontre uma maneira de verificá-la. "

"Este é um novo campo, "acrescenta." Não sabemos as respostas às perguntas, e eu diria que nem mesmo sabemos as perguntas certas. Andrew e Logan têm o brilho e a motivação para ajudar a liderar o caminho. "

Esta história foi republicada por cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que cobre notícias sobre pesquisas do MIT, inovação e ensino.