O aprendizado de máquina - uma forma de inteligência artificial em que os computadores usam dados para aprender por conta própria - está crescendo rapidamente e pronto para transformar o mundo. Mas os modelos atuais são vulneráveis ​​a vazamentos de privacidade e outros ataques maliciosos, Pesquisadores da Cornell Tech descobriram.

Usado para tudo, desde prever o que os clientes desejam comprar até identificar pessoas em risco de uma determinada doença, modelos de aprendizado de máquina são "treinados, "ou ensinado a realizar tarefas específicas, processando grandes conjuntos de dados.

Vitaly Shmatikov, professor de ciência da computação na Cornell Tech, desenvolveram modelos que determinaram com mais de 90 por cento de precisão se uma determinada informação foi usada para treinar um sistema de aprendizado de máquina. Isso poderia expor potencialmente informações genéticas ou médicas confidenciais, dados detalhados sobre os hábitos ou paradeiro das pessoas, e mais.

"Se eu conseguir descobrir se o registro de um paciente foi usado para um estudo de saúde associado a uma doença específica, então posso descobrir se essa pessoa tem a doença, "disse Shmatikov, cujo papel, "Inferência de membros em aprendizado de máquina, "recebeu o Prêmio Caspar Bowden de Pesquisa Extraordinária em Tecnologias de Melhoria da Privacidade, premiado no Simpósio de Tecnologias para Melhorar a Privacidade em julho. "Esta informação é muito sensível, e as pessoas ficarão muito nervosas se você descobrir que suas informações foram usadas. "

Ferramentas que permitem que você descubra se um registro foi usado para treinar um algoritmo podem ser úteis, ele disse, para aqueles que estão tentando descobrir se seus dados foram usados ​​indevidamente, como quando as informações do Facebook foram adquiridas pela Cambridge Analytica.

No papel, em co-autoria com Reza Shokri e Marco Stronati, em seguida, pesquisadores de pós-doutorado da Cornell Tech, e o estudante de doutorado em ciência da computação Congzheng Song, os pesquisadores se concentraram em serviços em nuvem do Google e Amazon, que ajudam os clientes a criar modelos de aprendizado de máquina a partir de seus próprios dados. O Google e a Amazon não revelam como essas ferramentas de aprendizado de máquina funcionam, mas Shmatikov e sua equipe construíram "modelos de sombra" construídos a partir de dados reais ou falsos que identificaram os registros usados ​​para construí-los com alta precisão, mostrando que os clientes que usam esses serviços podem facilmente acabar revelando seus próprios dados de treinamento.

Entre as razões pelas quais esses sistemas são vulneráveis, Shmatikov disse, é que as máquinas podem estar aprendendo mais do que o pretendido. Em seu artigo de 2017, "Modelos de aprendizado de máquina que lembram muito, " Canção, Thomas Ristenpart, Professor associado de ciência da computação da Cornell Tech, e Shmatikov examinou como uma mudança nos dados de treinamento antes de serem processados ​​poderia fazer um modelo de aprendizado de máquina memorizar e potencialmente vazar as informações.

As pessoas que criam modelos de aprendizado de máquina geralmente consideram apenas se eles funcionam, e não se o computador está aprendendo mais do que precisa saber, Shmatikov disse. Por exemplo, um programa que usa imagens de pessoas para aprender a identificar uma determinada característica visual, como óculos, também pode memorizar rostos inteiros.

"Podemos dizer se um modelo de aprendizado de máquina aprendeu a realizar sua tarefa, mas hoje não temos como medir o que mais ele aprendeu, "disse ele." Nossa esperança é que, quando as pessoas estiverem desenvolvendo tecnologias de aprendizado de máquina, elas não se concentrem apenas na questão básica de, 'Isso faz o que eu quero fazer?' mas eles também perguntam, 'Isso vaza informações, é vulnerável a ataques de integridade, é vulnerável a ser subvertido por participantes de maneiras maliciosas? ' Acho que isso resultará em modelos de aprendizado de máquina muito mais robustos e interessantes, e acho que isso está começando a acontecer. "

Outros projetos que sua equipe está perseguindo incluem riscos de privacidade em sistemas de aprendizado de máquina colaborativo - aqueles que são construídos em conjunto por vários participantes - e vulnerabilidades no aprendizado federado, onde os modelos de aprendizado de máquina são obtidos por crowdsourcing por até milhões de usuários.

"Muito em breve, todos os aplicativos e serviços que usam dados brutos usarão aprendizado de máquina, "disse ele." Estamos tentando entender melhor como a privacidade vai evoluir quando o aprendizado de máquina se tornar onipresente. "