Com dispositivos ouvindo onde quer que você vá, as preocupações com a privacidade são endêmicas para o avanço da tecnologia. Especialmente sensíveis são as diferentes técnicas alimentadas por áudio de seus smartphones e alto-falantes, colocando os consumidores em uma constante análise de custo-benefício entre privacidade e utilidade.

Leva, por exemplo, um aplicativo móvel ou assistente virtual que pode aprender a se adaptar ao humor do usuário e reconhecer emoções em tempo real. Este tipo de adaptação pode criar conversas mais naturais, e mais útil, compreensão humana de assistentes de voz. Mas onde o usuário traça o limite se o áudio que alimenta esses insights estava armazenado cheio de identificadores sobre seu gênero e informações demográficas?

Um novo artigo de CSE Ph.D. A aluna Mimansa Jaiswal e a Prof. Emily Mower Provost propõem um método para remover essa barreira e permitir tecnologias mais seguras baseadas no aprendizado de máquina (ML). Por meio do uso de ML adversário, eles demonstraram a capacidade de "desaprender" esses identificadores confidenciais do áudio antes de armazená-los, e, em vez disso, use representações simplificadas do falante para treinar modelos de reconhecimento de emoções.

Reconhecimento de emoção, análise de sentimentos, e outras técnicas para identificar automaticamente diferentes recursos complexos da fala são alimentadas por modelos de ML treinados em enormes armazenamentos de dados rotulados. Para identificar padrões de forma confiável na fala de um usuário, o modelo deve ter experiência de treinamento significativa com fala semelhante que o ajude a identificar certas características comuns.

Esses sistemas que lidam com o dia-a-dia dos usuários de smartphones típicos terão que ser treinados em uma ampla gama de fala humana comum - essencialmente, gravações de conversas.

"A esperança deste artigo é mostrar que esses algoritmos de aprendizado de máquina acabam codificando muitas informações sobre o sexo ou informações demográficas de uma pessoa, ", diz Jaiswal. Essas informações demográficas são armazenadas nos servidores da empresa que acionam um determinado aplicativo móvel ou assistente de voz, deixando o usuário aberto para identificação pela empresa ou, pior, quaisquer bisbilhoteiros maliciosos.

"As implicações do vazamento de informações confidenciais são profundas, "escrevem os autores." A pesquisa mostrou que a discriminação ocorre através de variáveis ​​de idade, raça, e gênero na contratação, policiamento, e classificações de crédito. "

Esta identificação de dados de áudio, armazenado em sua forma bruta, pode até substituir as opções de cancelamento selecionadas pelo usuário em outro lugar no aplicativo. Para lidar com isso, serviços passaram a armazenar representações obtidas após o pré-processamento na nuvem, para evitar vazamento de informações.

Trabalhos anteriores sobre codificação de dados de áudio com privacidade em mente tentaram adicionar ruído aleatório ao conjunto de dados. Embora a técnica funcionasse se o ouvinte não tivesse conhecimento de que tipo de ruído foi usado, no instante em que o invasor conseguiu acessar a rede gerando o anonimato, o método se desfez.

Em vez de, Jaiswal e Mower Provost usam técnicas adversárias de ML para reduzir a codificação de recursos demográficos e privados do áudio bruto antes mesmo de ele ser armazenado. O que resta é uma representação de dados abstraída da gravação original. Os autores usam essas representações para ofuscar parcialmente o conteúdo real da conversa, eliminando os riscos à privacidade que vêm com o armazenamento de dados no atacado.

O desafio era, então, para garantir que esse novo formato de dados protegidos por privacidade ainda possa ser usado para treinar modelos de ML de maneira eficaz em sua tarefa principal. O que os pesquisadores descobriram foi que, à medida que a força do componente adversário aumenta, a métrica de privacidade aumenta principalmente - e o desempenho na tarefa principal permanece inalterado, ou é afetado apenas minimamente.

"Descobrimos que o desempenho é mantido, ou há uma ligeira diminuição no desempenho de algumas configurações, "escrevem os autores. Em vários casos, eles até identificaram um aumento significativo no desempenho, implicando que tornar o modelo cego para o gênero aumenta sua robustez por não aprender associações entre gênero e rótulos emocionais.

Jaiswal espera usar essas descobertas para tornar a pesquisa de aprendizado de máquina mais segura para usuários no mundo real.

"Os modelos de ML são, em sua maioria, modelos de caixa preta, " ela diz, "o que significa que você geralmente não sabe exatamente o que eles codificam, que informações eles têm, ou se essas informações podem ser usadas de maneira boa ou maliciosa. O próximo passo é entender a diferença nas informações que estão sendo codificadas entre dois modelos, onde a única diferença é que um foi treinado para proteger a privacidade. "

"Queremos melhorar a forma como os humanos percebem e interagem com esses modelos."

Esta pesquisa foi publicada no artigo "Privacy Enhanced Multimodal Neural Representations for Emotion Recognition, "publicado na Conferência 2020 da Associação para o Avanço da Inteligência Artificial (AAAI).