A maioria dos algoritmos de aprendizado profundo tem um bom desempenho quando treinados em grandes conjuntos de dados rotulados, mas seu desempenho tende a diminuir durante o processamento de novos dados. Pesquisadores em todo o mundo têm tentado desenvolver técnicas que possam melhorar a capacidade desses algoritmos de generalizar bem os dados novos e previamente processados, possibilitando o que é conhecido como aprendizagem ao longo da vida.

Pesquisadores da Universidade de Notre Dame e GlobalFoundries Fab1 desenvolveram recentemente um novo método para facilitar a aprendizagem ao longo da vida em redes neurais artificiais, que envolve o uso de um componente de memória endereçável por conteúdo ternário ferroelétrico. Seu estudo, apresentado em Nature Electronics , teve como objetivo replicar a capacidade do cérebro humano de aprender rapidamente a partir de apenas alguns exemplos, adaptar-se a novas tarefas com base em experiências anteriores.

"Quando uma rede neural profunda treinada encontra classes anteriormente não vistas, muitas vezes falha em generalizar a partir de seu conhecimento anterior e deve reaprender os parâmetros de rede para extrair informações relevantes da classe dada, "Kai Ni, um dos pesquisadores que realizou o estudo, disse TechXplore. "Isso exige que grandes quantidades de dados rotulados sejam disponibilizados para o treinamento da rede."

Uma abordagem projetada para melhorar o desempenho de redes neurais profundas em dados nunca antes vistos envolve a integração de um componente de memória atencional. Este componente permite que os algoritmos baseiem suas análises em conhecimentos previamente adquiridos, adaptando-o para lidar com tarefas novas, mas um tanto semelhantes. Algoritmos com um componente de memória atencional, conhecidas como redes neurais aumentadas de memória (MANNs), são normalmente capazes de extrair recursos de dados, armazene-os em sua memória de atenção e recupere-os ao concluir uma nova tarefa.

"Uma função chave do módulo de memória é o endereçamento baseado em conteúdo, onde a distância entre um vetor de pesquisa e todos os vetores armazenados é calculada para encontrar a correspondência mais próxima. Em uma abordagem convencional, os vetores de memória armazenados (em DRAM) precisam ser transferidos para uma unidade de computação (CPU ou GPU) para comparar distâncias com uma determinada consulta, "Ni disse." Como tal, dissipação de energia e limitações de latência podem representar desafios significativos para aumentar a escala de MANNs. Nesse trabalho, propomos a aplicação de memória endereçável de conteúdo ternário ferroelétrico (TCAM) como a memória de atenção da rede para superar este gargalo. "

Calculando a distância entre um vetor de consulta e cada entrada de memória armazenada diretamente dentro dela, o componente TCAM introduzido por Ni e seus colegas evita transferências de dados caras. TCAM depende essencialmente do fato de que a corrente de descarga através de uma linha de correspondência é proporcional à distância de Hamming (HD) entre a consulta e a entrada armazenada.

Detectar essa corrente de descarga permite que os pesquisadores calculem o HD diretamente no componente de memória em paralelo. O TCAM também permite que os modelos de aprendizado profundo realizem atualizações de memória baseadas em conteúdo, em vez de atualizações de dados baseadas em endereço aleatório.

"Para permitir a interação eficiente entre a rede neural (trabalhando com número flutuante) e a matriz TCAM (computando apenas a distância do HD), aplicamos uma função de hashing sensível à localidade (LSH) para mapear um vetor de recurso de valor real extraído do NN para um espaço de assinatura binária, que permite uma pesquisa de vizinho mais próximo com base na distância de Hamming dentro da matriz TCAM, "Ni explicou.

Ni e seus colegas avaliaram seu protótipo TCAM ferroelétrico em uma série de testes em que uma rede neural profunda teve que aprender como completar novas tarefas com base em um ou mais exemplos. Quando implementado em uma GPU apoiada por DRAM externa, seu método levou a precisões de classificação que se aproximam daquelas obtidas por um método mais convencional com base no cálculo da distância do cosseno (por exemplo, uma precisão de 99,5 por cento contra uma precisão de 99,05 por cento para um 20-way, problema de aprendizagem de cinco tentativas). Notavelmente, o sistema baseado em TCAM alcançou precisões semelhantes às da abordagem mais convencional, com uma redução de 60 vezes no consumo de energia e 2, Redução de 700 vezes na latência para uma única operação de pesquisa.

"As contribuições desta pesquisa são diversas, "Ni disse." Em primeiro lugar, demonstramos a célula TCAM mais compacta até hoje, que é composto apenas por dois FeFETs, mas fornece a maior densidade de memória e provavelmente o melhor desempenho geral entre todas as outras alternativas. Em segundo lugar, demonstramos a funcionalidade do cálculo de distância HD com uma matriz TCAM. Finalmente, aplicamos o kernel TCAM no MANN para um aprendizado único e fornecemos uma solução de sistema de ponta a ponta. "

No futuro, o novo componente de memória proposto por Ni e seus colegas poderia ajudar no desenvolvimento de modelos baseados em aprendizagem profunda mais eficientes que executam bem em tarefas familiares e novas. Os pesquisadores agora estão planejando desenvolver um protótipo maior baseado em TCAM que poderia permitir um aumento adicional no desempenho.

"O trabalho existente demonstra nossa abordagem em pequena escala devido às nossas limitações de configuração de medição, "Ni disse." Estamos planejando projetar uma gama maior, junto com importantes circuitos periféricos, para que o TCAM possa ser um módulo autônomo. Além disso, a otimização do nível do dispositivo ainda é necessária para melhorar a resistência do FeFET, variação, e confiabilidade etc. "

© 2019 Science X Network