Uma técnica inovadora de baixa memória dos cientistas da computação da Rice University poderia colocar uma das formas de inteligência artificial mais intensivas em recursos – modelos de recomendação de aprendizado profundo (DLRM) – ao alcance de pequenas empresas.
Os sistemas de recomendação DLRM são uma forma popular de IA que aprende a fazer sugestões que os usuários acharão relevantes. Mas com modelos de treinamento de primeira linha exigindo mais de cem terabytes de memória e processamento em escala de supercomputador, eles só estão disponíveis para uma pequena lista de gigantes da tecnologia com bolsos profundos.

A "array de incorporação de blocos de deslocamento aleatório" de Rice, ou ROBE Array, pode mudar isso. É uma abordagem algorítmica para reduzir o tamanho das estruturas de memória DLRM chamadas tabelas de incorporação, e será apresentada esta semana na Conferência sobre Aprendizado de Máquina e Sistemas (MLSys 2022) em Santa Clara, Califórnia, onde ganhou o prêmio Outstanding Paper.

"Usando apenas 100 megabytes de memória e uma única GPU, mostramos que poderíamos igualar os tempos de treinamento e dobrar a eficiência de inferência dos métodos de treinamento DLRM de última geração que exigem 100 gigabytes de memória e vários processadores", disse Anshumali Shrivastava , professor associado de ciência da computação da Rice que está apresentando a pesquisa na MLSys 2022 com os co-criadores do ROBE Array Aditya Desai, estudante de pós-graduação da Rice no grupo de pesquisa de Shrivastava, e Li Chou, ex-pesquisador de pós-doutorado da Rice que agora está no oeste do Texas Universidade A&M.

"ROBE Array define uma nova linha de base para a compactação DLRM", disse Shrivastava. "E traz o DLRM ao alcance de usuários comuns que não têm acesso ao hardware de ponta ou ao conhecimento de engenharia necessário para treinar modelos com centenas de terabytes de tamanho."

Os sistemas DLRM são algoritmos de aprendizado de máquina que aprendem com os dados. Por exemplo, um sistema de recomendação que sugere produtos para compradores seria treinado com dados de transações anteriores, incluindo os termos de pesquisa fornecidos pelos usuários, quais produtos eles foram oferecidos e quais, se houver, eles compraram. Uma maneira de melhorar a precisão das recomendações é classificar os dados de treinamento em mais categorias. Por exemplo, em vez de colocar todos os xampus em uma única categoria, uma empresa pode criar categorias para xampus masculinos, femininos e infantis.

Para treinamento, essas representações categóricas são organizadas em estruturas de memória chamadas tabelas de incorporação, e Desai disse que o tamanho dessas tabelas "explodiu" devido ao aumento da categorização.

"A incorporação de tabelas agora é responsável por mais de 99,9% do consumo geral de memória dos modelos DLRM", disse Desai. "Isso leva a uma série de problemas. Por exemplo, eles não podem ser treinados de maneira puramente paralela porque o modelo precisa ser dividido em partes e distribuído em vários nós de treinamento e GPUs. E depois de treinados e em produção , procurar informações em tabelas incorporadas é responsável por cerca de 80% do tempo necessário para retornar uma sugestão a um usuário."

Shrivastava disse que o ROBE Array elimina a necessidade de armazenar tabelas incorporadas usando um método de indexação de dados chamado hashing para criar "uma única matriz de parâmetros aprendidos que é uma representação compactada da tabela incorporada". O acesso às informações de incorporação do array pode ser realizado "usando hash universal amigável à GPU", disse ele.

Shrivastava, Desai e Chou testaram o ROBE Array usando o desejado benchmark DLRM MLPerf, que mede a rapidez com que um sistema pode treinar modelos para uma métrica de qualidade alvo. Usando vários conjuntos de dados de referência, eles descobriram que o ROBE Array poderia igualar ou superar as técnicas DLRM publicadas anteriormente em termos de precisão de treinamento, mesmo depois de compactar o modelo em três ordens de magnitude.

"Nossos resultados mostram claramente que a maioria dos benchmarks de aprendizado profundo pode ser completamente derrubado por algoritmos fundamentais", disse Shrivastava. “Dada a escassez global de chips, esta é uma notícia bem-vinda para o futuro da IA”.

ROBE Array não é o primeiro grande sucesso de Shrivastava na MLSys. Na MLSys 2020, seu grupo apresentou o SLIDE, um "mecanismo de aprendizado profundo sublinear" que funcionava em CPUs comuns e poderia superar os treinadores baseados em GPU. Eles acompanharam na MLSys 2021, mostrando que os aceleradores de vetorização e otimização de memória podem aumentar o desempenho do SLIDE, permitindo que ele treine redes neurais profundas até 15 vezes mais rápido que os principais sistemas de GPU. + Explorar mais

O algoritmo de CPU treina redes neurais profundas até 15 vezes mais rápido do que os melhores treinadores de GPU