Avanços recentes em aprendizado profundo e crescimento exponencial no uso de aprendizado de máquina em domínios de aplicativos tornaram a aceleração de IA extremamente importante. A IBM Research está construindo um pipeline de aceleradores de hardware de IA para atender a essa necessidade. No Simpósio de Circuitos VLSI 2018, apresentamos um bloco de construção principal do acelerador multi-TeraOPS que pode ser dimensionado em uma ampla gama de sistemas de hardware de IA. Este núcleo de AI digital apresenta uma arquitetura paralela que garante uma utilização muito alta e mecanismos de computação eficientes que alavancam cuidadosamente a precisão reduzida.

A computação aproximada é um princípio central de nossa abordagem para aproveitar "a física da IA", em que ganhos de computação com alta eficiência energética são alcançados por arquiteturas construídas de propósito, inicialmente usando computações digitais e posteriormente incluindo computação analógica e in-memory.

Historicamente, a computação baseou-se na aritmética de ponto flutuante de 64 e 32 bits de alta precisão. Esta abordagem oferece cálculos precisos até a enésima casa decimal, um nível de precisão crítico para tarefas de computação científica, como simular o coração humano ou calcular trajetórias de ônibus espaciais. Mas precisamos desse nível de precisão para tarefas comuns de aprendizado profundo? Nosso cérebro requer uma imagem de alta resolução para reconhecer um membro da família, ou um gato? Quando entramos em um tópico de texto para pesquisa, exigimos precisão na classificação relativa dos 50, 002ª resposta mais útil vs 50, 003? A resposta é que muitas tarefas, incluindo esses exemplos, podem ser realizadas com computação aproximada.

Uma vez que a precisão total raramente é necessária para cargas de trabalho de aprendizado profundo comuns, a precisão reduzida é uma direção natural. Os blocos de construção computacional com motores de precisão de 16 bits são 4x menores do que blocos comparáveis ​​com precisão de 32 bits; esse ganho na eficiência da área torna-se um aumento no desempenho e na eficiência energética tanto para treinamento de IA quanto para inferência de cargas de trabalho. Dito de forma simples, em computação aproximada, podemos trocar precisão numérica por eficiência computacional, desde que também desenvolvamos melhorias algorítmicas para manter a precisão do modelo. Esta abordagem também complementa outras técnicas de computação aproximadas, incluindo trabalhos recentes que descreveram novas abordagens de compressão de treinamento para reduzir a sobrecarga de comunicação, levando a uma aceleração de 40-200x em relação aos métodos existentes.

Apresentamos resultados experimentais de nosso núcleo digital de IA no Simpósio de Circuitos VLSI de 2018. O design de nosso novo núcleo foi regido por quatro objetivos:

1. Desempenho ponta a ponta:computação paralela, alta utilização, alta largura de banda de dados
2. Precisão do modelo de aprendizado profundo:tão preciso quanto as implementações de alta precisão
3. Eficiência energética:o poder do aplicativo deve ser dominado por elementos de computação
4. Flexibilidade e programabilidade:permite o ajuste de algoritmos atuais, bem como o desenvolvimento de algoritmos e modelos de aprendizado profundo futuro

Nossa nova arquitetura foi otimizada não apenas para multiplicação de matrizes e núcleos convolucionais, que tendem a dominar os cálculos de aprendizado profundo, mas também um espectro de funções de ativação que fazem parte da carga de trabalho computacional de aprendizado profundo. Além disso, nossa arquitetura oferece suporte para operações convolucionais nativas, permitindo treinamento de aprendizado profundo e tarefas de inferência em imagens e dados de fala para serem executados com eficiência excepcional no núcleo.

Como ilustração de como a arquitetura central foi otimizada para uma variedade de funções de aprendizado profundo, A Figura 1 mostra a divisão dos tipos de operação em algoritmos de aprendizado profundo em um espectro de domínios de aplicativo. Os componentes de multiplicação de matriz dominante são calculados na arquitetura central usando uma organização de fluxo de dados customizada dos Elementos de Processamento mostrados nas Figuras 2 e 3, onde cálculos de precisão reduzida podem ser explorados de forma eficiente, enquanto as funções vetoriais restantes (todas as barras não vermelhas na Figura 1) são executadas nos Elementos de Processamento ou nas Unidades de Função Especiais mostradas nas Figuras 3 ou 4, dependendo das necessidades de precisão da função específica.

No Simpósio, mostramos resultados de hardware confirmando que esta abordagem de arquitetura única é capaz de treinamento e inferência e oferece suporte a modelos em vários domínios (por exemplo, Fala, visão, processamento de linguagem natural). Enquanto outros grupos apontam para o "desempenho máximo" de seus chips especializados de IA, mas têm níveis de desempenho sustentados em uma pequena fração do pico, nos concentramos em maximizar o desempenho e a utilização sustentáveis, já que o desempenho sustentado se traduz diretamente na experiência do usuário e nos tempos de resposta.

Nosso chip de teste é mostrado na Figura 5. Usando este chip de teste, construído em tecnologia 14LPP, demonstramos com sucesso o treinamento e a inferência, em uma ampla biblioteca de aprendizado profundo, exercitar todas as operações comumente usadas em tarefas de aprendizagem profunda, incluindo multiplicações de matrizes, convoluções e várias funções de ativação não linear.

Destacamos a flexibilidade e capacidade multiuso do núcleo digital AI e suporte nativo para múltiplos fluxos de dados no papel VLSI, mas essa abordagem é totalmente modular. Este núcleo de IA pode ser integrado em SoCs, CPUs, ou microcontroladores e usados ​​para treinamento, inferência, ou ambos. Os chips que usam o núcleo podem ser implantados no data center ou na extremidade.

Orientado por um entendimento fundamental de algoritmos de aprendizado profundo na IBM Research, Esperamos que os requisitos de precisão para treinamento e inferência continuem a crescer - o que conduzirá a melhorias de eficiência quântica nas arquiteturas de hardware necessárias para IA. Fique ligado para mais pesquisas de nossa equipe.