No futuro, os chatbots serão ainda mais tagarelas e menos estúpidos. Sim, chegará o dia em que você poderá facilmente refletir sobre o quão longe as habilidades de linguagem da IA ​​chegaram. E sobre essa reflexão, não ignore as contribuições da Nvidia em seu trabalho com o BERT.

OK, nós nos absteremos de chamar as habilidades da linguagem de IA de estúpidas. A Nvidia expressou isso com mais tato em seu anúncio em 13 de agosto. "Serviços de IA de conversação limitados" existem há vários anos, mas tem sido extremamente difícil para chatbots, assistentes pessoais inteligentes e mecanismos de pesquisa para operar com compreensão de nível humano devido à incapacidade de implantar modelos de IA extremamente grandes em tempo real, disse a empresa.

Isso mudou. A Nvidia disse que as principais otimizações adicionadas à sua plataforma de IA ajudaram a atingir recordes de velocidade no treinamento e inferência de IA. HotHardware vá direto ao ponto na avaliação do impacto deste trabalho. "A Nvdia quebrou recordes de treinamento em IA de conversação, o que poderia" turbinar "assistentes tradicionais como Alexa e Siri.

De volta ao BERT, que já conquistou um lugar de direito no processamento de linguagem natural. Um anúncio de novembro de 2018 do Google apareceu em seu blog do Google AI:

"Um dos maiores desafios no processamento de linguagem natural (PNL) é a escassez de dados de treinamento ... a maioria dos conjuntos de dados específicos de tarefas contém apenas alguns milhares ou algumas centenas de milhares de exemplos de treinamento com identificação humana ... Para ajudar a fechar essa lacuna em dados, os pesquisadores desenvolveram uma variedade de técnicas para treinar modelos de representação de linguagem de uso geral usando a enorme quantidade de texto não anotado na web (conhecido como pré-treinamento). O modelo pré-treinado pode então ser ajustado em tarefas de PNL de pequenos dados, como resposta a perguntas e análise de sentimento, resultando em melhorias substanciais de precisão em comparação com o treinamento a partir do zero nesses conjuntos de dados.

"Esta semana, abrimos o código-fonte de uma nova técnica para pré-treinamento de PNL chamada Representações do codificador bidirecional de transformadores, ou BERT. "

Nós vamos, isso foi "esta semana" em 2018 e agora é esta semana em 2019. O blog de desenvolvedores da Nvidia anunciou na terça-feira que a Nvidia registrou o tempo de treinamento de BERT mais rápido do mundo. NVIDIA DGX SuperPOD treinou BERT-Large em apenas 53 minutos.

Como Darrell Etherington disse em TechCrunch , isso significa que "a marca da hora" no treinamento BERT foi quebrada (53 minutos). Etherington disse, "A plataforma de IA da Nvidia foi capaz de treinar o modelo em menos de uma hora, uma conquista recorde em apenas 53 minutos. "

Shar Narasimhan da Nvidia blogou que uma vantagem principal do BERT é que ele não precisa ser pré-treinado com dados rotulados, para que possa aprender usando qualquer texto simples. Essa vantagem abre a porta para conjuntos de dados massivos. Números do BERT:Narasimhan disse que geralmente era "pré-treinado em uma concatenação de BooksCorpus (800 milhões de palavras) e a Wikipedia em inglês (2,5 bilhões de palavras), para formar um conjunto de dados total de 3,3 bilhões de palavras. "

O comunicado à imprensa da Nvidia de 13 de agosto disse que os primeiros a adotar os avanços de desempenho da empresa incluíam a Microsoft e as startups aproveitando sua plataforma para desenvolver serviços baseados em linguagem para clientes. O Microsoft Bing está usando sua plataforma Azure AI e a tecnologia Nvidia para executar o BERT.

Rangan Majumde, gerente de programa de grupo, Microsoft Bing, disse que o Bing otimizou ainda mais a inferência de BERT. Ele disse que eles alcançaram "duas vezes a redução de latência e cinco vezes a melhoria na taxa de transferência durante a inferência usando GPUs NVIDIA do Azure em comparação com uma plataforma baseada em CPU".

David Cardinal em ExtremeTech tinha mais detalhes sobre o que a Nvidia trouxe para o avanço do BERT:"A Nvidia demonstrou que agora pode treinar o BERT (modelo de linguagem de referência do Google) em menos de uma hora em um SuperPOD DGX consistindo em 1, 472 GPUs Tesla V100-SXM3-32GB, 92 servidores DGX-2H, e 10 Mellanox Infiniband por nó. "

Também faz parte dos direitos de se gabar da Nvidia na frente de IA um modelo de linguagem baseado em Transformers, o bloco de construção de tecnologia usado para BERT. A Nvidia disse:"Com foco na necessidade cada vez maior dos desenvolvedores de modelos maiores, A NVIDIA Research construiu e treinou o maior modelo de linguagem do mundo com base em Transformers, o bloco de construção de tecnologia usado para BERT e um número crescente de outros modelos de IA de linguagem natural. Modelo personalizado da NVIDIA, com 8,3 bilhões de parâmetros, é 24 vezes o tamanho do BERT-Large. "

De acordo com a Nvidia, eles "construíram o maior modelo de linguagem baseado em transformador do mundo em cima do hardware de aprendizado profundo existente, Programas, e modelos. Ao fazer isso, superamos com sucesso as limitações impostas pelo treinamento tradicional de GPU único, implementando uma abordagem de modelo paralelo simples e eficiente com apenas algumas modificações direcionadas às implementações de transformador PyTorch existentes. "

© 2019 Science X Network