Os pesquisadores desenvolveram uma nova estrutura para redes neurais profundas que permite que os sistemas de inteligência artificial (IA) aprendam melhor as novas tarefas enquanto "esquecem" menos o que aprenderam em relação às tarefas anteriores. Os pesquisadores também demonstraram que usar a estrutura para aprender uma nova tarefa pode tornar a IA melhor no desempenho de tarefas anteriores, um fenômeno denominado transferência para trás.

"As pessoas são capazes de aprender continuamente; aprendemos novas tarefas o tempo todo, sem esquecer o que já sabemos, "diz Tianfu Wu, professor assistente de engenharia elétrica e da computação na NC State e co-autor de um artigo sobre o trabalho. "A data, Os sistemas de IA que usam redes neurais profundas não têm sido muito bons nisso. "

"Os sistemas de IA de rede neural profunda são projetados para aprender tarefas restritas, "diz Xilai Li, um co-autor principal do artigo e um Ph.D. candidato no NC State. "Como resultado, uma de várias coisas pode acontecer ao aprender novas tarefas. Os sistemas podem esquecer tarefas antigas ao aprender novas, que é chamado de esquecimento catastrófico. Os sistemas podem esquecer algumas das coisas que sabiam sobre tarefas antigas, embora não aprenda a fazer novos também. Ou os sistemas podem consertar tarefas antigas enquanto adicionam novas tarefas - o que limita a melhoria e leva rapidamente a um sistema de IA que é muito grande para operar com eficiência. Aprendizagem contínua, também chamado de aprendizagem ao longo da vida ou aprender a aprender, está tentando resolver o problema. "

"Propusemos uma nova estrutura para aprendizagem contínua, que desacopla o aprendizado da estrutura da rede e o aprendizado dos parâmetros do modelo, "diz Yingbo Zhou, co-autor principal do artigo e cientista pesquisador da Salesforce Research. "Chamamos isso de estrutura Aprender a Crescer. Em testes experimentais, descobrimos que ele supera as abordagens anteriores de aprendizado contínuo. "

Para entender a estrutura do Aprenda a Crescer, pense em redes neurais profundas como um tubo preenchido com várias camadas. Os dados brutos vão para o topo do tubo, e os resultados das tarefas ficam por baixo. Cada "camada" no tubo é uma computação que manipula os dados para ajudar a rede a cumprir sua tarefa, como identificar objetos em uma imagem digital. Existem várias maneiras de organizar as camadas no tubo, que correspondem a diferentes "arquiteturas" da rede.

Ao pedir a uma rede neural profunda para aprender uma nova tarefa, a estrutura Aprender a crescer começa conduzindo algo chamado otimização de arquitetura neural explícita por meio de pesquisa. O que isso significa é que, à medida que a rede chega a cada camada de seu sistema, ele pode decidir fazer uma de quatro coisas:pular a camada; use a camada da mesma forma que as tarefas anteriores a usaram; conecte um adaptador leve à camada, que o modifica ligeiramente; ou crie uma camada inteiramente nova.

Esta otimização de arquitetura efetivamente apresenta a melhor topologia, ou série de camadas, necessários para realizar a nova tarefa. Assim que terminar, a rede usa a nova topologia para se treinar sobre como realizar a tarefa - assim como qualquer outro sistema de IA de aprendizado profundo.

"Fizemos experimentos usando vários conjuntos de dados, e o que descobrimos é que quanto mais semelhante uma nova tarefa é às tarefas anteriores, quanto mais sobreposição houver em termos de camadas existentes que são mantidas para realizar a nova tarefa, "Li diz." O que é mais interessante é que, com a topologia otimizada - ou "aprendida" - uma rede treinada para realizar novas tarefas esquece muito pouco do que precisava para realizar as tarefas mais antigas, mesmo que as tarefas mais antigas não fossem semelhantes. "

Os pesquisadores também realizaram experimentos comparando a capacidade da estrutura Aprender a Crescer de aprender novas tarefas com vários outros métodos de aprendizado contínuo, e descobri que a estrutura Aprender a Crescer tinha melhor precisão ao concluir novas tarefas.

Para testar o quanto cada rede pode ter esquecido ao aprender a nova tarefa, os pesquisadores então testaram a precisão de cada sistema ao executar as tarefas mais antigas - e a estrutura Aprender a Crescer novamente superou as outras redes.

"Em alguns casos, a estrutura Aprender a crescer realmente ficou melhor no desempenho das tarefas antigas, "diz Caiming Xiong, o diretor de pesquisa da Salesforce Research e co-autor do trabalho. "Isso é chamado de transferência para trás, e ocorre quando você descobre que aprender uma nova tarefa o torna melhor em uma tarefa antiga. Vemos isso nas pessoas o tempo todo; não tanto com IA. "

O papel, "Aprenda a Crescer:Uma Estrutura de Aprendizagem de Estrutura Contínua para Superar o Esquecimento Catastrófico, "será apresentado na 36ª Conferência Internacional sobre Aprendizado de Máquina, sendo realizada de 9 a 15 de junho em Long Beach, Califórnia.