Uma limitação importante dos sistemas de inteligência artificial (IA) existentes é que eles são incapazes de realizar tarefas para as quais não foram treinados. Na verdade, mesmo quando eles são retreinados, a maioria desses sistemas são propensos ao 'esquecimento catastrófico, 'o que significa essencialmente que um novo item pode interromper o conhecimento adquirido anteriormente.

Por exemplo, se um modelo é inicialmente treinado para concluir a tarefa A e, posteriormente, retreinado na tarefa B, seu desempenho na tarefa A pode diminuir consideravelmente. Uma solução ingênua seria adicionar infinitamente mais camadas neurais para dar suporte a tarefas ou itens adicionais sendo treinados, mas tal abordagem não seria eficiente, ou mesmo funcionalmente escalonável.

Pesquisadores da SRI International tentaram recentemente aplicar mecanismos de transferência de memória biológica a sistemas de IA, pois acreditam que isso pode melhorar seu desempenho e torná-los mais adaptáveis. Seu estudo, pré-publicado no arXiv, inspira-se nos mecanismos de transferência de memória em humanos, como memória de longo e curto prazo.

"Estamos construindo uma nova geração de sistemas de IA que podem aprender com as experiências, "Sek Chai, um co-PI do projeto DARPA Lifelong Learning Machines (L2M), disse TechXplore. "Isso significa que eles podem se adaptar a novos cenários com base em suas experiências. Hoje, Os sistemas de IA falham porque não são adaptativos. O projeto DARPA L2M, liderado pelo Dr. Hava Siegelmann, busca alcançar avanços de mudança de paradigma nas capacidades de IA. "

A transferência de memória envolve uma sequência complexa de processos dinâmicos, que permitem aos humanos acessar facilmente memórias salientes ou relevantes ao pensar, planejamento, criar ou fazer previsões sobre eventos futuros. Acredita-se que o sono desempenhe um papel crítico na consolidação de memórias, particularmente o sono REM, o estágio em que os sonhos ocorrem com mais frequência.

Em seu estudo, Chai e seus colegas SRI desenvolveram um mecanismo de memória generativa que pode ser usado para treinar sistemas de IA de forma pseudo-ensaio. Usando replay e aprendizagem por reforço (RL), este mecanismo permite que os sistemas de IA aprendam com as memórias salientes ao longo de sua vida, e escalar com um grande número de tarefas ou itens de treinamento. A abordagem de memória generativa desenvolvida por Chai e seus colegas usa um método de codificação para separar o espaço latente. Isso permite que um sistema de IA aprenda mesmo quando as tarefas não estão bem definidas ou quando o número de tarefas é desconhecido.

"Nosso sistema de IA não armazena dados brutos diretamente, como vídeo, áudio, etc, "Chai explicou." Em vez disso, usamos a memória gerativa para gerar ou imaginar o que experimentou anteriormente. Sistemas gerativos de IA têm sido usados ​​para criar arte, música, etc. Em nossa pesquisa, nós os usamos para codificar experiências geradoras que podem ser usadas posteriormente com o aprendizado por reforço. Essa abordagem é inspirada por mecanismos biológicos no sono e nos sonhos, onde lembramos ou imaginamos fragmentos de experiências que são reforçadas em nossas memórias de longo prazo. "

No futuro, a nova abordagem de memória generativa introduzida por Chai e seus colegas pode ajudar a resolver a questão do esquecimento catastrófico em modelos baseados em redes neurais, permitindo a aprendizagem ao longo da vida em sistemas de IA. Os pesquisadores agora estão testando sua abordagem em jogos de estratégia baseados em computador que são comumente empregados para treinar e avaliar sistemas de IA.

"Estamos usando jogos de estratégia em tempo real, como StarCraft2, para treinar e estudar nossos agentes de IA em métricas de aprendizagem ao longo da vida, como adaptação, robustez, E segurança, "Chai disse." Nossos agentes de IA são treinados com surpresas injetadas no jogo (por exemplo, terreno e mudança de capacidade da unidade). "

© 2019 Science X Network