Pesquisadores da Universidade de Lorraine desenvolveram recentemente um novo tipo de aprendizagem por transferência baseada na aprendizagem por reforço profundo sem modelo com aumento contínuo do espaço sensório-motor. A abordagem deles, apresentado em um artigo publicado durante a oitava Conferência Internacional Conjunta do IEEE sobre Desenvolvimento e Aprendizagem e sobre Robótica Epigenética, e disponível gratuitamente em arquivos-ouvertes HAL, é inspirado no desenvolvimento infantil, particularmente pelo crescimento do espaço sensório-motor que ocorre quando uma criança está adquirindo novas estratégias úteis.

"A estrutura formal da aprendizagem por reforço pode ser usada para modelar uma ampla gama de problemas, "disse Matthieu Zimmer, um dos pesquisadores que realizaram o estudo. "Nesta estrutura, um agente usa um método de tentativa e erro para aprender lentamente qual sequência de ações é a mais apropriada para atingir um objetivo desejado. Se alguns requisitos forem atendidos, então a teoria nos diz que temos algoritmos que o agente pode usar para encontrar a solução ideal para o problema, no entanto, isso pode levar longos períodos de tempo. Para acelerar este processo, exploramos maneiras de um agente atingir um bom desempenho em menos tentativas, mesmo quando quase não tem conhecimento da tarefa que terá de resolver. "

O método de aprendizagem por transferência proposto por Zimmer e seus colegas adiciona camadas de desenvolvimento às redes neurais, permitindo-lhes desenvolver novas estratégias para completar tarefas, especialmente quando essas tarefas estão de alguma forma relacionadas. Essas camadas de desenvolvimento descobrem progressivamente algumas dimensões do espaço sensório-motor, seguindo uma heurística de motivação intrínseca.

Para mitigar os efeitos do "esquecimento catastrófico, "um problema comum no desenvolvimento de redes neurais, os pesquisadores se inspiraram na teoria de consolidação de peso elástico, usá-lo para regular a aprendizagem do controlador neural.

"A ideia básica do nosso trabalho é que o agente comece com capacidades de percepção e ação muito limitadas e, em seguida, desenvolva-as de forma desenvolvimental, inspirado em como uma criança aprende, "disse Alain Dutech, outro pesquisador que realizou o estudo. “O espaço em que o agente busca uma solução fica assim reduzido, e esta solução, embora seja um problema degradado, pode ser encontrado mais facilmente. Em seguida, aumentamos as capacidades do agente, aproveitando a solução anterior encontrada. "

Para explicar melhor como funciona a abordagem de aprendizagem por transferência, os pesquisadores usam o exemplo de uma criança aprendendo a pegar uma caneta. Inicialmente, a criança pode usar apenas o cotovelo e ombro, aprender a tocar na caneta. Sucessivamente, ela pode decidir começar a usar a mão e os dedos, tendo compreendido os princípios básicos de como fazer o melhor contato inicial com a caneta. Isso envolve um processo de aprendizagem gradual, em que a criança adquire estratégias sensório-motoras passo a passo, sem ter que aprender muitas coisas ao mesmo tempo.

Os pesquisadores validaram sua nova abordagem usando dois algoritmos de aprendizagem profunda de última geração, ou seja, DDPG e NFAC, testado em Half-Cheetah e Humanoid, dois benchmarks de ambiente de alta dimensão. Seus resultados sugerem que a busca por uma solução subótima em um subconjunto do espaço de parâmetros antes de considerar o espaço completo é uma técnica útil para inicializar algoritmos de aprendizagem, alcançando melhor desempenho com treinamento mais curto.

"No campo muito ativo e estimulante da aprendizagem por reforço profundo, mostramos que métodos de desenvolvimento como os nossos, bem como outros semelhantes explorados por outros pesquisadores, pode ser combinado com métodos de aprendizagem profunda para permitir a aprendizagem desde o início, com pouco conhecimento prévio, "Zimmer disse.

Apesar de seus resultados promissores, o estudo realizado por Zimmer e seus colegas também destacou a lacuna que ainda existe entre as habilidades das redes neurais profundas e dos seres humanos. Na verdade, mesmo ao usar o aprendizado de reforço de desenvolvimento, a maioria dos agentes existentes ainda é muito menos versátil e eficiente do que os humanos.

"As vezes, os humanos podem aprender em apenas uma tentativa, no entanto, mesmo o aprendizado artificial mais eficiente exigirá uma combinação complexa de diferentes algoritmos para aprender, estimativa, memorizar, comparar, e otimizar, "Zimmer disse." Além disso, alguns desses algoritmos ainda não estão claramente definidos. "

Dutech e seus colegas agora estão explorando novos horizontes no campo da IA ​​e do aprendizado profundo. Por exemplo, eles gostariam de desenvolver novas maneiras para um agente de aprendizagem categorizar apropriadamente os estímulos que percebe.

“O aprendizado é muito mais eficiente quando o agente pode interpretar o que 'vê' ou 'sente', "Dutech explicou." Hoje, a tendência é usar aprendizado profundo e redes neurais para fazer isso. Agora estamos explorando outros métodos de extrair informações pertinentes e úteis da percepção bruta de agentes artificiais, que são menos dependentes de ter um grande corpus de exemplos; como aprendizagem não supervisionada e auto-organização. "

© 2018 Tech Xplore