Neste modelo de neurônio, o neurônio aprende ajustando os pesos de suas conexões com outros neurônios. Crédito:Goldt et al. © 2017 American Physical Society
(Phys.org) —Ao investigar a eficiência com que o cérebro pode aprender novas informações, físicos descobriram que, no nível neuronal, a eficiência do aprendizado é, em última análise, limitada pelas leis da termodinâmica - os mesmos princípios que limitam a eficiência de muitos outros processos familiares.
"O maior significado do nosso trabalho é que trazemos a segunda lei da termodinâmica para a análise de redes neurais, "Sebastian Goldt, da Universidade de Stuttgart, Alemanha, contado Phys.org . "A segunda lei é uma declaração muito poderosa sobre quais transformações são possíveis - e o aprendizado é apenas uma transformação de uma rede neural à custa de energia. Isso torna nossos resultados bastante gerais e nos leva a um passo em direção à compreensão dos limites finais da eficiência de redes neurais. "
Goldt e o co-autor Udo Seifert publicaram um artigo sobre seu trabalho em uma edição recente da Cartas de revisão física .
Uma vez que toda atividade cerebral está ligada ao disparo de bilhões de neurônios, no nível neuronal, a questão de "com que eficiência podemos aprender?" torna-se a questão de "quão eficientemente um neurônio pode ajustar seu sinal de saída em resposta aos padrões de sinais de entrada que recebe de outros neurônios?" À medida que os neurônios ficam melhores em disparar em resposta a certos padrões, os pensamentos correspondentes são reforçados em nossos cérebros, como está implícito no ditado "atire junto, fio junto. "
No novo estudo, os cientistas mostraram que a eficiência do aprendizado é limitada pela produção total de entropia de uma rede neural. Eles demonstraram que, quanto mais lento um neurônio aprende, quanto menos calor e entropia produz, aumentando sua eficiência. À luz desta descoberta, os cientistas introduziram uma nova medida de eficiência de aprendizagem com base em requisitos de energia e termodinâmica.
Como os resultados são muito gerais, eles podem ser aplicados a qualquer algoritmo de aprendizagem que não use feedback, como aqueles usados em redes neurais artificiais.
"Ter uma perspectiva termodinâmica das redes neurais nos dá uma nova ferramenta para pensar sobre sua eficiência e uma nova maneira de avaliar seu desempenho, "Goldt disse." Encontrar a rede neural artificial ideal com relação a essa classificação é uma possibilidade empolgante, e também um grande desafio. "
No futuro, os pesquisadores planejam analisar a eficiência dos algoritmos de aprendizagem que empregam feedback, bem como investigar a possibilidade de testar experimentalmente o novo modelo.
"Por um lado, atualmente estamos pesquisando o que a termodinâmica pode nos ensinar sobre outros problemas de aprendizagem, "Goldt disse." Ao mesmo tempo, estamos procurando maneiras de tornar nossos modelos e, portanto, nossos resultados mais gerais. É um momento emocionante para trabalhar com redes neurais! "
© 2017 Phys.org
