• Home
  • Química
  • Astronomia
  • Energia
  • Natureza
  • Biologia
  • Física
  • Eletrônicos
  • O treinamento com o algoritmo de pesquisa de estados da matéria permite a poda do modelo de neurônio

    Axônios de neurônios pré-sinápticos (entrada X) se conectam a ramos de dendritos (retângulos horizontais) por camadas sinápticas; a camada de membrana (retângulos verticais) soma as ativações dendríticas, e transfere a soma para o corpo soma (esfera preta). As camadas sinápticas têm quatro casos de conexão diferentes, nomeadamente, a conexão direta, a conexão inversa, a conexão 0 constante e a conexão 1 constante. Crédito:Kanazawa University

    Redes neurais artificiais são sistemas de aprendizado de máquina compostos por um grande número de nós conectados chamados neurônios artificiais. Semelhante aos neurônios em um cérebro biológico, esses neurônios artificiais são as unidades básicas primárias usadas para realizar cálculos neurais e resolver problemas. Os avanços na neurobiologia ilustraram o importante papel desempenhado pelas estruturas das células dendríticas na computação neural, e isso levou ao desenvolvimento de modelos de neurônios artificiais baseados nessas estruturas.

    O modelo de neurônio lógico aproximado recentemente desenvolvido (ALNM) é um modelo neural único que tem uma estrutura dendrítica dinâmica. O ALNM pode usar uma função de poda neural para eliminar ramos dendríticos e sinapses desnecessários durante o treinamento para resolver um problema específico. O modelo simplificado resultante pode então ser implementado na forma de um circuito lógico de hardware.

    Contudo, o conhecido algoritmo backpropagation (BP) que foi usado para treinar o ALMN na verdade restringiu a capacidade computacional do modelo de neurônio. "O algoritmo BP era sensível aos valores iniciais e poderia facilmente ser preso em mínimos locais, "diz o autor correspondente Yuki Todo da Faculdade de Engenharia Elétrica e de Computação da Universidade de Kanazawa." Portanto, avaliamos as capacidades de vários métodos de otimização heurística para treinamento do ALMN. "

    Após uma série de experimentos, o algoritmo de pesquisa de estados da matéria (SMS) foi selecionado como o método de treinamento mais apropriado para o ALMN. Seis problemas de classificação de benchmark foram então usados ​​para avaliar o desempenho de otimização do ALNM quando ele foi treinado usando o SMS como um algoritmo de aprendizagem, e os resultados mostraram que o SMS proporcionou desempenho de treinamento superior quando comparado ao BP e aos outros algoritmos heurísticos em termos de precisão e velocidade de convergência.

    O processo de evolução da busca dos estados da matéria (SMS) é baseado no princípio físico da relação de movimento de energia térmica. Todo o processo de otimização é dividido nas seguintes três fases:o estado do gás (50 por cento), o estado líquido (40 por cento) e o estado sólido (10 por cento). Cada estado tem suas próprias operações com diferentes proporções de exploração-exploração. O estado de gás é uma exploração pura no início do processo de otimização. O estado líquido possui simultaneamente a busca de exploração e aproveitamento, e o estado sólido se concentra na exploração simplesmente na última parte do processo de otimização. O algoritmo otimizado desta forma pode alcançar um equilíbrio adequado entre exploração e aproveitamento. Crédito:Kanazawa University

    "Um classificador baseado no ALNM e SMS também foi comparado com vários outros métodos de classificação populares, "afirma o professor associado Todo, "e os resultados estatísticos verificaram a superioridade desse classificador nesses problemas de benchmark."

    Durante o processo de treinamento, o ALNM simplificou os modelos neurais por meio de procedimentos de poda sináptica e de poda dendrítica, e as estruturas simplificadas foram então substituídas por circuitos lógicos. Esses circuitos também forneceram uma precisão de classificação satisfatória para cada um dos problemas de referência. A facilidade de implementação de hardware desses circuitos lógicos sugere que pesquisas futuras verão o ALNM e o SMS usados ​​para resolver problemas cada vez mais complexos e de alta dimensão do mundo real.

    ALNM é capaz de simplificar os modelos neurais por poda sináptica e poda dendrítica durante o processo de treinamento. Então, as estruturas simplificadas do ALNM podem ser substituídas por circuitos lógicos, que consiste meramente nos 'comparadores' e na lógica NÃO, Portas AND e OR. Entre eles, o 'comparador' funciona como um conversor analógico-digital que compara a entrada com o limite θ. Se a entrada X exceder o limite θ, o 'comparador' produzirá 1. Caso contrário, terá a saída 0. Quando implementado no hardware, esses circuitos lógicos podem ser adotados como classificadores eficientes para resolver os seis problemas de benchmark. Crédito:Kanazawa University




    © Ciência https://pt.scienceaq.com