Pesquisadores do Instituto de Sistemas de Inteligência Cibernética da Universidade Nacional de Pesquisa Nuclear MEPhI (Rússia) desenvolveram recentemente um novo modelo de aprendizagem para a máquina de Boltzmann restrita (uma rede neural), que otimiza os processos de codificação semântica, visualização e reconhecimento de dados. Os resultados desta pesquisa são publicados na revista. Memória Ótica e Redes Neurais .

Hoje, redes neurais profundas com arquiteturas diferentes, como convolucional, redes recorrentes e autencoder, estão se tornando uma área de pesquisa cada vez mais popular. Uma série de empresas de alta tecnologia, incluindo Microsoft e Google, estão usando redes neurais profundas para projetar sistemas inteligentes.

Em sistemas de aprendizagem profunda, os processos de seleção e configuração de recursos são automatizados, o que significa que as redes podem escolher entre os algoritmos mais eficazes para extração de características hierárquicas por conta própria. O aprendizado profundo é caracterizado pelo aprendizado com a ajuda de grandes amostras usando um único algoritmo de otimização. Algoritmos de otimização típicos configuram os parâmetros de todas as operações simultaneamente, e estimar efetivamente o efeito de cada parâmetro da rede neural sobre o erro com a ajuda do chamado método de retropropagação.

"A capacidade das redes neurais de aprender por conta própria é uma de suas propriedades mais intrigantes, "explicou Vladimir Golovko, professor do Instituto MEPhI de Sistemas de Inteligência Cibernética. "Assim como os sistemas biológicos, redes neurais podem modelar a si mesmas, buscando desenvolver o melhor modelo de comportamento possível. "

Em 2006, a esfera do treinamento de redes neurais teve um grande avanço quando Geoffrey Hinton publicou um artigo de pesquisa sobre redes neurais de pré-treinamento. Ele afirmou que as redes neurais multicamadas poderiam ser pré-treinadas treinando uma camada de cada vez com a ajuda da máquina de Boltzmann restrita e, em seguida, ajustando-as usando retropropagação. Essas redes foram chamadas de redes de crenças profundas, ou DBN.

Golovko analisou as principais questões e paradigmas do aprendizado de máquina profundo e sugeriu um novo método de aprendizado para a máquina de Boltzmann restrita. O pesquisador demonstrou que a regra clássica de treinamento dessa rede neural é um caso particular do método que ele desenvolveu.

"Os cientistas americanos Minsky e Papert mostraram uma vez que, do ponto de vista da classificação de padrões, o perceptron de camada única com a função de ativação de limiar forma uma superfície de separação linear, que é a razão pela qual não pode resolver o problema 'exclusivo ou', "Golovko observou." Isso levou a conclusões pessimistas sobre o desenvolvimento de redes neurais. Contudo, a última afirmação só é verdadeira para um perceptron de camada única com um limiar ou uma função de ativação contínua monotônica, por exemplo, uma função sigmóide. Quando se usa a função de ativação de sinal, o perceptron de camada única pode resolver o problema 'exclusivo ou', uma vez que pode dividir a área de uns e zeros em classes com a ajuda de duas linhas retas. "

A pesquisa também envolveu uma análise das perspectivas de uso de redes neurais profundas para compressão, visualização e reconhecimento de dados. Além disso, Golovko também sugeriu uma nova abordagem para a implementação da codificação semântica, ou hash, que se baseia no uso de redes neurais autoassociativas profundas.

Este método de aprendizagem profunda pode ser muito útil para treinar redes neurais de mecanismos de pesquisa, o autor afirma, pois isso aumentará a velocidade de pesquisa de imagens relevantes.

Essas descobertas têm grande valor prático:elas já encontraram aplicação nas esferas da visão computacional, reconhecimento de fala e bioinformática.