Nos últimos anos, avanços na imensa capacidade de processamento e paralelismo das modernas unidades de processamento gráfico (GPUs) geraram o rápido desenvolvimento do aprendizado profundo baseado em redes neurais convolucionais (CNN), levando a soluções eficazes para uma variedade de problemas em aplicações de inteligência artificial . No entanto, as enormes quantidades de dados envolvidos no processamento de visão limitam a aplicação de CNNs àqueles hardwares portáteis, eficientes em termos de energia e eficientes em computação para processar dados no local.
Vários estudos têm sido realizados no campo da computação óptica para superar os desafios das redes neurais elétricas. A computação óptica tem muitas vantagens atraentes, como o paralelismo óptico, que pode melhorar muito a velocidade de computação, e a passividade óptica pode reduzir o custo de energia e minimizar a latência. As redes neurais ópticas (ONNs) fornecem uma maneira de aumentar a velocidade de computação e superar os gargalos de largura de banda das unidades elétricas. No entanto, ONNs requerem um laser coerente como fonte de luz para computação e dificilmente podem ser combinados com um sistema de visão de máquina maduro em cenas de luz natural. Assim, foram propostas redes neurais híbridas opto-eletrônicas, nas quais o front-end é óptico e o back-end é elétrico. Esses sistemas baseados em lentes aumentam a dificuldade de uso em dispositivos de ponta, como veículos autônomos.

Em um novo artigo publicado em Light:Science &Applications, uma equipe de pesquisadores, liderada pelo professor Hongwei Chen do Centro Nacional de Pesquisa em Ciência e Tecnologia da Informação de Pequim (BNRist), Departamento de Engenharia Eletrônica da Universidade de Tsinghua, China, desenvolveu uma arquitetura de rede neural optoeletrônica sem lentes (LOEN) para visão computacional tarefas que utiliza uma máscara passiva inserida no caminho de luz da imagem para realizar operações de convolução no campo óptico e aborda o desafio de processar sinais de luz incoerentes e de banda larga em cenas naturais. Além disso, o link óptico, o processamento de sinal de imagem e a rede de back-end são combinados sem problemas para obter a otimização conjunta para tarefas específicas para reduzir o esforço de cálculo e o consumo de energia em todo o pipeline.

Em comparação com a arquitetura de hardware em visão de máquina convencional, uma máscara óptica próxima ao sensor de imagem é proposta para substituir as lentes. De acordo com a teoria da óptica geométrica de que a luz se propaga em linha reta, as cenas podem ser consideradas como conjuntos de fontes de luz pontuais, e o sinal óptico é modulado espacialmente pela máscara para realizar a operação de convolução de deslocamento e superposição no sensor de imagem. Verificou-se que as máscaras ópticas podem substituir as camadas convolucionais das redes neurais para extração de características no domínio óptico.

Para tarefas de classificação de objetos, como reconhecimento de dígitos manuscritos, uma rede leve para reconhecimento em tempo real é construída para verificar o desempenho da convolução óptica na arquitetura. Ao usar um único kernel de convolução, a precisão do reconhecimento pode chegar a 93,47%. Quando a operação de convolução multicanal é implementada organizando vários kernels em paralelo na máscara, a precisão da classificação pode ser melhorada para 97,21%. Comparado com links de visão de máquina tradicionais, ele pode economizar cerca de 50% do consumo de energia.

Além disso, expandindo a dimensão da máscara óptica, a imagem é convolvida no domínio óptico e o sensor captura uma imagem com alias que é irreconhecível ao olho humano, que pode naturalmente criptografar informações privadas sem consumo computacional. O desempenho da criptografia óptica foi verificado na tarefa de reconhecimento facial. Comparado com o padrão MLS aleatório, a precisão de reconhecimento da máscara otimizada em conjunto por uma rede de ponta a ponta foi melhorada em mais de 6%. Ao mesmo tempo em que a criptografia de proteção de privacidade, basicamente alcançou o mesmo desempenho de precisão de reconhecimento que os métodos sem criptografia.

Este trabalho propõe um sistema extremamente simplificado para tarefas de visão de máquina, que não apenas realiza o cálculo da rede neural optoeletrônica em cenas naturais, mas também abre todo o link optoeletrônico para completar a otimização conjunta para alcançar os melhores resultados para uma tarefa de visão específica. Combinado com os materiais não lineares, a rede neural totalmente de luz natural será alcançada. A nova arquitetura terá inúmeras aplicações potenciais em muitos cenários reais, como direção autônoma, casas inteligentes e segurança inteligente. + Explorar mais

Computação totalmente óptica baseada em redes neurais convolucionais