Os pesquisadores usaram técnicas de aprendizagem profunda para melhorar a qualidade da imagem de uma câmera com metalens integradas diretamente em um chip de imagem CMOS (esquerda). O metalens manipula a luz usando um conjunto de nano-postes cilíndricos de nitreto de silício de 1000 nm de altura (à direita). Crédito:Ji Chen, Universidade do Sudeste Os pesquisadores aproveitaram técnicas de aprendizado profundo para melhorar a qualidade da imagem de uma câmera metalens. A nova abordagem utiliza inteligência artificial para transformar imagens de baixa qualidade em imagens de alta qualidade, o que poderia tornar essas câmeras viáveis para uma infinidade de tarefas de imagem, incluindo aplicações complexas de microscopia e dispositivos móveis.
Metalenses são dispositivos ópticos ultrafinos – geralmente com apenas uma fração de milímetro de espessura – que usam nanoestruturas para manipular a luz. Embora seu pequeno tamanho pudesse permitir câmeras extremamente compactas e leves sem lentes ópticas tradicionais, tem sido difícil alcançar a qualidade de imagem necessária com esses componentes ópticos.
“Nossa tecnologia permite que nossos dispositivos baseados em metalens superem as limitações de qualidade de imagem”, disse o líder da equipe de pesquisa, Ji Chen, da Southeast University, na China. "Este avanço desempenhará um papel importante no desenvolvimento futuro de produtos eletrônicos de imagem de consumo altamente portáteis e também poderá ser usado em aplicações de imagem especializadas, como microscopia."
Na revista Optics Letters , os pesquisadores descrevem como usaram um tipo de aprendizado de máquina conhecido como rede neural convolucional multiescala para melhorar a resolução, o contraste e a distorção em imagens de uma câmera pequena - cerca de 3 cm × 3 cm × 0,5 cm - que eles criaram integrando diretamente um metalens em um chip de imagem CMOS.
“As câmeras integradas ao Metalens podem ser incorporadas diretamente nos módulos de imagem dos smartphones, onde poderiam substituir as tradicionais lentes refrativas em massa”, disse Chen. “Eles também poderiam ser usados em dispositivos como drones, onde o tamanho pequeno e a câmera leve garantiriam a qualidade da imagem sem comprometer a mobilidade do drone.”
Melhorando a qualidade da imagem
A câmera usada no novo trabalho foi desenvolvida anteriormente pelos pesquisadores e usa metalens com nano-postes cilíndricos de nitreto de silício de 1000 nm de altura. A metalens foca a luz diretamente em um sensor de imagem CMOS sem a necessidade de quaisquer outros elementos ópticos.
Embora este design tenha criado uma câmera muito pequena, a arquitetura compacta limitou a qualidade da imagem. Assim, os pesquisadores decidiram verificar se o aprendizado de máquina poderia ser usado para melhorar as imagens.
O aprendizado profundo é um tipo de aprendizado de máquina que usa redes neurais artificiais com múltiplas camadas para aprender automaticamente recursos dos dados e tomar decisões ou previsões complexas. Os pesquisadores aplicaram essa abordagem usando um modelo de imagem de convolução para gerar um grande número de pares de imagens de alta e baixa qualidade. Esses pares de imagens foram usados para treinar uma rede neural convolucional multiescala para que pudesse reconhecer as características de cada tipo de imagem e usá-las para transformar imagens de baixa qualidade em imagens de alta qualidade.
“Uma parte fundamental deste trabalho foi desenvolver uma maneira de gerar a grande quantidade de dados de treinamento necessários para o processo de aprendizagem da rede neural”, disse Chen. "Uma vez treinada, uma imagem de baixa qualidade pode ser enviada do dispositivo para a rede neural para processamento, e resultados de imagem de alta qualidade são obtidos imediatamente."
As imagens mostram uma comparação entre dados reais, imagens de baixa qualidade e resultados de redes neurais para quatro imagens de teste. A primeira linha representa os resultados da simulação e a segunda linha representa os resultados experimentais. As caixas azuis, vermelhas e amarelas mostram closes de detalhes nas imagens. Crédito:Ji Chen, Universidade do Sudeste
Aplicando a rede neural
Para validar a nova técnica de aprendizagem profunda, os pesquisadores a utilizaram em 100 imagens de teste. Eles analisaram duas métricas de processamento de imagem comumente usadas:a relação sinal-ruído de pico e o índice de similaridade estrutural.
Eles descobriram que as imagens processadas pela rede neural apresentaram uma melhoria significativa em ambas as métricas. Eles também mostraram que a abordagem poderia gerar rapidamente dados de imagem de alta qualidade que se assemelhavam muito ao que foi capturado diretamente por meio de experimentação.
Os pesquisadores agora estão projetando metalenses com funcionalidades complexas - como imagens coloridas ou de grande angular - e desenvolvendo métodos de redes neurais para melhorar a qualidade da imagem dessas metalenses avançadas. Para tornar esta tecnologia prática para aplicação comercial, seriam necessárias novas técnicas de montagem para integração de metalenses em módulos de imagem de smartphones e software de aprimoramento de qualidade de imagem projetado especificamente para telefones celulares.
"Metalenses ultraleves e ultrafinos representam uma tecnologia revolucionária para futuras imagens e detecção", disse Chen. "Aproveitar técnicas de aprendizado profundo para otimizar o desempenho dos metalens marca uma trajetória de desenvolvimento fundamental. Prevemos o aprendizado de máquina como uma tendência vital no avanço da pesquisa em fotônica."
