Os padrões adornam um modelo estático usado para testar o projetor de faixa hiperespectral da Rice University, que combina imagens espectroscópicas e 3D. Padrões em preto e branco semelhantes a códigos de barras são exibidos no DMD para gerar as listras hiperespectrais. Crédito:Kelly Lab / Rice University
As listras estão na moda nesta temporada em um laboratório da Rice University, onde os pesquisadores os usam para fazer imagens que câmeras comuns nunca poderiam capturar.
Seu compacto Hyperspectral Stripe Projector (HSP) é um passo em direção a um novo método para coletar as informações espaciais e espectrais necessárias para carros autônomos, visão de máquina, monitoramento de safra, desgaste superficial e detecção de corrosão e outras aplicações.
"Posso imaginar essa tecnologia nas mãos de um fazendeiro, ou em um drone, olhar para um campo e ver não apenas os nutrientes e o conteúdo de água das plantas, mas também, por causa do aspecto 3-D, a altura das colheitas, "disse Kevin Kelly, um professor associado de engenharia elétrica e de computação na Brown School of Engineering de Rice. "Ou talvez possa olhar para uma pintura e ver as cores e a textura da superfície em detalhes, mas com infravermelho próximo também veja embaixo da tela. "
O laboratório de Kelly pode permitir a espectroscopia 3-D em tempo real com um sistema que combina o HSP, uma matriz de sensores monocromáticos e programação sofisticada para dar aos usuários uma imagem mais completa da forma e composição de um objeto.
"Estamos obtendo informações quadridimensionais de uma imagem, três espaciais e um espectral, em tempo real, "Kelly disse." Outras pessoas usam vários moduladores e, portanto, requerem fontes de luz brilhante para fazer isso, mas descobrimos que poderíamos fazer isso com uma fonte de luz de brilho normal e algumas óticas inteligentes. "
Uma nuvem de pontos 3D de objetos reconstruídos pelo sistema de imagem baseado em projetor de faixa hiperespectral da Rice University. A câmera monocromática também captura dados espectrais para cada ponto para fornecer não apenas a forma do alvo, mas também sua composição material. Crédito:Kelly Lab / Rice University
O trabalho de Kelly, O autor principal e ex-aluno do Rice Yibo Xu e o estudante graduado Anthony Giljum são detalhados em um artigo de acesso aberto em Optics Express .
O HSP segue a sugestão de técnicas de imagem 3-D portáteis que já estão nas mãos dos consumidores - pense em sistemas de identificação de rosto em smartphones e rastreadores corporais em sistemas de jogos - e adiciona uma maneira de extrair amplos dados espectrais de cada pixel capturado. Esses dados compactados são reconstruídos em um mapa 3-D com informações espectrais que podem incorporar centenas de cores e ser usadas para revelar não apenas a forma de um objeto, mas também sua composição material.
"RGB regular (vermelho, verde, azul) câmeras basicamente fornecem apenas três canais espectrais, "Xu disse." Mas uma câmera hiperespectral nos dá espectros em muitos, muitos canais. Podemos capturar o vermelho em cerca de 700 nanômetros e o azul em cerca de 400 nanômetros, mas também podemos ter larguras de banda a cada poucos nanômetros ou menos entre eles. Isso nos dá uma resolução espectral precisa e uma compreensão mais completa da cena.
"O HSP codifica simultaneamente as medições de profundidade e hiperespectrais de uma forma muito simples e eficiente, permitindo o uso de uma câmera monocromática em vez de uma câmera hiperespectral cara, normalmente usada em sistemas semelhantes, "disse Xu, que obteve seu doutorado na Rice em 2019 e agora é engenheira de aprendizado de máquina e pesquisa de visão computacional na Samsung Research America Inc. Ela desenvolveu o hardware e o software de reconstrução como parte de sua tese no laboratório de Kelly.
O HSP usa um dispositivo de microespelho digital pronto para uso (DMD) para projetar listras padronizadas que se parecem com códigos de barras coloridos em uma superfície. O envio da projeção de luz branca através de uma grade de difração separa os padrões sobrepostos em cores.
Um alvo e sua imagem de nuvem de pontos mostram uma capacidade do projetor de faixa hiperespectral da Rice University, que adquire dados 3D e dados espectrais para cada ponto para fornecer não apenas a forma do alvo, mas também sua composição de material. Crédito:Kelly Lab / Rice University
Cada cor é refletida de volta para a câmera monocromática, que atribui um nível numérico de cinza a esse pixel.
Cada pixel pode ter vários níveis, um para cada faixa de cor que ela reflete. Eles são recombinados em um valor espectral geral para aquela parte do objeto.
"Usamos um único DMD e uma única grade no HSP, "Xu disse." O novo design óptico de dobrar o caminho da luz de volta para a mesma grade de difração e lente é o que o torna realmente compacto. O único DMD nos permite manter a luz que queremos e jogar fora o resto. "
Esses espectros perfeitamente ajustados podem ir além da luz visível. O que eles refletem de volta para o sensor como espectros de banda fina multiplexados podem ser usados para identificar a composição química do material.
Ao mesmo tempo, distorções no padrão são reconstruídas em nuvens de pontos 3-D, essencialmente uma imagem do alvo, mas com muito mais dados do que um instantâneo simples poderia fornecer.
Kelly imagina o HSP embutido nos faróis dos carros que podem ver a diferença entre um objeto e uma pessoa. “Nunca poderia ser confundido entre um vestido verde e uma planta verde, porque tudo tem sua própria assinatura espectral, " ele disse.
Kelly acredita que o laboratório acabará incorporando ideias da câmera inovadora de pixel único de Rice para reduzir ainda mais o tamanho do dispositivo e adaptá-lo para captura de vídeo por compressão.
