Um novo tempo real, O sistema de rastreamento de movimento 3D desenvolvido na Universidade de Michigan combina detectores de luz transparentes com métodos avançados de rede neural para criar um sistema que poderia um dia substituir o LiDAR e as câmeras em tecnologias autônomas.

Embora a tecnologia ainda esteja em sua infância, aplicações futuras incluem fabricação automatizada, imagens biomédicas e direção autônoma. Um artigo sobre o sistema é publicado em Nature Communications.

O sistema de imagem explora as vantagens da transparência, nanoescala, fotodetectores de grafeno altamente sensíveis desenvolvidos por Zhaohui Zhong, Professor associado de engenharia elétrica e da computação da U-M, e seu grupo. Eles são considerados os primeiros de sua espécie.

"A combinação em profundidade de nanodispositivos de grafeno e algoritmos de aprendizado de máquina pode levar a oportunidades fascinantes em ciência e tecnologia, "disse Dehui Zhang, Doutoranda em Engenharia Elétrica e da Computação. "Nosso sistema combina eficiência de energia computacional, velocidade de rastreamento rápido, hardware compacto e um custo menor em comparação com várias outras soluções. "

Os fotodetectores de grafeno neste trabalho foram ajustados para absorver apenas cerca de 10% da luz a que estão expostos, tornando-os quase transparentes. Porque o grafeno é tão sensível à luz, isso é suficiente para gerar imagens que podem ser reconstruídas por meio de imagens computacionais. Os fotodetectores são empilhados um atrás do outro, resultando em um sistema compacto, e cada camada se concentra em um plano focal diferente, que permite imagens 3D.

Mas a imagem 3D é apenas o começo. A equipe também abordou o rastreamento de movimento em tempo real, o que é crítico para uma ampla gama de aplicativos robóticos autônomos. Para fazer isso, eles precisavam de uma maneira de determinar a posição e orientação de um objeto sendo rastreado. Abordagens típicas envolvem sistemas LiDAR e câmeras de campo de luz, ambos sofrem de limitações significativas, dizem os pesquisadores. Outros usam metamateriais ou câmeras múltiplas. O hardware sozinho não foi suficiente para produzir os resultados desejados.

Eles também precisavam de algoritmos de aprendizado profundo. Ajudando a unir esses dois mundos estava Zhen Xu, Doutoranda em Engenharia Elétrica e da Computação. Ele construiu a configuração óptica e trabalhou com a equipe para permitir que uma rede neural decifrasse as informações posicionais.

A rede neural é treinada para pesquisar objetos específicos em toda a cena, e, em seguida, concentre-se apenas no objeto de interesse, por exemplo, um pedestre no trânsito, ou um objeto se movendo em sua pista em uma rodovia. A tecnologia funciona particularmente bem para sistemas estáveis, como manufatura automatizada, ou projetar estruturas do corpo humano em 3D para a comunidade médica.

"Leva tempo para treinar sua rede neural, "disse o líder do projeto Ted Norris, professor de engenharia elétrica e da computação. "Mas uma vez feito, está feito. Então, quando uma câmera vê uma determinada cena, pode dar uma resposta em milissegundos. "

O estudante de doutorado Zhengyu Huang liderou o projeto do algoritmo para a rede neural. O tipo de algoritmos que a equipe desenvolveu são diferentes dos algoritmos de processamento de sinal tradicionais usados ​​para tecnologias de imagem de longa data, como raios-X e ressonância magnética. E isso é empolgante para o co-líder da equipe Jeffrey Fessler, professor de engenharia elétrica e da computação, que se especializou em imagens médicas.

"Em meus 30 anos em Michigan, este é o primeiro projeto em que estive envolvido em que a tecnologia está em sua infância, "Fessler disse." Estamos muito longe de algo que você vai comprar na Best Buy, mas tudo bem. Isso é parte do que torna isso emocionante. "

A equipe demonstrou sucesso rastreando um feixe de luz, bem como uma joaninha real com uma pilha de duas matrizes fotodetectoras de grafeno 4x4 (16 pixels). Eles também provaram que sua técnica é escalonável. Eles acreditam que seriam necessários apenas 4, 000 pixels para algumas aplicações práticas, e matrizes de 400x600 pixels para muitos mais.

Embora a tecnologia possa ser usada com outros materiais, As vantagens adicionais do grafeno são que ele não requer iluminação artificial e é ecologicamente correto. Será um desafio construir a infraestrutura de manufatura necessária para a produção em massa, mas pode valer a pena, dizem os pesquisadores.

"O grafeno é agora o que o silício era em 1960, "Norris disse." À medida que continuamos a desenvolver essa tecnologia, poderia motivar o tipo de investimento que seria necessário para a comercialização. "

O artigo é intitulado "Rastreamento 3D baseado em rede neural com um sistema de imagem de pilha focal transparente de grafeno."