David Lindell, um estudante de graduação em engenharia elétrica na Universidade de Stanford, vestiu um agasalho de alta visibilidade e começou a trabalhar, alongamento, andando e pulando por uma sala vazia. Através de uma câmera apontada para longe de Lindell - no que parecia ser uma parede em branco - seus colegas podiam observar cada movimento seu.

Isso é porque, escondido a olho nu, ele estava sendo escaneado por um laser de alta potência e as partículas individuais de luz que ele refletiu nas paredes ao seu redor foram capturadas e reconstruídas pelos sensores avançados da câmera e algoritmo de processamento.

"As pessoas falam sobre a construção de uma câmera que pode ver tão bem quanto os humanos para aplicações como carros autônomos e robôs, mas queremos construir sistemas que vão muito além disso, "disse Gordon Wetzstein, professor assistente de engenharia elétrica em Stanford. "Queremos ver as coisas em 3-D, em torno dos cantos e além do espectro de luz visível. "

O sistema de câmera que Lindell testou, que os pesquisadores estão apresentando na conferência SIGGRAPH 2019 01 de agosto, baseia-se em câmeras anteriores que esta equipe desenvolveu. É capaz de capturar mais luz de uma grande variedade de superfícies, veja mais longe e mais longe e é rápido o suficiente para monitorar o movimento fora de vista - como a calistenia de Lindell - pela primeira vez. Algum dia, os pesquisadores esperam que sistemas de visão sobre-humanos possam ajudar carros e robôs autônomos a operar com ainda mais segurança do que fariam com a orientação humana.

Praticidade e sismologia

Manter seu sistema prático é uma alta prioridade para esses pesquisadores. O hardware que eles escolheram, as velocidades de digitalização e processamento de imagem, e o estilo de imagem já é comum em sistemas autônomos de visão automotiva. Os sistemas anteriores para visualizar cenas fora da linha de visão de uma câmera dependiam de objetos que refletem a luz de maneira uniforme ou forte. Mas objetos do mundo real, incluindo carros brilhantes, estão fora dessas categorias, para que este sistema possa lidar com a luz refletida em uma variedade de superfícies, incluindo bolas de discoteca, livros e estátuas de texturas complexas.

No centro de seu avanço estava um laser 10, 000 vezes mais potente do que o que usavam há um ano. O laser examina uma parede oposta à cena de interesse e essa luz é refletida na parede, atinge os objetos na cena, salta de volta para a parede e para os sensores da câmera. No momento em que a luz do laser atinge a câmera, apenas partículas permanecem, mas o sensor captura cada um, enviá-lo para um algoritmo altamente eficiente, também desenvolvido por esta equipe, que desembaraça esses ecos de luz para decifrar o quadro oculto.

"Quando você está assistindo a varredura a laser, você não vê nada, "descreveu Lindell." Com este hardware, podemos basicamente desacelerar o tempo e revelar essas trilhas de luz. Quase parece mágica. "

O sistema pode fazer a varredura a quatro quadros por segundo. Ele pode reconstruir uma cena a velocidades de 60 quadros por segundo em um computador com uma unidade de processamento gráfico, que aprimora as capacidades de processamento gráfico.

Para avançar seu algoritmo, a equipe buscou inspiração em outros campos. Os pesquisadores foram particularmente atraídos por sistemas de imagens sísmicas - que refletem ondas sonoras em camadas subterrâneas da Terra para aprender o que está abaixo da superfície - e reconfiguraram seu algoritmo para interpretar a luz refletida como ondas que emanam de objetos ocultos. O resultado foi o mesmo uso de memória em alta velocidade e baixo, com melhorias em suas habilidades de ver grandes cenas contendo vários materiais.

"Existem muitas ideias sendo usadas em outros espaços - sismologia, imagem com satélites, radar de abertura sintética - aplicável para olhar em volta de cantos, "disse Matthew O" Toole, um professor assistente na Carnegie Mellon University que anteriormente era um pós-doutorado no laboratório de Wetzstein. "Estamos tentando tirar um pouco desses campos e esperamos poder retribuir em algum momento."

Passos humildes

Ser capaz de ver o movimento em tempo real de uma luz que de outra forma invisível ricocheteou em uma esquina foi um momento emocionante para esta equipe, mas um sistema prático para carros ou robôs autônomos exigirá mais melhorias.

"São passos muito humildes. O movimento ainda parece de baixa resolução e não é super-rápido, mas em comparação com o estado da arte do ano passado, é uma melhoria significativa, "disse Wetzstein." Ficamos maravilhados na primeira vez que vimos esses resultados porque capturamos dados que ninguém tinha visto antes. "

A equipe espera começar a testar seu sistema em carros de pesquisa autônomos, enquanto olhamos para outras aplicações possíveis, como imagens médicas que podem ver através dos tecidos. Entre outras melhorias de velocidade e resolução, eles também trabalharão para tornar seu sistema ainda mais versátil para lidar com as condições visuais desafiadoras que os motoristas encontram, como nevoeiro, chuva, tempestades de areia e neve.