Engenheiros da Stanford University e da University of California San Diego desenvolveram uma câmera que gera imagens quadridimensionais e pode capturar 138 graus de informação. A nova câmera - a primeira lente única, amplo campo de visão, câmera de campo de luz - pode gerar imagens ricas em informações e quadros de vídeo que permitirão aos robôs navegar melhor pelo mundo e compreender certos aspectos de seu ambiente, como distância do objeto e textura da superfície.

Os pesquisadores também veem essa tecnologia sendo usada em veículos autônomos e tecnologias de realidade aumentada e virtual. Os pesquisadores apresentaram sua nova tecnologia na conferência de visão computacional CVPR 2017 em julho.

“Queremos considerar qual seria a câmera certa para um robô que dirige ou entrega pacotes por via aérea. Somos ótimos em fazer câmeras para humanos, mas os robôs precisam ver como os humanos veem? Provavelmente não, "disse Donald Dansereau, um pós-doutorado em engenharia elétrica em Stanford e o primeiro autor do artigo.

O projeto é uma colaboração entre os laboratórios dos professores de engenharia elétrica Gordon Wetzstein em Stanford e Joseph Ford na UC San Diego.

Os pesquisadores da UC San Diego projetaram uma lente esférica que fornece à câmera um campo de visão extremamente amplo, abrangendo quase um terço do círculo ao redor da câmera. O grupo de Ford já havia desenvolvido as lentes esféricas sob o programa DARPA "SCENICC" (Soldier CENtric Imaging with Computational Cameras) para construir uma câmera de vídeo compacta que captura imagens de 360 ​​graus em alta resolução, com 125 megapixels em cada quadro de vídeo. Nesse projeto, a câmera de vídeo usou feixes de fibra óptica para acoplar as imagens esféricas a planos focais planos convencionais, fornecendo alto desempenho, mas com alto custo.

A nova câmera usa uma versão das lentes esféricas que elimina os feixes de fibra por meio de uma combinação de lenslets e processamento de sinal digital. Combinar o design óptico e a experiência de hardware de integração de sistema do laboratório da Ford e o processamento de sinal e a experiência algorítmica do laboratório de Wetzstein resultou em uma solução digital que não só leva à criação dessas imagens extragrandes, mas também as aprimora.

A nova câmera também conta com uma tecnologia desenvolvida em Stanford chamada fotografia de campo de luz, que é o que adiciona uma quarta dimensão a esta câmera - ela captura a direção de dois eixos da luz que atinge a lente e combina essa informação com a imagem 2-D. Outra característica digna de nota da fotografia de campo de luz é que ela permite aos usuários refocar as imagens depois de tiradas, porque as imagens incluem informações sobre a posição e a direção da luz. Os robôs podem usar essa tecnologia para ver através da chuva e outras coisas que podem obscurecer sua visão.

"Uma das coisas que você percebe quando trabalha com uma câmera omnidirecional é que é impossível focar em todas as direções ao mesmo tempo - algo está sempre perto da câmera, enquanto outras coisas estão longe, "Ford disse." A imagem do campo de luz permite que o vídeo capturado seja reorientado durante o replay, bem como mapeamento de profundidade de abertura única da cena. Esses recursos abrem todos os tipos de aplicativos em RV e robótica. "

"Isso pode permitir que vários tipos de tecnologia artificialmente inteligente entendam a que distância os objetos estão, se eles estão se movendo e do que são feitos, "Wetzstein disse." Este sistema pode ser útil em qualquer situação em que você tenha espaço limitado e queira que o computador entenda o mundo inteiro ao seu redor. "

E embora esta câmera possa funcionar como uma câmera convencional em distâncias distantes, também foi projetado para melhorar imagens em close-up. Exemplos em que seria particularmente útil incluem robôs que precisam navegar por pequenas áreas, pouso drones e carros autônomos. Como parte de um sistema de realidade virtual ou aumentada, suas informações de profundidade podem resultar em renderizações mais contínuas de cenas reais e dar suporte a uma melhor integração entre essas cenas e os componentes virtuais.

A câmera está atualmente no estágio de prova de conceito e a equipe está planejando criar um protótipo compacto para testar em um robô.