Os pesquisadores desenvolveram uma câmera fácil de construir que produz imagens 3D a partir de uma única imagem 2D sem lentes. Em uma aplicação inicial da tecnologia, os pesquisadores planejam usar a nova câmera, que eles chamam de DiffuserCam, para observar a atividade microscópica dos neurônios em camundongos vivos sem um microscópio. Em última análise, pode ser útil para uma ampla gama de aplicações envolvendo captura 3D.

A câmera é compacta e barata de construir porque consiste em apenas um difusor - essencialmente um pedaço de plástico irregular - colocado em cima de um sensor de imagem. Embora o hardware seja simples, o software que usa para reconstruir imagens 3D de alta resolução é muito complexo.

"A DiffuserCam pode, em um único tiro, capturar informações 3D em um grande volume com alta resolução, "disse a líder da equipe de pesquisa Laura Waller, Universidade da Califórnia, Berkeley. "Achamos que a câmera pode ser útil para carros autônomos, onde as informações 3D podem oferecer um senso de escala, ou pode ser usado com algoritmos de aprendizado de máquina para realizar a detecção de rosto, rastrear pessoas ou classificar objetos automaticamente. "

No Optica , O jornal da Optical Society para pesquisas de alto impacto, os pesquisadores mostram que a DiffuserCam pode ser usada para reconstruir 100 milhões de voxels, ou pixels 3D, a partir de uma imagem de 1,3 megapixels (1,3 milhões de pixels) sem qualquer digitalização. Para comparação, a câmera do iPhone X tira fotos de 12 megapixels. Os pesquisadores usaram a câmera para capturar a estrutura 3D das folhas de uma pequena planta.

"Nossa nova câmera é um ótimo exemplo do que pode ser realizado com imagens computacionais - uma abordagem que examina como hardware e software podem ser usados ​​juntos para projetar sistemas de imagem, "disse Waller." Fizemos um esforço concentrado para manter o hardware extremamente simples e barato. Embora o software seja muito complicado, também pode ser facilmente replicado ou distribuído, permitindo que outras pessoas criem este tipo de câmera em casa. "

Uma DiffuserCam pode ser criada usando qualquer tipo de sensor de imagem e pode gerar imagens de objetos que variam de escala microscópica até o tamanho de uma pessoa. Ele oferece uma resolução na faixa de dezenas de mícrons ao gerar imagens de objetos próximos ao sensor. Embora a resolução diminua ao criar imagens de uma cena mais distante do sensor, ainda é alto o suficiente para distinguir que uma pessoa está vários metros mais perto da câmera do que outra pessoa, por exemplo.

Uma abordagem simples para imagens complexas

A DiffuserCam é parente da câmera de campo de luz, que captura quanta luz atinge um pixel no sensor de imagem, bem como o ângulo a partir do qual a luz atinge aquele pixel. Em uma câmera de campo de luz típica, uma série de pequenas lentes colocadas na frente do sensor é usada para capturar a direção da luz que entra, permitindo abordagens computacionais para refocar a imagem e criar imagens 3D sem as etapas de digitalização normalmente necessárias para obter informações 3D.

Até agora, câmeras de campo de luz foram limitadas em resolução espacial porque algumas informações espaciais são perdidas durante a coleta de informações direcionais. Outra desvantagem dessas câmeras é que as matrizes de microlentes são caras e devem ser personalizadas para uma determinada câmera ou componentes ópticos usados ​​para a geração de imagens.

"Eu queria ver se poderíamos alcançar os mesmos recursos de imagem usando hardware simples e barato, "disse Waller." Se tivermos algoritmos melhores, poderia o cuidadosamente projetado, matrizes de microlentes caras sejam substituídas por uma superfície de plástico com um padrão aleatório, como um pedaço de plástico irregular? "

Depois de experimentar vários tipos de difusores e desenvolver algoritmos complexos, Nick Antipa e Grace Kuo, alunos do laboratório de Waller, descobriu que a ideia de Waller para uma câmera de campo de luz simples era possível. Na verdade, usando saliências aleatórias em adesivos de vidro de privacidade, Porta-fitas ou porta-crachás de plástico para conferências, permitiu que os pesquisadores melhorassem as capacidades das câmeras de campo de luz tradicionais, usando sensor compactado para evitar a perda típica de resolução que vem com matrizes de microlentes.

Embora outras câmeras de campo de luz usem conjuntos de lentes precisamente projetadas e alinhadas, o tamanho e a forma exatos das saliências no difusor da nova câmera são desconhecidos. Isso significa que algumas imagens de um ponto de luz em movimento devem ser adquiridas para calibrar o software antes da geração de imagens. Os pesquisadores estão trabalhando em uma maneira de eliminar essa etapa de calibração usando os dados brutos para a calibração. Eles também querem melhorar a precisão do software e tornar a reconstrução 3D mais rápida.

Nenhum microscópio necessário

A nova câmera será usada em um projeto da Universidade da Califórnia em Berkeley, que visa observar um milhão de neurônios individuais enquanto estimula 1, 000 deles com precisão de uma única célula. O projeto é financiado pelo programa de Design de Sistemas de Engenharia Neural da DARPA - parte da Iniciativa BRAIN do governo federal - para desenvolver implantáveis, interfaces neurais biocompatíveis que podem eventualmente compensar deficiências visuais ou auditivas.

Como primeiro passo, os pesquisadores querem criar o que eles chamam de um modem cortical que "leia" e "escreva" nos cérebros de modelos animais, muito parecido com a atividade de entrada e saída de modems de Internet. A DiffuserCam será o coração do dispositivo de leitura para este projeto, que também usará proteínas especiais que permitem aos cientistas controlar a atividade neuronal com luz.

"Usar isso para observar os neurônios disparando no cérebro de um rato pode no futuro nos ajudar a entender mais sobre a percepção sensorial e fornecer conhecimento que pode ser usado para curar doenças como Alzheimer ou transtornos mentais, "disse Waller.

Embora as técnicas de imagem recentemente desenvolvidas possam capturar centenas de neurônios disparando, como o cérebro funciona em escalas maiores não é totalmente compreendido. A DiffuserCam tem o potencial de fornecer essa visão por meio de imagens de milhões de neurônios de uma só vez. Como a câmera é leve e não requer microscópio ou lente objetiva, pode ser anexado a uma janela transparente no crânio de um rato, permitindo que a atividade neuronal seja ligada ao comportamento. Várias matrizes com difusores sobrepostos podem ser colocadas lado a lado para criar imagens de grandes áreas.

A necessidade de designers interdisciplinares

"Nosso trabalho mostra que a imagem computacional pode ser um processo criativo que examina todas as partes do design óptico e design de algoritmo para criar sistemas ópticos que realizam coisas que não poderiam ser feitas antes ou para usar uma abordagem mais simples para algo que poderia ser feito antes , "Waller disse." Esta é uma direção muito poderosa para imagens, mas requer designers com experiência em óptica e física, bem como conhecimento computacional. "

O novo Berkeley Center for Computational Imaging, liderado por Waller, está trabalhando para treinar mais cientistas neste campo interdisciplinar. Cientistas do centro também se encontram semanalmente com bioengenheiros, físicos e engenheiros elétricos, bem como especialistas em processamento de sinais e aprendizado de máquina, para trocar ideias e entender melhor as necessidades de imagem de outras áreas.