Como qualquer motorista sabe, acidentes podem acontecer em um piscar de olhos – então, quando se trata do sistema de câmeras em veículos autônomos, o tempo de processamento é fundamental. O tempo que o sistema leva para capturar uma imagem e entregar os dados ao microprocessador para processamento da imagem pode significar a diferença entre evitar um obstáculo ou sofrer um acidente grave.
O processamento de imagem no sensor, no qual características importantes são extraídas de dados brutos pelo próprio sensor de imagem em vez do microprocessador separado, pode acelerar o processamento visual. Até o momento, as demonstrações de processamento in-sensor foram limitadas a materiais de pesquisa emergentes que são, pelo menos por enquanto, difíceis de incorporar em sistemas comerciais.

Agora, pesquisadores da Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) desenvolveram o primeiro processador no sensor que pode ser integrado a chips de sensores de imagem de silício comerciais – conhecidos como semicondutores de óxido metálico complementar (CMOS) sensores de imagem––que são usados ​​em quase todos os dispositivos comerciais que precisam capturar informações visuais, incluindo smartphones.

A pesquisa é publicada na Nature Electronics .

"Nosso trabalho pode aproveitar a indústria eletrônica de semicondutores para trazer rapidamente a computação em sensor para uma ampla variedade de aplicações do mundo real", disse Donhee Ham, professor de engenharia elétrica e física aplicada da SEAS e autor sênior do artigo Gordon McKay. .

Ham e sua equipe desenvolveram uma matriz de fotodiodos de silício. Os chips de detecção de imagem disponíveis comercialmente também possuem uma matriz de fotodiodos de silício para capturar imagens, mas os fotodiodos da equipe são dopados eletrostaticamente, o que significa que a sensibilidade de fotodiodos individuais, ou pixels, à luz recebida pode ser ajustada por voltagens. Uma matriz que conecta vários fotodiodos ajustáveis ​​por voltagem pode executar uma versão analógica de operações de multiplicação e adição centrais para muitos pipelines de processamento de imagem, extraindo as informações visuais relevantes assim que a imagem é capturada.

“Esses fotodiodos dinâmicos podem filtrar simultaneamente as imagens à medida que são capturadas, permitindo que o primeiro estágio do processamento da visão seja movido do microprocessador para o próprio sensor”, disse Houk Jang, pós-doutorando da SEAS e primeiro autor do artigo.

A matriz de fotodiodos de silício pode ser programada em diferentes filtros de imagem para remover detalhes ou ruídos desnecessários para várias aplicações. Um sistema de imagem em um veículo autônomo, por exemplo, pode exigir um filtro passa-alta para rastrear as marcações da pista, enquanto outras aplicações podem exigir um filtro que borra para reduzir o ruído.

"Olhando para o futuro, prevemos o uso deste processador in-sensor baseado em silício não apenas em aplicações de visão de máquina, mas também em aplicações bio-inspiradas, em que o processamento inicial de informações permite a colocação de unidades de sensor e computação, como em o cérebro", disse Henry Hinton, estudante de pós-graduação da SEAS e co-primeiro autor do artigo.

Em seguida, a equipe pretende aumentar a densidade dos fotodiodos e integrá-los aos circuitos integrados de silício.

"Ao substituir os pixels não programáveis ​​padrão em sensores de imagem de silício comerciais pelos programáveis ​​desenvolvidos aqui, os dispositivos de imagem podem eliminar dados desnecessários de maneira inteligente, tornando-os mais eficientes em energia e largura de banda para atender às demandas da próxima geração de aplicações sensoriais", disse Jang. + Explorar mais

Pesquisadores projetam fotodetectores orgânicos altamente sensíveis e produtíveis em massa