Pequenas imperfeições em uma taça de vinho ou pequenos vincos em uma lente de contato podem ser difíceis de distinguir, mesmo com boa luz. Na escuridão quase total, imagens de tais recursos ou objetos transparentes são quase impossíveis de decifrar. Mas agora, engenheiros do MIT desenvolveram uma técnica que pode revelar esses objetos "invisíveis", no escuro.

Em um estudo publicado hoje em Cartas de revisão física , os pesquisadores reconstruíram objetos transparentes a partir de imagens desses objetos, tiradas em condições quase totalmente escuras. Eles fizeram isso usando uma "rede neural profunda, "uma técnica de aprendizado de máquina que envolve o treinamento de um computador para associar certas entradas a saídas específicas - neste caso, Sombrio, imagens granuladas de objetos transparentes e os próprios objetos.

A equipe treinou um computador para reconhecer mais de 10, 000 gravuras transparentes semelhantes a vidro, com base em imagens extremamente granuladas desses padrões. As imagens foram tiradas em condições de iluminação muito baixas, com cerca de um fóton por pixel - muito menos luz do que uma câmera registraria no escuro, sala selada. Eles então mostraram ao computador uma nova imagem granulada, não incluído nos dados de treinamento, e descobriu que aprendeu a reconstruir o objeto transparente que a escuridão havia obscurecido.

Os resultados demonstram que redes neurais profundas podem ser usadas para iluminar características transparentes, como tecidos e células biológicas, em imagens tiradas com muito pouca luz.

"No laboratório, se você explodir células biológicas com luz, você os queima, e não há mais nada para imaginar, "diz George Barbastathis, professor de engenharia mecânica no MIT. "Quando se trata de imagens de raios-X, se você expõe um paciente a raios-X, você aumenta o perigo de que eles possam ter câncer. O que estamos fazendo aqui é, você pode obter a mesma qualidade de imagem, mas com menor exposição ao paciente. E em biologia, você pode reduzir o dano a espécimes biológicos quando quiser amostrá-los. "

Os co-autores de Barbastathis no artigo são o autor principal Alexandre Goy, Kwabena Arthur, e Shuai Li.

Aprendizagem no escuro profundo

Redes neurais são esquemas computacionais projetados para emular vagamente a maneira como os neurônios do cérebro trabalham juntos para processar entradas de dados complexas. Uma rede neural funciona executando "camadas" sucessivas de manipulações matemáticas. Cada camada computacional calcula a probabilidade de uma determinada saída, com base em uma entrada inicial. Por exemplo, dada a imagem de um cachorro, uma rede neural pode identificar características que lembram primeiro de um animal, então, mais especificamente, um cachorro, e finalmente, um beagle. Uma rede neural "profunda" abrange muitos, camadas muito mais detalhadas de computação entre entrada e saída.

Um pesquisador pode "treinar" essa rede para realizar cálculos com mais rapidez e precisão, alimentando-o com centenas ou milhares de imagens, não apenas de cães, mas outros animais, objetos, e pessoas, junto com o rótulo correto para cada imagem. Com dados suficientes para aprender, a rede neural deve ser capaz de classificar corretamente imagens completamente novas.

Redes neurais profundas têm sido amplamente aplicadas no campo da visão computacional e reconhecimento de imagem, e recentemente, Barbastathis e outros desenvolveram redes neurais para reconstruir objetos transparentes em imagens tiradas com bastante luz. Agora, sua equipe é a primeira a usar redes neurais profundas em experimentos para revelar objetos invisíveis em imagens tiradas no escuro.

"Objetos invisíveis podem ser revelados de diferentes maneiras, mas geralmente requer que você use bastante luz, "Barbastathis diz." O que estamos fazendo agora é visualizar os objetos invisíveis, no escuro. Portanto, são como duas dificuldades combinadas. E ainda podemos fazer a mesma quantidade de revelação. "

A lei da luz

A equipe consultou um banco de dados de 10, 000 circuitos integrados (IC), cada um dos quais é gravado com um padrão intrincado diferente de barras horizontais e verticais.

"Quando olhamos a olho nu, não vemos muito - cada um deles parece um pedaço de vidro transparente, "Goy diz." Mas na verdade existem estruturas muito finas e superficiais que ainda têm um efeito sobre a luz. "

Em vez de gravar cada um dos 10, 000 padrões em tantas lâminas de vidro, os pesquisadores usaram um "modulador de luz espacial de fase, "um instrumento que exibe o padrão em uma única lâmina de vidro de uma forma que recria o mesmo efeito óptico que uma lâmina gravada real teria.

Os pesquisadores montaram um experimento no qual apontaram uma câmera para uma pequena moldura de alumínio contendo o modulador de luz. Eles então usaram o dispositivo para reproduzir cada um dos 10, 000 padrões de IC do banco de dados. Os pesquisadores cobriram todo o experimento para protegê-lo da luz, e então usei o modulador de luz para girar rapidamente em cada padrão, de forma semelhante a um carrossel de slides. Eles tiraram imagens de cada padrão transparente, na escuridão quase total, produzindo imagens de "sal e pimenta" que se assemelhavam a pouco mais do que estática em uma tela de televisão.

A equipe desenvolveu uma rede neural profunda para identificar padrões transparentes de imagens escuras, então alimentou a rede com cada um dos 10, 000 fotografias granuladas tiradas pela câmera, junto com seus padrões correspondentes, ou o que os pesquisadores chamaram de "verdades fundamentais".

"Você diz ao computador, 'Se eu colocar isso, você tira isso, '", Diz Goy." Você faz isso 10, 000 vezes, e depois do treinamento, você espera que, se der uma nova contribuição, pode dizer o que vê. "

"É um pouco pior que um bebê, "Barbastathis brinca." Normalmente os bebês aprendem um pouco mais rápido.

Os pesquisadores configuraram sua câmera para tirar imagens ligeiramente fora de foco. Por mais contraintuitivo que pareça, isso realmente funciona para trazer um objeto transparente para o foco. Ou, mais precisamente, desfocar fornece algumas evidências, na forma de ondulações na luz detectada, que um objeto transparente pode estar presente. Essas ondulações são um sinalizador visual que uma rede neural pode detectar como um primeiro sinal de que um objeto está em algum lugar na granulação de uma imagem.

Mas desfocar também cria desfoque, que pode turvar os cálculos de uma rede neural. Para lidar com isso, os pesquisadores incorporaram à rede neural uma lei da física que descreve o comportamento da luz, e como ele cria um efeito de desfoque quando uma câmera está desfocada.

"O que sabemos é a lei física da propagação da luz entre a amostra e a câmera, "Barbastathis diz." É melhor incluir esse conhecimento no modelo, para que a rede neural não perca tempo aprendendo algo que já sabemos. "

Imagem mais nítida

Depois de treinar a rede neural em 10, 000 imagens de diferentes padrões de IC, a equipe criou um padrão completamente novo, não incluído no conjunto de treinamento original. Quando eles tiraram uma imagem do padrão, novamente na escuridão, e alimentou esta imagem na rede neural, eles compararam os padrões que a rede neural reconstruiu, com e sem a lei física embutida na rede.

Eles descobriram que ambos os métodos reconstruíram o padrão transparente original razoavelmente bem, mas a "reconstrução informada pela física" produziu uma visão mais nítida, imagem mais precisa. O que mais, este padrão reconstruído, de uma imagem tirada na escuridão quase total, foi mais definido do que uma reconstrução informada pela física do mesmo padrão, fotografado em uma luz que era mais de 1, 000 vezes mais brilhante.

A equipe repetiu seus experimentos com um conjunto de dados totalmente novo, consistindo em mais de 10, 000 imagens de objetos mais gerais e variados, incluindo pessoas, locais, e animais. Após o treinamento, os pesquisadores alimentaram a rede neural com uma imagem completamente nova, tirada no escuro, de uma gravura transparente de uma cena com gôndolas ancoradas em um píer. Novamente, eles descobriram que a reconstrução baseada na física produziu uma imagem mais precisa do original, em comparação com reproduções sem a lei física embutida.

"Mostramos que o aprendizado profundo pode revelar objetos invisíveis no escuro, "Goy diz." Este resultado é de importância prática para imagens médicas para diminuir a exposição do paciente à radiação prejudicial, e para imagens astronômicas. "

Esta história foi republicada por cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que cobre notícias sobre pesquisas do MIT, inovação e ensino.