Os pesquisadores do Exército desenvolveram uma inteligência artificial e uma técnica de aprendizado de máquina que produz uma imagem visível do rosto a partir de uma imagem térmica do rosto de uma pessoa capturada em condições de pouca luz ou à noite. Este desenvolvimento pode levar a uma biometria em tempo real aprimorada e análise forense pós-missão para operações noturnas secretas.

Câmeras térmicas como FLIR, ou infravermelho prospectivo, sensores são ativamente implantados em veículos aéreos e terrestres, em torres de vigia e em pontos de controle para fins de vigilância. Mais recentemente, câmeras térmicas estão se tornando disponíveis para uso como câmeras junto ao corpo. A capacidade de realizar o reconhecimento facial automático à noite usando essas câmeras térmicas é benéfica para informar um soldado que um indivíduo é alguém de seu interesse, como alguém que pode estar em uma lista de observação.

As motivações para esta tecnologia - desenvolvida pelos drs. Benjamin S. Riggan, Nathaniel J. Short e Shuowen "Sean" Hu, do Laboratório de Pesquisa do Exército dos EUA - devem aprimorar as capacidades automáticas e de correspondência humana.

"Esta tecnologia permite a correspondência entre imagens térmicas de rosto e bancos de dados biométricos de rosto / listas de observação existentes que contêm apenas imagens de rosto visíveis, "disse Riggan, um cientista pesquisador. "A tecnologia oferece aos humanos uma maneira de comparar visualmente imagens faciais visíveis e térmicas por meio da síntese facial de térmica para visível."

Ele disse que em condições noturnas e de pouca luz, não há luz suficiente para uma câmera convencional capturar imagens faciais para reconhecimento sem iluminação ativa, como um flash ou holofote, que revelaria a posição de tais câmeras de vigilância; Contudo, câmeras térmicas que capturam a assinatura de calor que emana naturalmente do tecido vivo da pele são ideais para tais condições.

"Ao usar câmeras térmicas para capturar imagens faciais, o principal desafio é que a imagem térmica capturada deve ser comparada com uma lista de observação ou galeria que contém apenas imagens visíveis convencionais de pessoas conhecidas de interesse, "Riggan disse." Portanto, o problema se torna o que é conhecido como espectro cruzado, ou heterogêneo, reconhecimento de rosto. Nesse caso, imagens de sondas faciais adquiridas em uma modalidade são comparadas com um banco de dados de galeria adquirido usando uma modalidade de imagem diferente. "

Esta abordagem aproveita técnicas avançadas de adaptação de domínio com base em redes neurais profundas. A abordagem fundamental é composta por duas partes principais:um modelo de regressão não linear que mapeia uma determinada imagem térmica em uma representação latente visível correspondente e um problema de otimização que projeta a projeção latente de volta no espaço da imagem.

Os detalhes deste trabalho foram apresentados em março em um artigo técnico "Térmico para Síntese Visível de Imagens Faciais usando Múltiplas Regiões" na Conferência de Inverno IEEE sobre Aplicações de Visão Computacional, ou WACV, em Lake Tahoe, Nevada, que é uma conferência técnica composta por acadêmicos e cientistas da academia, indústria e governo.

Na conferência, Pesquisadores do Exército demonstraram que combinando informações globais, como as características de todo o rosto, e informações locais, como recursos de regiões fiduciais discriminativas, por exemplo, olhos, nariz e boca, aumentou a discriminabilidade das imagens sintetizadas. Eles mostraram como as representações mapeadas do térmico para o visível de regiões globais e locais na assinatura da face térmica podem ser usadas em conjunto para sintetizar uma imagem refinada da face visível.

O problema de otimização para sintetizar uma imagem tenta preservar em conjunto a forma de todo o rosto e a aparência dos detalhes fiduciais locais. Usando as imagens sintetizadas de térmica para visível e imagens de galeria visíveis existentes, eles realizaram experimentos de verificação facial usando uma arquitetura de rede neural profunda de código aberto comum para reconhecimento facial. A arquitetura usada é explicitamente projetada para reconhecimento facial baseado em visibilidade. O resultado mais surpreendente é que sua abordagem alcançou um melhor desempenho de verificação do que uma abordagem baseada em rede adversária generativa, que anteriormente mostrava propriedades foto-realistas.

Riggan atribui esse resultado ao fato de o objetivo teórico do jogo para GANs buscar imediatamente gerar imagens que sejam suficientemente semelhantes em faixa dinâmica e aparência fotográfica às imagens de treinamento, embora às vezes negligencie a preservação de características de identificação, ele disse. A abordagem desenvolvida pela ARL preserva informações de identidade para aumentar a capacidade de discriminação, por exemplo, maior precisão de reconhecimento para algoritmos de reconhecimento automático de rosto e julgamento humano.

Como parte da apresentação do artigo, Os pesquisadores de ARL apresentaram uma demonstração quase em tempo real dessa tecnologia. A demonstração de prova de conceito incluiu o uso de uma câmera térmica FLIR Boson 320 e um laptop executando o algoritmo quase em tempo real. Esta demonstração mostrou ao público que uma imagem térmica capturada de uma pessoa pode ser usada para produzir uma imagem visível sintetizada in situ. Este trabalho recebeu o prêmio de melhor artigo na sessão de faces / biometria da conferência, em mais de 70 trabalhos apresentados.

Riggan disse que ele e seus colegas continuarão a estender sua pesquisa sob o patrocínio da Defense Forensics and Biometrics Agency para desenvolver uma capacidade robusta de reconhecimento facial noturno para o soldado.