O estudante Liu Luolin do Instituto Xi'an de Óptica e Mecânica de Precisão (XIOPM) da Academia Chinesa de Ciências (CAS) propôs um modelo ponta a ponta de dois fluxos denominado TSFNet para fusão de imagem térmica e visível. Os resultados foram publicados em Neurocomputação.

A TSFNet, usando dois ramos para aprendizado de recursos, é bem diferente dos métodos de dois fluxos anteriores, e pode capturar totalmente as informações de ambas as fontes.

As imagens térmicas são insensíveis ao brilho e podem distinguir objetos e fundo, diferenciando a radiação térmica. As imagens visíveis podem compreender a visão humana de forma mais intuitiva e ter uma resolução mais alta. Portanto, pode-se inferir que a fusão dos dois pode render uma nova imagem com objetos claros e de alta resolução para monitoramento em todas as condições meteorológicas e durante todo o dia / noite.

Neste estudo, a fim de permitir que o modelo retenha as informações detalhadas da imagem de origem de forma autônoma durante a fusão, A LIU e os membros de sua equipe adotaram uma estratégia de alocação de peso adaptável para orientar a seleção de recursos. Toda a estrutura foi desmontada em três módulos, extração de recursos, fusão, e reconstrução.

De acordo com os resultados dos experimentos, O TSFNet supera os métodos de última geração em diferentes métricas de avaliação. No futuro, fornecerá um guia para projetar uma nova rede de fusão de imagens.