Uma equipe de pesquisadores mostrou que pode recuperar um vídeo de movimento ocorrendo em uma cena oculta, observando mudanças na iluminação em uma região visível próxima. Eles observaram o efeito indireto nas sombras e sombreamento em uma região observada.

Tradução:brincar com sombras para obter informações pode ser muito recompensador. A equipe de pesquisadores criou um novo algoritmo de IA que pode ajudar as câmeras a "ver" coisas fora da câmera usando apenas sombras em movimento.

Seu método pode reconstruir um vídeo oculto com base nas sombras que ele projeta. O resultado é que você pode estimar a aparência do vídeo oculto.

Hillary Grigonis em Tendências digitais escreveu sobre sua pesquisa com uma comparação interessante - como "ler fantoches de sombra ao contrário". Como assim? "... o computador vê a sombra em forma de coelho e é então capaz de criar uma estimativa do objeto que criou essa sombra. O computador não sabe o que é esse objeto, mas pode fornecer um esboço aproximado da forma. "

Começando, eles estavam interessados ​​em resolver o problema da atividade que ocorre fora de seu campo de visão.

Mais informações na página do projeto MIT CSAIL (Laboratório de Ciência da Computação e Inteligência Artificial) em compmirrors.csail.mit.edu e no GitHub.

Os autores consideraram o valor de sua pesquisa:"Mostramos que cenas desordenadas podem ser transformadas computacionalmente em espelhos de baixa resolução sem calibração prévia." Com apenas um único vídeo de entrada da cena visível, eles poderiam recuperar um vídeo latente da cena oculta, bem como uma matriz de transporte de luz.

"Achamos isso notável, " eles disseram, "que apenas pedir fatores latentes facilmente expressos por uma CNN [rede neural convolucional] é suficiente para resolver nosso problema, permitindo-nos contornar totalmente os desafios, como a estimativa da geometria e propriedades de refletância da cena. "

Postado em 6 de dezembro, seu vídeo é intitulado "Espelhos computacionais:revelando o vídeo oculto". Michael Zhang em PetaPixel resumiu o que eles fizeram no vídeo. "Cientistas do CSAIL do MIT compartilham como apontaram uma câmera para uma pilha de objetos e, em seguida, filmaram as sombras criadas nesses objetos por uma pessoa se movendo fora da câmera."

As legendas do vídeo apontaram ainda que seu método também pode reconstruir a silhueta de uma performance de ação ao vivo a partir de suas sombras. Os resultados cobrem pelo menos a cor e o movimento. Zhang avaliou o que eles foram capazes de fazer. "A IA analisou as sombras e foi capaz de reconstruir um vídeo borrado, mas extremamente preciso, do que a pessoa estava fazendo com as mãos."

Aplicações potenciais? Observações do vídeo:"Com mais refinamento, este método pode permitir que carros autônomos detectem obstáculos ocultos.

Rachel Gordon, MIT CSAIL, falou de outras possibilidades:centros de assistência a idosos que zelam pela segurança de seus residentes; equipes de busca e resgate que fazem uso disso quando têm que navegar em áreas perigosas e obstruídas.

Contudo, os pesquisadores tomaram um caminho interessante para captar informações além da linha de visão, mas outros no MIT, em certo sentido, estiveram lá, Fiz isso. Cenas fora da linha de visão normal foram o foco dos pesquisadores do MIT há sete anos, disse Gordon do CSAIL, e eles usaram lasers para produzir imagens 3-D.

No esforço de pesquisa mais recente, Contudo, a equipe queria ver o que eles poderiam alcançar sem nenhum equipamento especial. Gordon citou o pesquisador principal sobre isso. Miika Aittala, quem disse, "Você pode conseguir bastante com equipamentos de imagem fora da linha de visão, como lasers, mas em nossa abordagem você só tem acesso à luz que chega naturalmente à câmera, e você tenta tirar o máximo proveito das informações escassas nele. "

Pense em desembaralhar. O desafio era decifrar e dar sentido a essas dicas de iluminação. Pense em algoritmo. Gordon escreveu que a equipe se concentrou em quebrar a ambigüidade, especificando algoritmicamente que eles queriam um padrão de 'embaralhamento' que correspondesse a sombras e sombras plausíveis do mundo real, para descobrir o vídeo oculto que parece ter bordas e objetos que se movem de forma coerente.

Ela explicou que o algoritmo deles treina duas redes neurais simultaneamente. "Uma rede produz o padrão de embaralhamento, e a outra estima o vídeo oculto. As redes são recompensadas quando a combinação desses dois fatores reproduz o vídeo gravado da desordem, levando-os a explicar as observações com dados ocultos plausíveis. "

O artigo que discute seu trabalho é chamado de "Espelhos Computacionais:Transporte Cego de Luz Inversa por Fatorização de Matriz Profunda, "e está no arXiv. Os autores são Miika Aittala, Prafull Sharma, Lukas Murmann, Adam Yedidia, Gregory Wornell, William T. Freeman e Frédo Durand.

Os relatórios disseram que eles estariam apresentando seu trabalho na Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS 2019) em Vancouver, Columbia Britânica.

© 2019 Science X Network