• Home
  • Química
  • Astronomia
  • Energia
  • Natureza
  • Biologia
  • Física
  • Eletrônicos
  •  science >> Ciência >  >> Astronomia
    AI aumenta a filmagem lunar da Apollo para 60 FPS

    Crédito:Dutchsteammachine

    Tão empolgante e emocionante quanto assistir a todas as filmagens históricas do pouso da Apollo na lua, voce tem que admitir, a qualidade às vezes não é tão boa. Embora a NASA tenha trabalhado na restauração e aprimoramento de algumas das filmagens mais populares da Apollo, parte ainda está granulada ou borrada.

    Mas agora, novos desenvolvimentos em inteligência artificial vieram em seu socorro, proporcionando aos espectadores uma experiência quase totalmente nova ao assistir ao vídeo histórico da Apollo.

    Um especialista em restauração de fotos e filmes que atende pelo nome de DutchSteamMachine trabalhou um pouco da magia da IA ​​para aprimorar o filme Apollo original, criando videoclipes e imagens incrivelmente nítidos e vívidos.

    "Eu realmente queria oferecer uma experiência com essa filmagem antiga que nunca foi vista antes, "ele disse à Universe Today.

    Dê uma olhada nesta filmagem aprimorada de uma travessia do rover lunar da Apollo 16 com Charlie Duke e John Young, em que a filmagem que foi originalmente filmada a 12 quadros por segundo (fps) foi aumentada para 60 fps:

    Esplêndido, direito? E fiquei impressionado com a visão nítida da superfície da lua nesta visão aprimorada do local de pouso da Apollo 15 em Hadley Rille:

    Crédito:Dutchsteammachine

    Ou dê uma olhada em como Neil Armstrong é claramente visível nesta versão aprimorada do vídeo frequentemente visto "primeiro passo" da Apollo 11 feito por uma câmera de vídeo de 16 mm dentro do Módulo Lunar:

    Crédito:Dutchsteammachine

    A IA que DutchSteamMachine usa é chamada de interpolação de quadro de vídeo Depth-Aware, ou DAIN para breve. Esta IA é de código aberto, gratuito e em constante desenvolvimento e aprimoramento. A interpolação de movimento ou interpolação de quadro compensado por movimento é uma forma de processamento de vídeo em que quadros de animação intermediários são gerados entre os existentes na tentativa de tornar o vídeo mais fluido, para compensar o borrão, etc.

    "As pessoas usaram os mesmos programas de IA para trazer de volta à vida gravações de filmes antigos dos anos 1900, em alta definição e cor, "ele disse." Essa técnica parecia uma ótima coisa para aplicar a filmagens muito mais recentes. "

    Mas você pode não conseguir fazer isso em casa. É preciso um poderoso, GPU de última geração com ventiladores de resfriamento especiais. DutchSteamMachine disse que um vídeo de apenas cinco minutos pode levar de seis a 20 horas para ser concluído. Mas os resultados falam por si.

    Ele explicou como faz esse trabalho:"Primeiro, decidi encontrar os vídeos de origem da mais alta qualidade, que felizmente encontrei como arquivos de vídeo 720p de alta taxa de bits, "disse ele." Então o problema de qualidade foi resolvido. É importante começar com a fonte mais alta possível e editar a partir daí. Contudo, a maioria das sequências filmadas ainda estavam muito instáveis. Isso ocorre porque poupar filme e gravar por longos períodos de tempo, a maior parte da filmagem do rover foi filmada às 12h, seis ou mesmo um quadro (s) por segundo. Embora as pessoas já tenham tentado aplicar estabilização e / ou tipos de combinação de quadros para facilitar esse efeito, Nunca fiquei realmente satisfeito com isso. "

    DutchSteamMachine procura determinar a taxa de quadros da filmagem original, que geralmente pode ser encontrado em documentos da NASA ou, como no caso da filmagem da Apollo 16 acima, os astronautas anunciam isso quando ligam a câmera.

    "Infelizmente, as vezes, a taxa de quadros parece estar desligada ou flutuando, nem sempre funciona como pretendido, "disse ele." Portanto, a melhor maneira de encontrar a taxa de quadros é ouvir os pontos de referência sobre os quais os astronautas estão falando e comparar a filmagem a eles. Eu divido o arquivo de origem em quadros PNG individuais, introduza-os no AI junto com a taxa de quadros de entrada (um, seis, 12 ou 24) e a taxa de quadros de saída desejada por taxa de interpolação (2x, 4x, 8x). O AI começa a usar minha GPU e olha para dois reais, quadros consecutivos. Usando algoritmos, ele analisa os movimentos dos objetos nos dois quadros e renderiza outros inteiramente novos. Com uma taxa de interpolação de, por exemplo, 5x, é capaz de renderizar cinco frames 'falsos' de apenas dois frames reais. Se a filmagem foi gravada a 12 fps e a taxa de interpolação é definida como 5x, a taxa de quadros final será 60, o que significa que com apenas 12 frames reais, fez 48 frames 'falsos'. Ambos são então exportados de volta para um vídeo e reproduzidos a 60 fps com os quadros reais e falsos. Eu aplico correção de cor, frequentemente, os arquivos de origem têm uma tonalidade azul ou laranja. Eu sincronizo a filmagem com o áudio, e se possível, também televisão e fotos tiradas ao mesmo tempo. As vezes, duas câmeras de 16 mm estavam funcionando ao mesmo tempo, para que eu possa reproduzi-los um ao lado do outro. "

    Aqui está um vídeo que ele compartilhou de seu estúdio e seu equipamento especializado:

    Crédito:Dutchsteammachine

    DutchSteamMachine faz esse trabalho em seu tempo livre, e posta gratuitamente em sua página do YouTube. Seu slogan é "Preservando o passado para o futuro, "e ele também usa as mesmas técnicas para aprimorar o vídeo caseiro antigo, imagens e slides.

    "É ótimo ler as reações das pessoas sobre as minhas filmagens, "ele disse." Então, quando as pessoas postam coisas como, 'Uau! Isso é incrível! Eu nunca tinha visto isso antes !, 'isso me faz continuar. "

    Se você gostaria de apoiar o incrível trabalho de restauração / aprimoramento que a DutchSteamMachine está fazendo para as filmagens da Apollo, aqui está sua página do Patreon. Apoiando seu trabalho, você terá extras, acesso antecipado e visualizações de trabalhos futuros, e uma chance de fazer perguntas sobre o processo. E ele está planejando manter tudo vindo.

    "Eu pretendo melhorar toneladas de filmagens da Apollo como esta, "ele disse." Muito mais espaço e cenas relacionadas à história serão publicadas no meu canal YT continuamente. "Ele também tem uma página do Flickr com imagens mais aprimoradas.


    © Ciência https://pt.scienceaq.com