Os produtos comerciais de drones podem lidar com algumas tarefas automatizadas, mas uma coisa que esses sistemas não tratam é filmar artisticamente. Uma equipe liderada por pesquisadores da Carnegie Mellon University propôs um sistema completo para cinematografia aérea que aprende as preferências visuais dos humanos. O sistema totalmente autônomo não requer cenas com script, Tags GPS para localizar alvos ou mapas anteriores do ambiente.
"Estamos colocando o poder de um diretor dentro do drone, “disse Rogério Bonatti, um Ph.D. estudante do Instituto de Robótica da CMU. "O drone se posiciona para registrar os aspectos mais importantes de uma cena. Ele entende de maneira autônoma o contexto da cena - onde estão os obstáculos, onde estão os atores - e isso raciocina ativamente sobre quais pontos de vista farão uma cena mais visualmente interessante. Também é uma questão de permanecer seguro e não travar. "
Como objetivo, "artisticamente interessante" é subjetivo e difícil de quantificar matematicamente, portanto, o sistema foi treinado usando uma técnica chamada aprendizado por reforço profundo. Em um estudo de usuário, as pessoas viram cenas em um simulador foto-realista que mudou entre frontal, de volta, perspectivas esquerda e direita. Escala de tiro e distância também foram exploradas, bem como a posição do ator na tela. Os usuários pontuaram as cenas com base em quão visualmente atraentes elas eram e quão artisticamente interessantes as acharam.
O sistema aprendeu que alguns movimentos eram mais interessantes do que outros. Por exemplo, outros produtos autônomos de drones costumam usar um backshot contínuo porque permite que o drone siga uma clara, caminho seguro atrás do ator. Mas no estudo do usuário, os participantes relataram que um backshot constante se torna chato depois de um tempo. Eles também descobriram que o drone precisava mudar os ângulos com frequência para que a cena continuasse interessante, mas eles não podiam mudar com muita freqüência.
Bonatti disse que a equipe queria tornar o comportamento aprendido generalizável, indo do treinamento em simulação à implantação em cenários da vida real. Enquanto o sistema calculava a média das preferências dos usuários por cenas enquanto um ator caminhava por um corredor estreito entre os edifícios, ele pode aplicar essas preferências a obstáculos semelhantes, como um caminho na floresta usando mapeamento topográfico.
"O trabalho futuro pode explorar muitos parâmetros diferentes ou criar preferências artísticas personalizadas com base no estilo ou gênero de um diretor, "disse Sebastian Scherer, professor associado de pesquisa no Instituto de Robótica.
O sistema aéreo também é especializado em manter uma visão clara do ator, evitando o que é conhecido como oclusões. "Fomos o primeiro grupo a apresentar novas maneiras de lidar com a oclusão que não são apenas binárias, mas pode realmente quantificar o quão ruim é a oclusão, "Bonatti disse.
Outras inovações incluem planejadores de movimento eficientes para antecipar as trajetórias dos atores, e um sistema de mapeamento incremental e eficiente do ambiente usando LiDAR.
Este sistema pode ser útil além do entretenimento e dos esportes. Governos e departamentos de polícia hoje já usam drones voados manualmente para muitas aplicações, incluindo o monitoramento de multidões e a compreensão dos padrões de tráfego. Mas o vôo manual de drones requer muita atenção, e um oficial não pode gastar sua energia realmente olhando para a cena. "Assim como aprender princípios artísticos, a máquina poderia aprender os tiros necessários para outras aplicações, como segurança, "Bonatti disse.
“O objetivo da pesquisa não é substituir os humanos. Ainda teremos um mercado para profissionais especialistas altamente treinados, "disse Bonatti." O objetivo é democratizar a cinematografia de drones e permitir que as pessoas realmente se concentrem no que é importante para elas. "
Este trabalho será apresentado na Conferência Internacional de Robôs e Sistemas Inteligentes de 2019, e foi aceito para publicação no Journal of Field Robotics .
