p O quarterback do Patriots, Tom Brady, muitas vezes credita seu sucesso a passar incontáveis ​​horas estudando os movimentos de seu oponente no filme. Essa compreensão do movimento é necessária para todas as espécies vivas, seja descobrir em que ângulo jogar uma bola, ou perceber o movimento de predadores e presas. Mas vídeos simples não podem nos dar a imagem completa. p Isso porque os vídeos e fotos tradicionais para estudar o movimento são bidimensionais, e não nos mostre a estrutura 3-D subjacente da pessoa ou assunto de interesse. Sem a geometria completa, não podemos inspecionar os movimentos pequenos e sutis que nos ajudam a nos mover mais rápido, ou entender a precisão necessária para aperfeiçoar nossa forma atlética.

p Recentemente, no entanto, pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) descobriram uma maneira de entender melhor esse entendimento do movimento complexo.

p O novo sistema usa um algoritmo que pode pegar vídeos 2-D e transformá-los em "esculturas em movimento" impressas em 3-D que mostram como o corpo humano se move no espaço. Além de ser uma visualização estética intrigante da forma e do tempo, a equipe prevê que seu sistema "MoSculp" possa permitir um estudo muito mais detalhado do movimento para atletas profissionais, dançarinos, ou qualquer pessoa que queira melhorar suas habilidades físicas.

p "Imagine que você tem um vídeo de Roger Federer sacando uma bola em uma partida de tênis, e um vídeo de você aprendendo tênis, "diz o estudante de doutorado Xiuming Zhang, autor principal de um novo artigo sobre o sistema. "Você poderia então construir esculturas de movimento de ambos os cenários para compará-los e estudar de forma mais abrangente onde é necessário melhorar."

p Como as esculturas de movimento são 3-D, os usuários podem usar uma interface de computador para navegar pelas estruturas e vê-las de diferentes pontos de vista, revelando informações relacionadas ao movimento inacessíveis do ponto de vista original.

p Zhang escreveu o artigo ao lado dos professores do MIT William Freeman e Stefanie Mueller, Ph.D. estudante Jiajun Wu, Os pesquisadores do Google, Qiurui He e Tali Dekel, bem como U.C. Pós-doutorado em Berkeley e ex-CSAIL Ph.D. Andrew Owens.

p Como funciona

p Artistas e cientistas há muito lutam para ter uma visão melhor do movimento, limitada por suas próprias lentes de câmera e pelo que ela pode fornecer.

p Trabalhos anteriores usaram principalmente as chamadas técnicas de fotografia "estroboscópica", que se parecem muito com as imagens de um flip book costuradas juntas. Mas como essas fotos mostram apenas instantâneos de movimento, você não seria capaz de ver tanto a trajetória do braço de uma pessoa quando ela está batendo em uma bola de golfe, por exemplo.

p O que mais, essas fotos também requerem uma configuração pré-filmagem trabalhosa, como o uso de um fundo limpo e câmeras de profundidade especializadas e equipamentos de iluminação. Tudo o que o MoSculp precisa é de uma sequência de vídeo.

p Dado um vídeo de entrada, o sistema primeiro detecta automaticamente os pontos-chave 2-D no corpo do sujeito, como o quadril, joelho, e tornozelo de uma bailarina enquanto ela está fazendo uma sequência de dança complexa. Então, são necessárias as melhores poses possíveis desses pontos para se transformar em "esqueletos" 3-D.

p Depois de costurar esses esqueletos, o sistema gera uma escultura em movimento que pode ser impressa em 3D, mostrando o bom, caminho contínuo de movimento traçado pelo sujeito. Os usuários podem personalizar suas figuras para se concentrar em diferentes partes do corpo, atribuir diferentes materiais para distinguir entre as partes, e até mesmo personalizar a iluminação.

p Em estudos de usuários, os pesquisadores descobriram que mais de 75 por cento dos sujeitos achavam que o MoSculp fornecia uma visualização mais detalhada para estudar o movimento do que as técnicas de fotografia padrão.

p "Dança e movimentos atléticos altamente qualificados muitas vezes parecem 'esculturas em movimento', mas eles apenas criam formas fugazes e efêmeras, "diz Courtney Brigham, líder de comunicações na Adobe. “Este trabalho mostra como pegar os movimentos e transformá-los em verdadeiras esculturas com visualizações objetivas do movimento, fornecendo uma maneira para os atletas analisarem seus movimentos para o treinamento, exigindo não mais equipamento do que uma câmera móvel e algum tempo de computação. "

p O sistema funciona melhor para movimentos maiores, como jogar uma bola ou dar um salto durante uma sequência de dança. Também funciona para situações que podem obstruir ou complicar o movimento, como pessoas usando roupas largas ou carregando objetos.

p Atualmente, o sistema só usa cenários de uma pessoa, mas a equipe em breve espera se expandir para várias pessoas. Isso poderia abrir o potencial para estudar coisas como distúrbios sociais, interações interpessoais, e dinâmica de equipe.