Capturar poses de mão interativas em tempo real e com resultados realistas é um problema bem examinado na computação, particularmente a computação centrada no ser humano e a tecnologia de captura de movimento. As mãos humanas são complexas, um sistema intrincado de flexores, extensores, e capacidades sensoriais servindo como nosso meio principal para manipular objetos físicos e se comunicar uns com os outros. A captura precisa do movimento das mãos é relevante e importante para muitas aplicações, como jogos, domínios de realidade aumentada e virtual, robótica, e as indústrias biomédicas.

Uma equipe global de cientistas da computação da ETH Zurich e da New York University avançou ainda mais nesta área de pesquisa, desenvolvendo um sistema de luva de dados de sensor de estiramento para capturar em tempo real, poses de mão interativas com muito mais precisão.

A equipe de pesquisa, incluindo Oliver Glauser, Shihao Wu, Otmar Hilliges, e Olga Sorkine-Hornung da ETH Zurich e Daniele Panozzo da NYU, irá demonstrar sua luva inovadora na SIGGRAPH 2019, realizada de 28 de julho a 1º de agosto em Los Angeles. Este encontro anual mostra os principais profissionais do mundo, acadêmicos, e mentes criativas na vanguarda da computação gráfica e técnicas interativas.

A principal vantagem de suas luvas sensíveis ao estiramento, dizem os pesquisadores, é que eles não exigem uma configuração baseada em câmera - ou qualquer equipamento externo adicional - e podem começar a rastrear as poses das mãos em tempo real com apenas uma calibração mínima.

"Até onde sabemos, nossas luvas são as primeiras luvas precisas de captura de dados com base exclusivamente em sensores de alongamento, "diz Glauser, um autor principal do trabalho e um Ph.D. estudante da ETH Zurique. "As luvas são macias e finas, tornando-os muito confortáveis ​​e discretos de usar, mesmo tendo 44 sensores embutidos. Eles podem ser fabricados a baixo custo com ferramentas comumente disponíveis em laboratórios de fabricação. "

Glauser e colaboradores se propuseram a superar alguns desafios persistentes na replicação de poses manuais precisas. Nesse trabalho, eles abordaram obstáculos como capturar os movimentos das mãos em tempo real em uma variedade de ambientes e configurações, além de usar apenas equipamentos fáceis de usar e uma abordagem de configuração fácil de aprender. Eles demonstram que suas luvas macias com sensor de estiramento são bem-sucedidas em computar com precisão as poses das mãos em tempo real, mesmo enquanto o usuário está segurando um objeto físico, e em condições como pouca iluminação.

Os pesquisadores utilizaram um composto de silicone em forma de mão equipado com 44 sensores de alongamento e o anexaram a uma luva feita de tecido fino. Para reconstruir a postura da mão a partir das leituras do sensor, os pesquisadores usam um modelo baseado em dados que explora o layout do próprio sensor. O modelo é treinado apenas uma vez; e para coletar dados de treinamento, os pesquisadores usam um barato, sistema de reconstrução de pose manual pronto para uso.

Para o estudo, eles comparam a precisão de suas luvas sensoras com duas luvas comerciais de última geração. Com exceção de uma pose de mão, o romance dos pesquisadores, as luvas com sensores de alongamento receberam o menor retorno de erro para cada pose interativa.

Em trabalho futuro, a equipe pretende explorar como uma abordagem de sensor semelhante poderia ser usada para rastrear um braço inteiro para obter a posição global e a orientação da luva, ou talvez até um terno de corpo inteiro. Atualmente os pesquisadores fabricam luvas de tamanho médio, e eles gostariam de expandir para outros tamanhos e formatos.

"Este é um problema já bem estudado, mas encontramos novas maneiras de abordá-lo em termos dos sensores empregados em nosso projeto e nosso modelo baseado em dados, "observa Glauser." O que também é estimulante neste trabalho é a natureza multidisciplinar de trabalhar este problema. Exigia experiência em vários campos, incluindo ciência material, fabricação, Engenharia elétrica, gráficos de computador, e aprendizado de máquina. "