Capturar os movimentos das mãos e dos dedos em milissegundos está se tornando cada vez mais importante para muitas aplicações, da realidade virtual à interação homem-máquina e Indústria 4.0. Até aqui, suas enormes demandas técnicas limitaram as aplicações possíveis. Cientistas da computação do Instituto Max Planck de Informática desenvolveram agora um sistema de software que envolve a interação de várias redes neurais que requer apenas a câmera embutida de um laptop.

Pela primeira vez, os pesquisadores apresentarão o programa no estande G75, no pavilhão 27 da feira de informática Cebit, que acontecerá em Hannover a partir de 11 de junho.

Quando a cientista da computação Franziska Müller coloca a mão na frente da câmera do laptop, a contrapartida virtual da mão aparece na tela. Ele é sobreposto por um esqueleto de mão virtual colorido. Não importa quais movimentos a mão de Müller faz na frente da webcam, os ossos coloridos do modelo fazem o mesmo. Müller demonstra o software que ela desenvolveu junto com o professor Christian Theobalt e outros pesquisadores do Instituto Max Planck de Ciência da Computação em Saarbrücken, Stanford University e a Spanish King Juan Carlos University. Até aqui, nenhum outro software pode fazer isso com uma câmera de baixo custo.

Uma vez que funciona em quase todos os tipos de cenas filmadas, pode ser usado em qualquer lugar, e, portanto, supera as abordagens anteriores que exigem uma câmera de profundidade ou várias câmeras. O algoritmo usado pelo sistema transforma as informações bidimensionais da imagem do vídeo em tempo real no modelo de movimento tridimensional dos ossos da mão. É baseado na chamada "rede neural convolucional, Os pesquisadores o treinaram para detectar os ossos da mão. Eles geraram os dados de treinamento necessários com outra rede neural. O resultado:o software calcula as poses tridimensionais exatas dos ossos da mão em milissegundos. Mesmo que alguns deles estejam obstruídos, por exemplo, por uma maçã na mão do usuário, o software compensa. Contudo, o sistema ainda tem problemas para processar várias mãos trabalhando juntas, e resolver isso é o próximo objetivo dos pesquisadores.