Uma equipe de pesquisa coreana propôs um novo paradigma para um robô de mão vestível que pode ajudar pessoas com mobilidade perdida. O robô de mão coleta os comportamentos do usuário com um algoritmo de aprendizado de máquina para determinar a intenção do usuário.

O professor Sungho Jo (KAIST) e Kyu-Jin Cho (Universidade Nacional de Seul) propuseram um novo paradigma de detecção de intenção para robôs de mão vestíveis. O paradigma proposto prevê intenções de agarrar / liberar com base no comportamento do usuário, permitindo que pacientes com lesão medular (LM) com perda de mobilidade das mãos possam pegar e colocar objetos.

Eles desenvolveram o método com base em um algoritmo de aprendizado de máquina que prevê as intenções do usuário por meio de uma câmera de visão em primeira pessoa. Seu desenvolvimento é baseado na hipótese de que as intenções do usuário podem ser inferidas por meio da coleção de comportamentos de braço do usuário e interações mão-objeto.

O modelo de aprendizado de máquina usado neste estudo, Rede de detecção de intenção baseada em visão a partir de uma visão egocêntrica (VIDEO-Net), é projetado com base nesta hipótese. O VIDEO-Net é composto por sub-redes espaciais e temporais, que reconhecem os comportamentos do braço do usuário, e uma sub-rede espacial que reconhece as interações mão-objeto.

Um paciente com LM usando Exo-Glove Poly II, um robô de mão macio e usável, escolheu e colocou vários objetos com sucesso e realizou atividades essenciais da vida diária, como beber café, sem qualquer ajuda adicional.

Este desenvolvimento é vantajoso porque detecta as intenções do usuário sem exigir calibrações de pessoa para pessoa ou ações adicionais. Isso permite que um ser humano use o robô de mão vestível sem problemas.

Entrevista com o professor Kyu-Jin Cho

P:Como funciona este sistema?

R:Esta tecnologia visa prever as intenções do usuário, especificamente agarrando e liberando a intenção em direção a um objeto alvo, utilizando uma câmera de visão em primeira pessoa montada em óculos. VIDEONet, um algoritmo baseado em aprendizagem profunda, foi desenvolvido para prever as intenções do usuário a partir da câmera, com base nos comportamentos do braço do usuário e nas interações mão-objeto. Em vez de usar bio-sinais, que é frequentemente usado para detecção de intenção de pessoas com deficiência, usamos uma câmera simples para descobrir se a pessoa está tentando agarrar ou não. Isso funciona porque os usuários-alvo são capazes de mover o braço, mas não suas mãos. Podemos prever a intenção de agarrar do usuário observando o movimento do braço e a distância do objeto e da mão, e interpretar a observação usando aprendizado de máquina.

P:Quem se beneficia com essa tecnologia?

R:Como mencionado anteriormente, esta tecnologia detecta as intenções do usuário a partir do comportamento do braço humano e das interações mão-objeto. Esta tecnologia pode ser usada por qualquer pessoa com perda de mobilidade da mão devido a lesão da medula espinhal, golpe, paralisia cerebral ou qualquer outra condição, contanto que eles possam mover seus braços voluntariamente.

P:Quais são as limitações e trabalhos futuros?

R:A maioria das limitações vem das desvantagens de usar uma câmera monocular. Por exemplo, se um objeto alvo é obstruído por outro objeto, o desempenho desta tecnologia diminui. Também, se o gesto da mão do usuário não puder ser visto na cena da câmera, a tecnologia não é utilizável. A fim de superar a falta de generalidade devido a esses problemas, o algoritmo precisa ser melhorado incorporando outras informações do sensor ou outros métodos de detecção de intenção existentes, como usar um sensor de eletromiografia ou rastrear o olhar fixo.

P:Para usar essa tecnologia na vida diária, O que você precisa?

R:Para que essa tecnologia seja usada na vida diária, um usuário precisa de um robô de mão vestível com um módulo de atuação, um dispositivo de computação, e óculos com câmera montada. Nosso objetivo é diminuir o tamanho e o peso do dispositivo de computação para que o robô possa ser portátil para uso no dia a dia. Usamos um dispositivo de computação compacto que atende aos nossos requisitos, mas esperamos que chips neuromórficos capazes de realizar cálculos de aprendizado profundo estejam disponíveis comercialmente.