Para um robô ser capaz de "aprender" a linguagem de sinais, é necessário combinar diferentes áreas da engenharia, como inteligência artificial, redes neurais e visão artificial, bem como mãos robóticas subactuadas. “Uma das principais novidades desta pesquisa é que unimos duas grandes áreas da Robótica:sistemas complexos (como mãos robóticas) e interação social e comunicação, "explica Juan Víctores, um dos pesquisadores do Laboratório de Robótica do Departamento de Engenharia de Sistemas e Automação da UC3M.

A primeira coisa que os cientistas fizeram como parte de sua pesquisa foi indicar, através de uma simulação, a posição específica de cada falange para representar sinais particulares da Língua de Sinais Espanhola. Eles então tentaram reproduzir esta posição com a mão robótica, tentando fazer movimentos semelhantes aos que uma mão humana poderia fazer. “O objetivo é que sejam semelhantes e, sobre tudo, natural. Vários tipos de redes neurais foram testados para modelar esta adaptação, e isso nos permitiu escolher aquele que poderia realizar os gestos de uma forma que seja compreensível para as pessoas que se comunicam com a língua de sinais, "explicam os pesquisadores.

Finalmente, os cientistas verificaram que o sistema funcionava interagindo com usuários finais em potencial. "Os surdos que estiveram em contato com o robô relataram 80 por cento de satisfação, então a resposta tem sido muito positiva, "diz outro dos pesquisadores do Laboratório de Robótica, Jennifer J. Gago. Os experimentos foram realizados com TEO (Task Environment Operator), um robô humanóide para uso doméstico desenvolvido no Laboratório de Robótica do UC3M.

A data, A TEO domina o alfabeto ortográfico da linguagem de sinais, bem como um vocabulário muito básico relacionado às tarefas domésticas, este pesquisador explica. Um dos desafios que os cientistas agora enfrentam para continuar a desenvolver este sistema é "a representação de gestos mais complexos, usando frases completas ", diz outro membro da equipe do Laboratório de Robótica, Bartek Lukawski. O robô poderia então ser usado por aproximadamente 13, 300 pessoas na Espanha que usam a linguagem de sinais para se comunicar.

O objetivo mais amplo é que robôs desse tipo se tornem assistentes domésticos capazes de ajudar a passar (a TEO também faz isso), dobrar roupas, servindo comida, e interagir com usuários em ambientes domésticos. Além disso, "essas mãos robóticas podem ser implementadas em outros humanóides e podem ser usadas em outros ambientes e circunstâncias, "diz Jennifer J. Gago." O que é realmente importante é que todas essas tecnologias, todos esses desenvolvimentos para os quais contribuímos, são voltados para incluir todos os membros da sociedade. É uma forma de encarar a tecnologia como um auxílio à inclusão, tanto das minorias quanto das maiorias, dentro de uma democracia, “Juan Víctores enfatiza.