Pesquisadores do NIT Silchar, Índia, desenvolveram recentemente um novo sistema dinâmico de reconhecimento de caracteres de teclado baseado em gestos manuais. Este sistema de teclado virtual, apresentado em um artigo publicado no Journal of Ambient Intelligence and Humanized Computing , usa uma abordagem baseada em imagem para reconhecimento de gestos que é um padrão, velocidade e escala invariante na natureza.

“O reconhecimento de gestos é um campo de estudo promissor devido à sua grande variedade de aplicações, "Songhita Misra, um dos pesquisadores que realizou o estudo, disse TechXplore. "Um sistema de reconhecimento de gestos pode ser aplicado em sistemas de realidade virtual, realidade aumentada, cuidados de saúde, veículos, para ajudar pacientes com deficiência visual ou motora, para eletrodomésticos, robôs, mineração e várias outras aplicações, que estão aumentando a cada dia que passa. "

O reconhecimento de gestos pode melhorar as interações entre humanos e computadores em uma variedade de áreas. Embora as ferramentas de reconhecimento de gestos possam ter uma vasta gama de aplicações, até aqui, muito poucas organizações e instituições tentaram introduzir esses sistemas na sociedade.

"Ao fazer a pesquisa de literatura, Observei que a maioria dos estudos existentes são limitados a gestos estáticos ou gestos dinâmicos de pequena duração, como 'mover para a esquerda, '' mova para a direita, '' clique, ' 'parar, 'etc., que pode basicamente substituir o mouse tradicional e controles remotos de TV, no máximo, "Disse Songhita." Com o aumento da demanda de aplicativos, a complexidade do sistema desde o final do designer tende a aumentar. Portanto, um estudo completo e uma análise no campo de sistemas dinâmicos longos são necessários. "

Os teclados tradicionais suportam uma ampla gama de caracteres, incluindo letras maiúsculas e minúsculas em inglês, operadores aritméticos, Números arábicos, e outros caracteres ASCII imprimíveis. Um sistema de reconhecimento de gestos que cobre todos esses personagens é muito desafiador para desenvolver devido aos seus requisitos significativos de banco de dados, bem como possíveis complicações associadas à detecção de mãos, monitorando, extração de recursos e uso de classificadores.

Em seu estudo recente, Songhita e seus colegas decidiram desenvolver um sistema de teclado virtual com aproximadamente 95 caracteres. Ainda, devido às dificuldades associadas a esta tarefa, seu sistema atualmente suporta 58.

"Nosso time, que inclui meu guia, Dr. Rabul Hussain Laskar, Dra. Joyeeta singha e eu, conseguiu desenvolver um sistema de 58 caracteres de teclado para impressão usando marcadores de cores e mãos nuas, "Songhita explicou." Nossa pesquisa neste campo começou em 2013 em nosso laboratório de fala e imagem no NIT Silchar. "

Os pesquisadores desenvolveram uma abordagem hierárquica para o reconhecimento de gestos que se baseia na auto-co-articulação, características de posição e trajetória. Os modelos de última geração existentes para reconhecimento de gestos são baseados em recursos de trajetória temporal, que são dependentes do caminho sequencial 2-D do tipo frame seguido por gestos específicos.

Devido a esta dependência, os recursos analisados ​​por essas abordagens podem ser afetados por ruído de trajetória ou outras variações no padrão, velocidade ou escala. A abordagem desenvolvida por Songhita e seus colegas, por outro lado, usa modelos de imagem que não são obtidos por frame, e, portanto, não são afetados pelo padrão, Rapidez, variações de escala ou trajetória.

Os pesquisadores fundiram esses recursos baseados em imagens e trajetórias em um modelo híbrido de classificação hierárquica. Seu modelo alcançou 3,9 por cento de precisão maior do que um modelo de classificação de trajetória não hierárquica de linha de base, com taxas de classificação incorreta mais baixas para caracteres como '0' e 'O' ou 'Z' e '2'.

"A versão estendida de nosso trabalho foi aprovada pelo IMPRINT-II para patrocínio do SERB, DST, Índia, por uma duração de três anos, "Disse Songhita." Nosso projeto, que está em colaboração com IIT Guwahati, estava entre os 121 projetos selecionados entre mais de 2.000 propostas. Esta é uma grande conquista para nós, bem como para o instituto. O nosso será definitivamente um dos primeiros projetos na Índia a focar exclusivamente no desenvolvimento de um sistema de interface de entrada de texto virtual. "

O estudo recente realizado por Songhita e seus colegas focou no desenvolvimento de um modelo de classificação hierárquica que pode lidar com grandes bancos de dados sem reduzir a precisão do sistema. O objetivo do projeto mais amplo aprovado pelo IMPRINT-II, Contudo, será desenvolver um sistema de reconhecimento de gestos amigável para deficientes para 95 caracteres do teclado imprimíveis usando marcadores de cores e detecção de mão nua. Assim que este sistema estiver completo, será implantado para uso por usuários idosos e deficientes visuais, bem como outros que podem se beneficiar dele.

"O desenvolvimento de um sistema de vocabulário tão grande será uma tarefa desafiadora, "Disse Songhita." Até agora, desenvolvemos um sistema de reconhecimento de 58 caracteres usando técnicas baseadas na visão. "

© 2019 Science X Network