As línguas de sinais não são fáceis de aprender e são ainda mais difíceis de ensinar. Eles usam não apenas gestos com as mãos, mas também gestos, expressões faciais e postura corporal para comunicar significado. Essa complexidade significa que os programas de ensino profissional ainda são raros e frequentemente caros. Mas isso tudo pode mudar em breve, com um pouco de ajuda da inteligência artificial (IA).

Meus colegas e eu estamos trabalhando em um software para aprender línguas de sinais de forma automatizada, maneira intuitiva. Atualmente, esta ferramenta pode analisar a maneira como um aluno realiza um sinal na língua de sinais suíço-alemã e fornecer feedback detalhado sobre como melhorar a forma da mão, movimento, localização e tempo. Mas nossa esperança é que possamos usar a IA por trás da ferramenta para criar um software que pode ensinar várias línguas de sinais de todo o mundo, e levar em consideração os recursos mais complexos das línguas, como a gramática da frase e os elementos não manuais da comunicação.

AI já foi usado anteriormente para o reconhecimento, tradução ou interpretação da língua de sinais. Mas acreditamos que somos os primeiros a realmente tentar avaliar os sinais que uma pessoa faz. Mais importante, Queremos aproveitar a tecnologia de IA para fornecer feedback ao usuário sobre o que ele fez de errado.

Praticar e avaliar a linguagem de sinais é difícil porque você não consegue ler ou escrever. Em vez de, criamos um jogo de computador. Para praticar um sinal, o jogo mostra um vídeo desse sinal sendo executado, ou fornece a palavra falada mais próxima que o descreve (ou ambos). Em seguida, ele registra sua tentativa de recriar a placa usando uma câmera de vídeo e mostra como você pode fazer melhor. Descobrimos que torná-lo um jogo incentiva as pessoas a competir para obter a melhor pontuação e melhorar sua contratação ao longo do caminho.

A inteligência artificial é usada em todas as fases da avaliação de desempenho. Primeiro, uma rede neural convolucional (CNN) extrai informações do vídeo sobre a postura da parte superior do corpo. Uma CNN é um tipo de IA vagamente baseado no processamento feito pelo córtex visual em seu cérebro. Suas informações de pose esquelética e o vídeo original são então enviados para o analisador de formato de mão, onde outra CNN olha para o vídeo e puxa as informações do formato da mão em cada ponto do vídeo.

As informações do esqueleto e as formas das mãos são enviadas para um analisador de movimento da mão, que usa algo chamado modelo Hidden Markov (HMM). Este tipo de IA nos permite modelar as informações do esqueleto e da forma da mão ao longo do tempo. Em seguida, compara o que viu a um modelo de referência que representa a versão perfeita desse sinal, e produz uma pontuação de quão bem ela corresponde.

Os resultados do analisador de formato da mão e do analisador de movimento da mão são então pontuados e apresentados a você como feedback. Portanto, toda a IA está escondida por trás de uma interface simples de usar, permitindo que você se concentre no aprendizado. Nossa esperança é que o automático, o feedback pessoal tornará os alunos mais engajados no processo de aprender a assinar.

Trazendo IA para a sala de aula

Até aqui, o software só funciona com a linguagem de sinais suíço-alemã. Mas nossa pesquisa sugere que a "arquitetura" do sistema não precisaria ser alterada para lidar com outras linguagens. Seria necessário apenas mais gravações de vídeo de cada idioma para atuar como dados para treiná-lo.

Uma área de pesquisa que gostaríamos de explorar é como poderíamos usar o que a IA já sabe para ajudá-la a aprender novos idiomas. Também gostaríamos de ver como podemos adicionar outros aspectos da comunicação ao usar a linguagem de sinais, como expressões faciais.

No momento, o software funciona melhor em um ambiente simples, como uma sala de aula. Mas se pudermos desenvolvê-lo para tolerar mais variação no fundo do vídeo que está avaliando, ele pode se tornar como muitos aplicativos populares que permitem que você aprenda um idioma onde quer que esteja, sem a ajuda de um especialista. Com esse tipo de tecnologia sendo desenvolvida, em breve será possível tornar o aprendizado da língua de sinais tão acessível a todos quanto o aprendizado de seus irmãos falados.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.