Tal como as línguas faladas, as línguas gestuais evoluem organicamente e nem sempre têm a mesma origem. Isso produz diferentes formas de comunicação e anotação. Este é o tema do doutorado de Manolis Fragkiadakis. tese.



“Ao contrário do que muitas pessoas supõem, não existe de facto uma linguagem gestual universal”, diz Fragkiadakis. "A linguagem de sinais pode ser ainda mais fragmentada do que a língua falada:pode haver vários idiomas no mesmo país. A fragmentação torna difícil codificar a linguagem de sinais ou escrever sobre ela academicamente. Queremos mudar isso."

“Criamos, portanto, uma ferramenta para dicionários de línguas de sinais”, explica Fragkiadakis. “Para isso, utilizamos o aprendizado de máquina, uma forma de IA. Ao analisar a posição e os movimentos das articulações das mãos que sinalizam, o sistema precisa identificar qual palavra de qual idioma está sendo sinalizado.”

Isto provou não ser nada simples. “Os desenvolvimentos tecnológicos dos últimos anos ainda não são compatíveis com a linguagem de sinais, por isso ainda é lento”, explica Fragkiadakis. “Os grandes modelos de linguagem que temos atualmente são treinados apenas em uma linguagem de sinais e, na maior parte do material de vídeo usado para isso, você vê o sinalizante parado bem na frente da câmera, então os sinais são facilmente vistos.

"Na minha pesquisa, treinamos a IA em múltiplas línguas de sinais e em vários falantes. Para isso, a câmera foi posicionada entre dois falantes, então a IA tinha que ser capaz de extrair a mesma informação de uma posição diferente."

Por enquanto, esta técnica resultou principalmente no conhecimento de mais informações sobre diferentes línguas de sinais, mas para o futuro Fragkiadakis também prevê aplicações práticas dentro da comunidade de línguas de sinais. “No futuro, a IA poderá ajudar a reconhecer os pontos em comum e as distinções entre as várias línguas de sinais, auxiliando a comunicação entre os usuários”.

Além disso, Fragkiadakis diz que é útil que a sua investigação tenha ajudado a identificar melhor as diferenças entre as línguas de sinais. Por exemplo, como a cultura desempenha um papel? "Sou grego, por isso utilizo muito espaço para assinar", diz Fragkiadakis, "isto pode mudar o significado do que quero dizer. Gestos maiores podem sinalizar, por exemplo, que alguém está 'gritando', mas não não precisa ser."

Em última análise, este conhecimento deverá melhorar a acessibilidade da linguagem gestual. “A esperança é que com esta pesquisa possamos tornar a linguagem de sinais mais acessível a todos, desde acadêmicos até falantes comuns. Ainda há muito pouco conhecimento sobre as características das diferentes línguas de sinais e queremos mudar isso”.

Fornecido pela Universidade de Leiden