Uma equipe de pesquisadores e engenheiros da Huawei AI criou uma maneira única de ajudar crianças surdas a aprender a ler a linguagem de sinais - usando IA e realidade aumentada para interpretar livros impressos. Eles também descobriram uma maneira de ajudar as crianças surdas a desenvolver prazer na leitura.

A ideia do aplicativo foi uma resposta à frustração que muitos pais sentem ao tentar ler um livro para seu filho surdo - na maioria dessas situações, um pai ouvinte está tentando incluir seu filho surdo em uma atividade que é um rito de passagem automático para quem não tem deficiência auditiva. Para resolver este problema, pesquisadores da Huawei tiveram a ideia de usar inteligência artificial para ajudar uma criança a ler um livro. O sistema AI / AR está embutido em um aplicativo chamado StorySign que pode ser executado em um telefone ou tablet - o pai ou a criança segura o telefone sobre a página e um avatar é sobreposto ao lado do texto e interpreta as palavras por meio de sinais.

Conforme a história avança, o aplicativo destaca as palavras sendo assinadas, ajudando a criança a entender que as palavras estão conectadas ao sinal usado para representá-las. Os pesquisadores relatam que também fizeram um trabalho significativo para desenvolver um avatar com o qual as crianças pudessem se identificar. Eles trabalharam com a Aardman Animations para criar um avatar chamado Star, que faz mais do que apenas exibir gestos com as mãos - ela também usa expressões corporais e faciais para transmitir emoções, ajudando a criança a compreender melhor a natureza contextual do material do livro. Uma ressalva é que o aplicativo só funciona com certos livros infantis, todos publicados pela Penguin Random House.

O aplicativo foi desenvolvido com o apoio da União Europeia de Surdos e da Associação Britânica de Surdos. É de graça, e disponível para produtos Android e Apple em 10 idiomas em 10 países europeus. Os desenvolvedores dizem que, se o aplicativo se provar popular, estará disponível em mais regiões e em mais idiomas.

© 2018 Science X Network