A próxima geração de aparelhos auditivos pode ler lábios através de máscaras

Ilustração conceitual da estrutura de leitura labial proposta. A estrutura emprega tecnologias Wi-Fi e radar como facilitadores da leitura labial baseada em detecção de RF. Um conjunto de dados composto pelas vogais A, E, I, O, U e vazio (lábios estáticos/fechados) é coletado usando ambas as tecnologias, com uma máscara facial. Os dados coletados são usados para treinar modelos de ML e DL. Crédito:Comunicação da Natureza (2022). DOI:10.1038/41467-022-32231-1. https://www.nature.com/articles/s41467-022-32231-1

Um novo sistema capaz de ler lábios com notável precisão, mesmo quando os falantes estão usando máscaras faciais, pode ajudar a criar uma nova geração de aparelhos auditivos.
Uma equipe internacional de engenheiros e cientistas da computação desenvolveu a tecnologia, que combina pela primeira vez o sensoriamento de radiofrequência com a inteligência artificial para identificar os movimentos dos lábios.

O sistema, quando integrado à tecnologia convencional de aparelhos auditivos, pode ajudar a combater o "efeito coquetel", uma deficiência comum dos aparelhos auditivos tradicionais.

Atualmente, os aparelhos auditivos auxiliam as pessoas com deficiência auditiva amplificando todos os sons do ambiente ao seu redor, o que pode ser útil em muitos aspectos da vida cotidiana.

No entanto, em situações barulhentas, como coquetéis, o amplo espectro de amplificação dos aparelhos auditivos pode dificultar o foco dos usuários em sons específicos, como uma conversa com uma pessoa em particular.

Uma solução potencial para o efeito coquetel é fazer aparelhos auditivos "inteligentes", que combinam a amplificação de áudio convencional com um segundo dispositivo para coletar dados adicionais para melhorar o desempenho.

Enquanto outros pesquisadores tiveram sucesso no uso de câmeras para ajudar na leitura labial, a coleta de imagens de vídeo de pessoas sem seu consentimento explícito levanta preocupações com a privacidade individual. As câmeras também não conseguem ler os lábios através de máscaras, um desafio diário para pessoas que usam coberturas faciais para fins culturais ou religiosos e um problema mais amplo na era do COVID-19.

Em um novo artigo publicado hoje na revista Nature Communications , a equipe liderada pela Universidade de Glasgow descreve como eles decidiram aproveitar a tecnologia de detecção de ponta para ler lábios. Seu sistema preserva a privacidade coletando apenas dados de radiofrequência, sem imagens de vídeo.

Para desenvolver o sistema, os pesquisadores pediram a voluntários do sexo masculino e feminino que repetissem os cinco sons das vogais (A, E, I, O e U) primeiro sem máscara e depois usando uma máscara cirúrgica.

À medida que os voluntários repetiam os sons das vogais, seus rostos eram escaneados usando sinais de radiofrequência de um sensor de radar dedicado e um transmissor wifi. Seus rostos também foram escaneados enquanto seus lábios permaneciam imóveis.

Em seguida, as 3.600 amostras de dados coletados durante as varreduras foram usadas para “ensinar” algoritmos de aprendizado de máquina e aprendizado profundo como reconhecer os movimentos característicos de lábios e boca associados a cada som de vogal.

Como os sinais de radiofrequência podem passar facilmente pelas máscaras dos voluntários, os algoritmos também podem aprender a ler a formação de vogais dos usuários mascarados.

O sistema mostrou-se capaz de ler corretamente os lábios dos voluntários na maioria das vezes. Os dados Wifi foram interpretados corretamente pelos algoritmos de aprendizado em até 95% do tempo para lábios desmascarados e 80% para mascarados. Enquanto isso, os dados do radar foram interpretados corretamente até 91% sem máscara e 83% do tempo com máscara.

Dr. Qammer Abbasi, da Escola de Engenharia James Watt da Universidade de Glasgow, é o principal autor do artigo. Ele disse:"Cerca de 5% da população mundial - cerca de 430 milhões de pessoas - têm algum tipo de deficiência auditiva.

"Os aparelhos auditivos proporcionaram benefícios transformadores para muitas pessoas com deficiência auditiva. Uma nova geração de tecnologia que coleta um amplo espectro de dados para aumentar e aprimorar a amplificação do som pode ser outro passo importante na melhoria da qualidade de vida das pessoas com deficiência auditiva.

"Com esta pesquisa, mostramos que os sinais de radiofrequência podem ser usados para ler com precisão os sons das vogais nos lábios das pessoas, mesmo quando suas bocas estão cobertas. Embora os resultados da leitura labial com sinais de radar sejam um pouco mais precisos, o Wi- Os sinais Fi também demonstraram uma precisão impressionante.

"Given the ubiquity and affordability of Wi-Fi technologies, the results are highly encouraging which suggests that this technique has value both as a standalone technology and as a component in future multimodal hearing aids."

Professor Muhammad Imran, head of the University of Glasgow's Communications, Sensing and Imaging research group and a co-author of the paper, added, "This technology is an outcome from two research projects funded by the Engineering and Physical Sciences Research Council (EPSRC), called COG-MHEAR and QUEST.

"Both aim to find new methods of creating the next generation of health care devices, and this development will play a major role in supporting that goal."

The team's paper, titled "Pushing the Limits of Remote RF Sensing by Reading Lips Under the Face Mask," is published in Nature Communications . + Explorar mais