Nossos cérebros têm um talento notável para captar vozes individuais em um ambiente barulhento, como um café lotado ou uma rua movimentada da cidade. Isso é algo que mesmo os aparelhos auditivos mais avançados lutam para fazer. Mas agora os engenheiros da Columbia estão anunciando uma tecnologia experimental que imita a aptidão natural do cérebro para detectar e amplificar qualquer uma das muitas vozes. Alimentado por inteligência artificial, este aparelho auditivo controlado pelo cérebro atua como um filtro automático, monitorar as ondas cerebrais dos usuários e aumentar a voz na qual eles desejam se concentrar.

Embora ainda esteja nos estágios iniciais de desenvolvimento, a tecnologia é um passo significativo em direção a melhores aparelhos auditivos que permitiriam aos usuários conversar com as pessoas ao seu redor de maneira contínua e eficiente. Essa conquista é descrita hoje em Avanços da Ciência .

"A área do cérebro que processa o som é extraordinariamente sensível e poderosa; ela pode amplificar uma voz sobre outras, aparentemente sem esforço, enquanto as ajudas de audiências de hoje ainda são pálidas em comparação, "disse Nima Mesgarani, Ph.D., um investigador principal do Instituto de Comportamento Mente Cérebro Mortimer B. Zuckerman de Columbia e o autor sênior do artigo. "Ao criar um dispositivo que aproveita o poder do próprio cérebro, esperamos que nosso trabalho leve a melhorias tecnológicas que permitam a centenas de milhões de pessoas com deficiência auditiva em todo o mundo se comunicarem com a mesma facilidade com que seus amigos e familiares o fazem. "

Os aparelhos auditivos modernos são excelentes para amplificar a fala, suprimindo certos tipos de ruído de fundo, como tráfego. Mas eles lutam para aumentar o volume de uma voz individual em relação a outras. Os cientistas chamam isso de problema do coquetel, nomeado após a cacofonia de vozes que se misturam durante festas barulhentas.

"Em lugares lotados, como festas, aparelhos auditivos tendem a amplificar todos os alto-falantes de uma vez, "disse o Dr. Mesgarani, que também é professor associado de engenharia elétrica na Columbia Engineering. "Isso prejudica seriamente a capacidade do usuário de conversar com eficácia, essencialmente isolando-os das pessoas ao seu redor. "

O aparelho auditivo controlado pelo cérebro da equipe de Columbia é diferente. Em vez de depender apenas de amplificadores de som externos, como microfones, ele também monitora as ondas cerebrais do próprio ouvinte.

"Anteriormente, descobrimos que quando duas pessoas falam uma com a outra, as ondas cerebrais do falante começam a se assemelhar às ondas cerebrais do ouvinte, "disse o Dr. Mesgarani.

Usando esse conhecimento, a equipe combinou algoritmos de separação de voz poderosos com redes neurais, modelos matemáticos complexos que imitam as habilidades computacionais naturais do cérebro. Eles criaram um sistema que primeiro separa as vozes de oradores individuais de um grupo, e então compara as vozes de cada falante com as ondas cerebrais da pessoa que está ouvindo. O falante cujo padrão de voz mais se assemelha às ondas cerebrais do ouvinte é amplificado sobre o resto.

Os pesquisadores publicaram uma versão anterior deste sistema em 2017 que, embora prometendo, tinha uma limitação importante:precisava ser pré-treinado para reconhecer palestrantes específicos.

"Se você está em um restaurante com sua família, esse dispositivo reconheceria e decodificaria essas vozes para você, "explicou o Dr. Mesgarani." Mas assim que uma nova pessoa, como o garçom, chegado, o sistema iria falhar. "

O avanço de hoje resolve amplamente esse problema. Com financiamento da Columbia Technology Ventures para melhorar seu algoritmo original, Dr. Mesgarani e os primeiros autores Cong Han e James O'Sullivan, Ph.D., novamente aproveitou o poder das redes neurais profundas para construir um modelo mais sofisticado que pudesse ser generalizado para qualquer locutor potencial que o ouvinte encontrasse.

"Nosso resultado final foi um algoritmo de separação de voz com desempenho semelhante ao das versões anteriores, mas com uma melhoria importante, "disse o Dr. Mesgarani." Ele poderia reconhecer e decodificar uma voz - qualquer voz - imediatamente.

Para testar a eficácia do algoritmo, os pesquisadores se uniram a Ashesh Dinesh Mehta, MD, Ph.D., neurocirurgião do Northwell Health Institute for Neurology and Neurosurgery e co-autor do artigo de hoje. Dr. Mehta trata de pacientes com epilepsia, alguns dos quais devem ser submetidos a cirurgias regulares.

"Esses pacientes se ofereceram para ouvir diferentes palestrantes enquanto monitorávamos suas ondas cerebrais diretamente por meio de eletrodos implantados nos cérebros dos pacientes, "disse o Dr. Mesgarani." Em seguida, aplicamos o algoritmo recém-desenvolvido a esses dados.

O algoritmo da equipe rastreou a atenção dos pacientes enquanto eles ouviam diferentes oradores que não tinham ouvido anteriormente. Quando um paciente se concentra em um alto-falante, o sistema amplificou automaticamente aquela voz. Quando a atenção deles mudou para um orador diferente, os níveis de volume mudaram para refletir essa mudança.

Encorajado por seus resultados, os pesquisadores agora estão investigando como transformar este protótipo em um dispositivo não invasivo que pode ser colocado externamente no couro cabeludo ou ao redor da orelha. Eles também esperam melhorar e refinar ainda mais o algoritmo para que ele possa funcionar em uma gama mais ampla de ambientes.

"Até aqui, nós apenas testamos em um ambiente interno, "disse o Dr. Mesgarani." Mas queremos garantir que funcione tão bem em uma rua movimentada da cidade ou em um restaurante barulhento, para que onde quer que os usuários vão, eles podem experimentar completamente o mundo e as pessoas ao seu redor. "