Em primeiro lugar científico, Os neuroengenheiros da Columbia criaram um sistema que traduz o pensamento em inteligível, discurso reconhecível. Ao monitorar a atividade cerebral de alguém, a tecnologia pode reconstruir as palavras que uma pessoa ouve com clareza sem precedentes. Esta descoberta, que aproveita o poder dos sintetizadores de voz e da inteligência artificial, pode levar a novas maneiras de os computadores se comunicarem diretamente com o cérebro. Também estabelece a base para ajudar as pessoas que não falam, como aqueles que vivem com esclerose lateral amiotrófica (ELA) ou se recuperando de um acidente vascular cerebral, recuperar sua capacidade de se comunicar com o mundo exterior.

Essas descobertas foram publicadas hoje em Relatórios Científicos .

"Nossas vozes ajudam a nos conectar com nossos amigos, família e o mundo ao nosso redor, é por isso que perder o poder da voz devido a uma lesão ou doença é tão devastador, "disse Nima Mesgarani, Ph.D., autor sênior do artigo e pesquisador principal do Instituto Mortimer B. Zuckerman Mind Brain Behavior da Universidade de Columbia. "Com o estudo de hoje, temos uma maneira potencial de restaurar esse poder. Nós mostramos isso, com a tecnologia certa, os pensamentos dessas pessoas podem ser decodificados e entendidos por qualquer ouvinte. "

Décadas de pesquisa mostraram que quando as pessoas falam - ou mesmo imaginam falar - padrões reveladores de atividade aparecem em seu cérebro. Padrões distintos (mas reconhecíveis) de sinais também surgem quando ouvimos alguém falar, ou imagine ouvir. Especialistas, tentando registrar e decodificar esses padrões, veja um futuro em que os pensamentos não precisem permanecer escondidos dentro do cérebro - mas, em vez disso, possam ser traduzidos em linguagem verbal à vontade.

Mas realizar essa façanha provou ser um desafio. Os primeiros esforços para decodificar sinais cerebrais pelo Dr. Mesgarani e outros se concentraram em modelos de computador simples que analisavam espectrogramas, que são representações visuais de frequências sonoras.

Mas, como essa abordagem não conseguiu produzir nada que se parecesse com a fala inteligível, A equipe do Dr. Mesgarani recorreu a um vocoder, um algoritmo de computador que pode sintetizar a fala após ser treinado em gravações de pessoas falando.

"Esta é a mesma tecnologia usada pelo Amazon Echo e Apple Siri para dar respostas verbais às nossas perguntas, "disse o Dr. Mesgarani, que também é professor associado de engenharia elétrica na Escola de Engenharia e Ciências Aplicadas da Fundação Fu de Columbia.

Para ensinar o vocoder a interpretar a atividade cerebral, Dr. Mesgarani se juntou a Ashesh Dinesh Mehta, MD, Ph.D., neurocirurgião do Northwell Health Physician Partners Neuroscience Institute e co-autor do artigo de hoje. Dr. Mehta trata de pacientes com epilepsia, alguns dos quais devem ser submetidos a cirurgias regulares.

"Trabalhando com o Dr. Mehta, pedimos a pacientes com epilepsia que já se submeteram a cirurgia cerebral para ouvir frases ditas por pessoas diferentes, enquanto medíamos os padrões de atividade cerebral, "disse o Dr. Mesgarani." Esses padrões neurais treinaram o vocoder. "

Próximo, os pesquisadores pediram aos mesmos pacientes para ouvir os falantes recitando dígitos entre 0 e 9, enquanto grava sinais cerebrais que podem então ser executados através do vocoder. O som produzido pelo vocoder em resposta a esses sinais foi analisado e limpo por redes neurais, um tipo de inteligência artificial que imita a estrutura dos neurônios no cérebro biológico.

O resultado final foi uma voz robótica recitando uma sequência de números. Para testar a precisão da gravação, O Dr. Mesgarani e sua equipe encarregaram indivíduos de ouvir a gravação e relatar o que ouviram.

"Descobrimos que as pessoas conseguiam entender e repetir os sons cerca de 75% das vezes, que está bem acima e além de todas as tentativas anteriores, "disse o Dr. Mesgarani. A melhoria na inteligibilidade foi especialmente evidente ao comparar as novas gravações com as anteriores, tentativas baseadas em espectrograma. "O sensível vocoder e as poderosas redes neurais representaram os sons que os pacientes ouviram originalmente com uma precisão surpreendente."

Dr. Mesgarani e sua equipe planejam testar palavras e frases mais complicadas a seguir, e querem fazer os mesmos testes em sinais cerebrais emitidos quando uma pessoa fala ou imagina falar. Em última análise, eles esperam que seu sistema possa fazer parte de um implante, semelhantes aos usados ​​por alguns pacientes com epilepsia, que traduz os pensamentos do usuário diretamente em palavras.

"Neste cenário, se o usuário pensa 'eu preciso de um copo de água, 'nosso sistema poderia receber os sinais cerebrais gerados por esse pensamento, e transformá-los em sintetizados, discurso verbal, "disse o Dr. Mesgarani." Isso seria uma virada de jogo. Daria a qualquer pessoa que perdeu a capacidade de falar, seja por lesão ou doença, a chance renovada de se conectar com o mundo ao seu redor. "

Este artigo é intitulado "Rumo à reconstrução da fala inteligível do córtex auditivo humano".