Pesquisadores da North Carolina State University, a University of North Carolina e a Arizona State University desenvolveram um sistema inteligente para "ajustar" próteses de joelhos elétricos, permitindo que os pacientes andem confortavelmente com o dispositivo protético em minutos, em vez das horas necessárias se o dispositivo for ajustado por um clínico treinado. O sistema é o primeiro a contar apenas com o aprendizado por reforço para ajustar a prótese robótica.

Quando um paciente recebe uma prótese de joelho robótica, o dispositivo precisa ser ajustado para acomodar aquele paciente específico. O novo sistema de ajuste ajusta 12 parâmetros de controle diferentes, abordando a dinâmica da prótese, como rigidez articular, ao longo de todo o ciclo da marcha.

Normalmente, um médico humano trabalha com o paciente para modificar alguns parâmetros. Isso pode levar horas. O novo sistema conta com um programa de computador que faz uso do aprendizado por reforço para modificar todos os 12 parâmetros. Ele permite que os pacientes usem uma prótese de joelho motorizada para andar em uma superfície nivelada em cerca de 10 minutos.

"Começamos dando a um paciente uma prótese de joelho motorizada com um conjunto de parâmetros selecionados aleatoriamente, "diz Helen Huang, co-autora de um artigo sobre a obra e professora titular do Departamento Conjunto de Engenharia Biomédica da NC State e da UNC. "Em seguida, fazemos o paciente começar a andar, sob circunstâncias controladas.

"Os dados sobre o dispositivo e a marcha do paciente são coletados por meio de um conjunto de sensores no dispositivo, "Huang diz." Um modelo de computador adapta parâmetros no dispositivo e compara a marcha do paciente ao perfil de uma marcha normal em tempo real. O modelo pode dizer quais configurações de parâmetro melhoram o desempenho e quais configurações prejudicam o desempenho. Usando aprendizagem por reforço, o modelo computacional pode identificar rapidamente o conjunto de parâmetros que permite ao paciente caminhar normalmente. Abordagens existentes, contando com médicos treinados, pode demorar meio dia. "

Enquanto o trabalho é feito atualmente de forma controlada, ambiente clínico, um objetivo seria desenvolver uma versão sem fio do sistema, o que permitiria aos usuários continuar ajustando os parâmetros da prótese elétrica ao serem usados ​​em ambientes do mundo real.

"Este trabalho foi feito para cenários em que um paciente está andando em uma superfície nivelada, mas em principio, também poderíamos desenvolver controladores de aprendizagem por reforço para situações como subir ou descer escadas, "diz Jennie Si, co-autor do artigo e professor de elétrica, computação e engenharia de energia na ASU.

"Eu tenho trabalhado no aprendizado por reforço da perspectiva do controle de sistema dinâmico, que leva em consideração o ruído do sensor, interferência do meio ambiente, e a demanda de segurança e estabilidade do sistema, "Si diz." Reconheci o desafio sem precedentes de aprender a controlar, em tempo real, um dispositivo protético que é afetado simultaneamente pelo usuário humano. Este é um problema de co-adaptação que não tem uma solução prontamente disponível a partir de projetos de controle clássicos ou da corrente, robôs controlados de aprendizagem de reforço de última geração. Estamos entusiasmados em descobrir que nosso algoritmo de controle de aprendizagem por reforço realmente aprendeu a fazer o dispositivo protético funcionar como parte de um corpo humano em um ambiente de aplicações tão empolgantes. "

Huang diz que os pesquisadores esperam tornar o processo ainda mais eficiente. "Por exemplo, achamos que podemos melhorar o processo identificando combinações de parâmetros com maior ou menor probabilidade de sucesso, e treinar o modelo para se concentrar primeiro nas configurações de parâmetros mais promissoras. "

Os pesquisadores observam que, embora este trabalho seja promissor, muitas questões precisam ser respondidas antes de estar disponível para uso generalizado.

"Por exemplo, o objetivo de ajuste da prótese neste estudo é atender ao movimento normativo do joelho ao caminhar, "Huang diz." Não consideramos outro desempenho de marcha (como simetria de marcha) ou a preferência do usuário. Para outro exemplo, nosso método de ajuste pode ser usado para ajustar o dispositivo fora das clínicas e laboratórios para tornar o sistema adaptável ao longo do tempo com a necessidade do usuário. Contudo, precisamos garantir a segurança no uso no mundo real, uma vez que erros no controle podem levar a tropeços e quedas. Testes adicionais são necessários para mostrar a segurança. "

Os pesquisadores também observam que, se o sistema provar ser eficaz e entrar em uso generalizado, provavelmente reduziria os custos para os pacientes, ao limitar a necessidade de eles fazerem visitas clínicas para trabalhar com os médicos.

O papel, "Controle de Aprendizado de Reforço Online para a Personalização de uma Prótese Robótica de Joelho, "é publicado na revista Transações IEEE na cibernética .