Uma abordagem de aprendizado profundo originalmente projetada para ensinar os computadores a jogar videogames melhor do que os humanos poderia ajudar no desenvolvimento de tratamento médico personalizado para sepse, uma doença que causa cerca de 300, 000 mortes por ano e para as quais não existe cura conhecida.

Laboratório Nacional Lawrence Livermore (LLNL), em colaboração com pesquisadores da Universidade de Vermont, está explorando como a aprendizagem por reforço profundo pode descobrir estratégias de drogas terapêuticas para sepse usando uma simulação do sistema imunológico inato de um paciente como uma plataforma para experimentos virtuais. Aprendizado de reforço profundo é uma abordagem de aprendizado de máquina de última geração desenvolvida originalmente pelo Google DeepMind para ensinar uma rede neural a jogar videogames, dados apenas pixels como entrada e a pontuação do jogo como um sinal de aprendizagem. Os algoritmos geralmente excedem o desempenho humano, apesar de não ter recebido nenhum conhecimento sobre a mecânica do jogo.

A abordagem de aprendizado profundo do LLNL trata a simulação do sistema imunológico desenvolvida por seus colaboradores como um videogame. Usando resultados da simulação, uma "pontuação" com base na saúde do paciente e um algoritmo de otimização, a rede neural aprende como manipular 12 diferentes mediadores de citocinas - reguladores do sistema imunológico - para conduzir a resposta imunológica à infecção de volta aos níveis normais. A pesquisa aparece em um artigo publicado pela International Conference on Machine Learning.

"É um sistema complexo, "disse o pesquisador do LLNL Dan Faissol, investigador principal do projeto. "As investigações anteriores foram baseadas na manipulação de um único mediador / citocina, geralmente administrado com uma dose única ou em um curso muito curto. Acreditamos que nossa abordagem tem um grande potencial porque explora muito mais complexos, estratégias terapêuticas prontas para usar que tratam cada paciente de maneira diferente com base nas medições do paciente ao longo do tempo. "

A estratégia de tratamento que os pesquisadores propõem é adaptativa e personalizada, melhorando-se em um ciclo de feedback, observando continuamente os níveis de citocinas e prescrevendo medicamentos específicos para cada paciente. Cada execução da simulação representa um tipo diferente de paciente e diferentes condições iniciais de infecção.

"O desafio era manter as coisas clinicamente relevantes, "explicou o pesquisador do LLNL Brenden Petersen, o líder técnico do projeto. "Tínhamos que garantir que todos os aspectos do problema simulado fossem relevantes no mundo real - que o computador não estivesse usando nenhuma informação que não estaria realmente disponível em um hospital. nós apenas fornecemos à rede neural informações que podem realmente ser medidas clinicamente, como os níveis de citocinas e contagens de células em uma coleta de sangue. "

Usando o modelo baseado em agente com aprendizado por reforço profundo, os pesquisadores identificaram uma política de tratamento que atinge uma taxa de sobrevivência de 100 por cento para os pacientes nos quais foi treinada, e menos de 1 por cento de mortalidade em 500 pacientes selecionados aleatoriamente.

"A simulação é de natureza mecanicista, o que significa que podemos experimentar virtualmente drogas e combinações de drogas que não foram testadas antes para ver se elas podem ser promissoras, "Disse Faissol." O número de estratégias de tratamento possíveis é enorme, especialmente quando se considera estratégias multidrogas que variam ao longo do tempo. Sem usar simulação, não há como avaliar todos eles. A parte difícil é descobrir uma estratégia que funcione para todos os tipos de pacientes. A infecção de cada pessoa é diferente, e o corpo de cada pessoa é diferente. "

A pesquisa da equipe mostrou que essa abordagem adaptativa pode levar a novos insights, e os pesquisadores esperam convencer outros a adotar a abordagem na sepse e outras doenças.

"Nosso grande, a visão de longo prazo é um sistema de cabeceira de 'circuito fechado', onde as medições de um paciente são inseridas em uma ferramenta de suporte à decisão, que então administra os medicamentos corretos nas doses corretas nos momentos corretos, "Petersen disse." Tais estratégias de tratamento primeiro teriam que ser examinadas e ajustadas em modelos de laboratório úmido e animais, eventualmente informando tratamentos reais. "

Petersen disse que a maior parte do hardware para executar esse sistema de loop fechado já existe, como acontece com sistemas mais simples, como bombas de insulina que monitoram constantemente o sangue e administram insulina na hora certa.

A abordagem de aprendizado por reforço profundo do Lab ainda precisa ser testada no mundo real, mas com base no sucesso usando a simulação, o National Institutes of Health concedeu aos pesquisadores do LLNL e da University of Vermont uma bolsa de cinco anos para continuar o trabalho, principalmente na sepse, mas também no câncer.

"Este é um projeto empolgante, "disse Gary An, médico intensivista da Universidade de Vermont e cientista computacional que desenvolveu a versão original da simulação de sepse. "Este é um projeto incrivelmente novo que reúne três áreas de ponta da pesquisa computacional:simulações de alta resolução em escala múltipla de processos biológicos, extensão do aprendizado de reforço profundo para a pesquisa biomédica e o uso da computação de alto desempenho para reunir tudo. "

O diretor de Bioengenharia do LLNL, Shankar Sundaram, descreveu a abordagem como "um exemplo ilustrativo do laboratório contribuindo para o desenvolvimento de uma solução terapêutica potencial para um problema de saúde complexo crítico para nossa missão de biossegurança, aplicando e aprimorando nossos recursos de última geração em aprendizado de máquina científico e visando melhor causalidade, compreensão mecanicista. "

Os pesquisadores do LLNL também iniciaram uma colaboração com o Moffitt Cancer Center na Flórida para ver se uma abordagem semelhante poderia aprender estratégias eficazes de terapia medicamentosa usando uma simulação de câncer. Moffitt lançou uma versão de videogame de sua simulação chamada "Cancer Crusade" que roda em telefones celulares.

"Uma estratégia é crowdsource o aprendizado, analisando os tratamentos registrados dos jogadores com maior pontuação em todo o mundo, "Petersen disse." Nós aplicamos nossa abordagem de aprendizado profundo e queremos ver como nossos tratamentos computados se comparam aos melhores jogadores - um confronto 'homem contra máquina'. "

O projeto de sepse também levou a um novo esforço no LLNL pesquisando estratégias de defesa cibernética adaptativas e autônomas usando simulação e aprendizado por reforço profundo.