Pesquisadores, de bioquímicos a cientistas materiais, há muito confiam na rica variedade de moléculas orgânicas para resolver desafios urgentes. Algumas moléculas podem ser úteis no tratamento de doenças, outros para iluminar nossos monitores digitais, ainda outros para pigmentos, tintas, e plásticos. As propriedades únicas de cada molécula são determinadas por sua estrutura, isto é, pela conectividade de seus átomos constituintes. Assim que uma estrutura promissora for identificada, Resta a difícil tarefa de fazer a molécula-alvo por meio de uma sequência de reações químicas. Mas quais?

Os químicos orgânicos geralmente trabalham de trás para frente da molécula alvo para os materiais de partida usando um processo chamado análise retrosintética. Durante este processo, o químico enfrenta uma série de decisões complexas e inter-relacionadas. Por exemplo, das dezenas de milhares de reações químicas diferentes, qual você deve escolher para criar a molécula alvo? Assim que essa decisão for tomada, você pode se encontrar com várias moléculas reagentes necessárias para a reação. Se essas moléculas não estiverem disponíveis para compra, então, como você seleciona as reações apropriadas para produzi-las? Escolher de forma inteligente o que fazer em cada etapa desse processo é fundamental para navegar pelo grande número de caminhos possíveis.

Pesquisadores da Columbia Engineering desenvolveram uma nova técnica baseada no aprendizado por reforço que treina um modelo de rede neural para selecionar corretamente a "melhor" reação em cada etapa do processo retrosintético. Esta forma de IA fornece uma estrutura para os pesquisadores projetarem sínteses químicas que otimizam os objetivos especificados pelo usuário, como o custo de síntese, segurança, e sustentabilidade. A nova abordagem, publicado em 31 de maio por ACS Central Science , tem mais sucesso (cerca de 60%) do que as estratégias existentes para resolver este problema de pesquisa desafiador.

"O aprendizado por reforço criou jogadores de computador que são muito melhores do que humanos em jogos de vídeo complexos. Talvez a retrosíntese não seja diferente! Este estudo nos dá esperança de que algoritmos de aprendizado por reforço serão talvez um dia melhores do que jogadores humanos no 'jogo' de retrosíntese, "diz Alán Aspuru-Guzik, professor de química e ciência da computação da Universidade de Toronto, que não estava envolvido com o estudo.

A equipe enquadrou o desafio do planejamento retrosintético como um jogo como xadrez e Go, onde o número combinatório de escolhas possíveis é astronômico e o valor de cada escolha incerto até que o plano de síntese seja concluído e seu custo avaliado. Ao contrário de estudos anteriores que usaram funções de pontuação heurísticas - regras práticas simples - para orientar o planejamento retrosintético, este novo estudo usou técnicas de aprendizado por reforço para fazer julgamentos com base na própria experiência do modelo neural.

"Somos os primeiros a aplicar o aprendizado por reforço ao problema da análise retrosintética, "diz Kyle Bishop, professor associado de engenharia química. "Partindo de um estado de completa ignorância, onde o modelo não sabe absolutamente nada sobre estratégia e aplica reações aleatoriamente, o modelo pode praticar e praticar até encontrar uma estratégia que supere uma heurística definida pelo homem. "

Em seu estudo, A equipe de Bishop se concentrou em usar o número de etapas de reação como a medida do que constitui uma "boa" via sintética. Eles tinham seu modelo de aprendizagem por reforço sob medida para sua estratégia com esse objetivo em mente. Usando a experiência simulada, a equipe treinou a rede neural do modelo para estimar o custo de síntese esperado ou o valor de qualquer molécula com base em uma representação de sua estrutura molecular.

A equipe planeja explorar diferentes objetivos no futuro, por exemplo, treinar o modelo para minimizar custos ao invés do número de reações, ou para evitar moléculas que podem ser tóxicas. Os pesquisadores também estão tentando reduzir o número de simulações necessárias para o modelo aprender sua estratégia, já que o processo de treinamento era bastante caro do ponto de vista computacional.

"Esperamos que nosso jogo de retrosíntese em breve siga o caminho do xadrez e Go, em que algoritmos autodidatas superam consistentemente os especialistas humanos, "Bishop observa." E nós aceitamos a competição. Tal como acontece com os programas de computador para jogar xadrez, a competição é o motor para melhorias no estado da arte, e esperamos que outros possam desenvolver nosso trabalho para demonstrar um desempenho ainda melhor. "

O estudo é intitulado "Aprendendo o planejamento retrosintético por meio de experiência simulada".