Um estudante da Escola de Ciência da Computação (SCS) da Universidade Carnegie Mellon usou o aprendizado por reforço para ajudar a controlar as reações de fusão nuclear, um passo significativo para aproveitar o imenso poder produzido na fusão nuclear como fonte de energia limpa e abundante.
Ian Char, doutorando no Departamento de Aprendizado de Máquina, usou aprendizado por reforço para controlar o plasma de hidrogênio da máquina tokamak no DIII-D National Fusion Facility em San Diego. Ele foi o primeiro pesquisador da CMU a realizar um experimento nas máquinas procuradas, o primeiro a usar o aprendizado por reforço para afetar a rotação de um plasma tokamak e a primeira pessoa a tentar o aprendizado por reforço na maior máquina tokamak em operação nos Estados Unidos. . Char colaborou com o Princeton Plasma Physics Laboratory (PPPL) no trabalho.

"A aprendizagem por reforço afetou a pressão do plasma e sua rotação", disse Char. "E essa é realmente a nossa grande estreia aqui."

A fusão nuclear acontece quando os núcleos de hidrogênio se quebram ou se fundem. Esse processo libera uma enorme quantidade de energia, mas continua sendo um desafio manter os níveis necessários para colocar eletricidade na rede. Os núcleos de hidrogênio só se fundirão sob temperaturas e pressões extremamente altas, como as encontradas no centro do sol, onde a fusão nuclear ocorre naturalmente. Os físicos também conseguiram a fusão nuclear em armas termonucleares, mas estas não são úteis como fontes de energia.

Outro método para produzir a fusão nuclear usa campos magnéticos para conter um plasma de hidrogênio na temperatura e pressão necessárias para fundir os núcleos. Esse processo acontece dentro de um tokamak – uma máquina enorme que usa campos magnéticos para confinar o plasma de hidrogênio em uma forma de rosquinha chamada toro. Conter o plasma e manter sua forma requer centenas de micromanipulações para os campos magnéticos e explosões de partículas de hidrogênio adicionais.

Existem poucos tokamaks de grande escala operando no mundo que podem facilitar esse tipo de pesquisa, e o tempo para fazer experimentos com eles é cobiçado. A DIII-D National Fusion Facility é a única em operação nos Estados Unidos.

A DeepMind, uma subsidiária de inteligência artificial da Alphabet, empresa controladora do Google, foi a primeira a usar o aprendizado por reforço para controlar o campo magnético que contém a reação de fusão. O laboratório manteve com sucesso o plasma estável e o esculpiu em diferentes formas. A DeepMind realizou seu experimento no Variable Configuration Tokamak (TCV) em Lausanne, Suíça, e publicou suas descobertas em fevereiro na Nature .

Char foi o primeiro a realizar um experimento de aprendizado por reforço semelhante no DIII-D. O aprendizado por reforço usa dados de tentativas anteriores para alcançar um resultado ideal. Durante o experimento de Char, algoritmos de aprendizado de reforço examinaram dados históricos e em tempo real para variar e controlar a velocidade de rotação do plasma em busca de estabilidade ideal.

O donut de plasma gira quando partículas de hidrogênio adicionais são lançadas nele. Variar a velocidade dessas partículas de tiro pode estabilizar o plasma e torná-lo mais fácil de conter. Char usou dois algoritmos de aprendizado para seu experimento. Em um, ele usou dados do tokamak coletados ao longo de vários anos para treiná-lo sobre como o plasma reage. O segundo algoritmo observa a condição do plasma e então decide em que taxa e direção disparar as partículas adicionais para afetar sua velocidade.

"O objetivo de curto prazo é dar aos físicos as ferramentas para causar essa rotação diferencial para que eles possam fazer os experimentos para tornar esse plasma mais estável", disse Jeff Schneider, professor de pesquisa no Robotics Institute e Ph.D de Char. conselheiro. "A longo prazo, este trabalho mostra um caminho para usar o aprendizado de reforço para controlar outras partes do estado do plasma e, finalmente, atingir as temperaturas e pressões por tempo suficiente para ter uma usina de energia. Isso significaria energia ilimitada e limpa para todos."

Char apresentou o projeto para o DIII-D, que é uma instalação de usuários do Departamento de Energia dos EUA, gerenciada pela General Atomics, no ano passado e recebeu um intervalo de três horas para executar seus algoritmos em 28 de junho. Sentado na sala de controle do a enorme instalação DIII-D e cercado por operadores, Char carregou seus algoritmos.

Char demonstrou que seus algoritmos podiam controlar a velocidade de rotação do plasma. Esta foi a primeira vez que o aprendizado por reforço foi usado para controlar a rotação. Alguns problemas surgiram durante a sessão de controle e mais testes são necessários. Char retornou ao DIII-D no final de agosto para continuar seu trabalho.

“Ian mostrou uma tremenda capacidade de digerir os problemas de controle específicos do dispositivo de fusão e a física do plasma que o sublinha”, disse Egemen Kolemen, professor associado do Departamento de Engenharia Mecânica e Aeroespacial da Universidade de Princeton e um dos colaboradores de Char no PPPL. "É uma grande conquista aplicar a teoria que ele aprendeu na CMU a um problema real de fusão e liderar um experimento em uma instalação nacional de fusão. Esse trabalho normalmente requer anos de treinamento em física e engenharia de plasma." + Explorar mais

EPFL e DeepMind usam IA para controlar plasmas para fusão nuclear