Aquecimento, ventilação, e sistemas de ar condicionado - chamados de sistemas HVAC - podem ser um equilíbrio delicado. Existem muitos fatores a serem considerados, do fluxo de ar entre os quartos ao efeito do calor do corpo humano. Na década passada, pesquisadores recorreram ao aprendizado de máquina para otimizar esses sistemas. Com controladores mais inteligentes, os edifícios podem economizar energia sem sacrificar o conforto.

Atualmente, existem duas abordagens principais para o problema. Na primeira abordagem, o controlador usa um modelo detalhado do edifício para gerenciar seus sistemas. Contudo, o modelo exige muito esforço para ser criado. "Um modelo muito bom de edifício é difícil de fazer, difícil de manter, e não escala, "diz Mario Bergés, professor de engenharia civil e ambiental. "Os edifícios não são todos iguais, então você tem que criar um modelo para cada edifício. "

A outra abordagem envolve a geração de grandes quantidades de dados, o que permite que o controlador se adapte a diferentes sistemas de construção. Nesse caso, o principal obstáculo é quanto tempo leva. "Você precisaria de cerca de 40 anos de dados de simulação para um edifício relativamente complexo, "Bergés diz." No mundo real, você não pode simplesmente passar 40 anos tentando descobrir como controlar um edifício. "

Para enfrentar esses desafios, Bergés trabalhou com Ph.D. aluno Bingqing Chen e um colaborador da Dell. Eles desenvolveram uma nova solução, Gnu-RL, que incorpora o melhor de ambas as abordagens.

Primeiro, O Gnu-RL conclui o pré-treinamento offline usando dados históricos. Os sistemas HVAC já têm controles, então o Gnu-RL aprende a copiá-los. Desta maneira, evita as complicações de modelos precisos e grandes quantidades de dados. "Só precisa de dados históricos, que já temos muito, "Chen diz.

Assim que o pré-treinamento for concluído, O Gnu-RL pode imitar o controlador anterior de forma confiável. Próximo, é ensinado a se adaptar e se tornar melhor. Bergés e Chen aplicaram uma política de controle preditivo modelo diferenciável (MPC) recentemente desenvolvida. Esta política recompensa o agente por maximizar a recompensa e minimizar custos, e o agente se ajusta de acordo até atingir os controles ideais para o sistema HVAC. Esse método é chamado de aprendizado por reforço - é por isso que a solução tem RL no final do nome.

A primeira parte do nome, por outro lado, vem de uma fonte menos convencional. Um gnu é um grande, antílope escuro da África. Esses animais são incrivelmente precoces, o que significa que eles nascem em um estado relativamente avançado. "Eles podem fugir de predadores no mesmo dia em que nascem, "Chen diz." E o Gnu-RL controla razoavelmente bem no início. "Essa semelhança tornou o nome uma escolha natural.

Bergés e Chen confirmam essa comparação com dois testes. O primeiro teste foi realizado com uma simulação do local de trabalho inteligente no topo da Margaret Morrison. "Tivemos uma melhora de 40 anos para quatro semanas em termos de tempo de treinamento, "Bergés diz." E também mostramos uma melhoria de cerca de 6% na economia de energia sem sacrificar o conforto. "

Bergés e Chen ficaram tão encorajados com os resultados da simulação que decidiram aplicar o Gnu-RL a um cenário do mundo real. Por três semanas, eles deixaram o Gnu-RL controlar o fluxo de ar de uma sala de conferências no Gates Center. Os resultados deste teste foram igualmente promissores. "Aprendeu como imitar o controlador existente, "Bergés diz." Então, além disso, aprendeu a pré-resfriar o espaço e fornecer conforto antes que as pessoas chegassem, que é algo que o controlador existente não estava fazendo. "

Contudo, enquanto seu trabalho é emocionante, Bergés e Chen querem agradecer o trabalho dos pesquisadores que os precederam. “Nossa contribuição é um aplicativo, então estamos construindo sobre o trabalho de outros, "Chen diz. Principalmente, Gnu-RL adotou a política de MPC diferenciável desenvolvida por Brandon Amos e Zico Kolter. Esta política permitiu que o Gnu-RL fosse eficiente e flexível.

Bergés e Chen apresentaram seu artigo sobre Gnu-RL no 6 ^º Conferência Internacional ACM sobre Sistemas para Edifícios Eficientes em Energia, Cidades, e Transporte (BuildSys 2019). A conferência aconteceu na cidade de Nova York nos dias 13 e 14 de novembro.

Olhando para o futuro, Bergés e Chen acreditam que ainda há espaço para o crescimento do Gnu-RL. "Temos analisado cenários relativamente simples, "Bergés diz." Pode haver complicações enquanto tentamos controlar edifícios muito mais complexos, então essa ainda é uma questão em aberto. Mas, pelo menos, estamos apontando para uma direção que é nova e que pode estimular muitas pesquisas sobre como resolver esse problema. "