O ditado moderno "trabalhe de maneira mais inteligente, não mais difícil "enfatiza a importância de não apenas trabalhar para produzir, mas também fazendo uso eficiente dos recursos.

E não é algo que os supercomputadores fazem bem o tempo todo, especialmente quando se trata de gerenciar grandes quantidades de dados.

Mas uma equipe de pesquisadores do Departamento de Ciência da Computação da Faculdade de Engenharia da Virginia Tech está ajudando os supercomputadores a trabalhar com mais eficiência de uma maneira nova, usando o aprendizado de máquina para distribuir adequadamente, ou balanceamento de carga, tarefas de processamento de dados em milhares de servidores que compõem um supercomputador.

Ao incorporar o aprendizado de máquina para prever não apenas tarefas, mas tipos de tarefas, pesquisadores descobriram que a carga em vários servidores pode ser mantida equilibrada em todo o sistema. A equipe apresentará sua pesquisa no Rio de Janeiro, Brasil, no 33º Simpósio Internacional de Processamento Paralelo e Distribuído em 22 de maio, 2019.

Os sistemas atuais de gerenciamento de dados em supercomputação dependem de abordagens que atribuem tarefas em rodízio aos servidores, independentemente do tipo de tarefa ou da quantidade de dados que sobrecarregará o servidor. Quando a carga nos servidores não é balanceada, sistemas ficam atolados por retardatários, e o desempenho é severamente degradado.

"Os sistemas de supercomputação são arautos da competitividade americana em computação de alto desempenho, "disse Ali R. Butt, professor de ciência da computação. "Eles são cruciais não apenas para alcançar avanços científicos, mas também para manter a eficácia dos sistemas que nos permitem conduzir os negócios de nossas vidas diárias, desde o uso de serviços de streaming para assistir a filmes até o processamento de transações financeiras online e sistemas de previsão do tempo usando modelagem climática. "

Para implementar um sistema de aprendizado de máquina, a equipe construiu um novo plano de controle ponta a ponta que combinava os pontos fortes centrados no aplicativo das abordagens do lado do cliente com os pontos fortes centrados no sistema das abordagens do lado do servidor.

"Este estudo foi um salto gigantesco no gerenciamento de sistemas de supercomputação. O que fizemos deu à supercomputação um aumento de desempenho e provou que esses sistemas podem ser gerenciados de maneira inteligente e econômica por meio do aprendizado de máquina, "disse Bharti Wadhwa, primeiro autor no artigo e um Ph.D. candidato no Departamento de Ciência da Computação. "Oferecemos aos usuários a capacidade de projetar sistemas sem incorrer em muitos custos."

A nova técnica deu à equipe a capacidade de ter "olhos" para monitorar o sistema e permitiu que o sistema de armazenamento de dados aprendesse e preveja quando cargas maiores podem estar chegando ao pico ou quando a carga se torna muito grande para um servidor. O sistema também fornecia informações em tempo real de forma independente do aplicativo, criando uma visão global do que estava acontecendo no sistema. Anteriormente, os servidores não podiam aprender e os aplicativos de software não eram ágeis o suficiente para serem personalizados sem um grande redesenho.

"O algoritmo previu as solicitações futuras de aplicativos por meio de um modelo de série temporal, "disse Arnab K. Paul, segundo autor e Ph.D. candidato também no Departamento de Ciência da Computação. "Essa capacidade de aprender com os dados nos deu uma oportunidade única de ver como poderíamos fazer solicitações futuras com balanceamento de carga."

O sistema de ponta a ponta também permitiu uma capacidade sem precedentes para os usuários se beneficiarem da configuração com balanceamento de carga sem alterar o código-fonte. Nos sistemas de supercomputador tradicionais atuais, este é um procedimento caro, pois requer que a base do código do aplicativo seja alterada

“Foi um privilégio contribuir para o campo da supercomputação com esta equipe, "disse Sarah Neuwirth, um pesquisador de pós-doutorado do Instituto de Engenharia da Computação da Universidade de Heidelberg. "Para que a supercomputação evolua e atenda aos desafios de uma sociedade do século 21, precisaremos liderar esforços internacionais como este. Meu próprio trabalho com sistemas de supercomputação comumente usados ​​se beneficiou muito com este projeto. "

O plano de controle ponta a ponta consistia em servidores de armazenamento publicando suas informações de uso no servidor de metadados. Um modelo de série temporal de média móvel integrado autoregressivo foi usado para prever solicitações futuras com aproximadamente 99 por cento de precisão e foi enviado ao servidor de metadados para mapear para servidores de armazenamento usando algoritmo de gráfico de fluxo máximo de custo mínimo.