Por quase três décadas, cientistas e engenheiros de todo o mundo trabalharam no Square Kilometer Array (SKA), um projeto focado em projetar e construir o maior radiotelescópio do mundo. Embora o SKA colete enormes quantidades de dados astronômicos precisos em tempo recorde, avanços científicos só serão possíveis com sistemas capazes de processar esses dados com eficiência.

Como a construção do SKA não está programada para começar até 2021, os pesquisadores não conseguem coletar dados observacionais suficientes para praticar a análise das enormes quantidades que os especialistas antecipam que o telescópio produzirá. Em vez de, uma equipe do Centro Internacional de Pesquisa em Radioastronomia (ICRAR) na Austrália, o Laboratório Nacional Oak Ridge (ORNL) do Departamento de Energia (DOE) nos Estados Unidos, e o Observatório Astronômico de Xangai (SHAO) na China recentemente usaram o Summit, o supercomputador mais poderoso do mundo, para simular a saída esperada do SKA. A Summit está localizada no Oak Ridge Leadership Computing Facility, um DOE Office of Science User Facility em ORNL.

"O supercomputador Summit forneceu uma oportunidade única de testar um fluxo de dados SKA simples na escala que esperamos do conjunto de telescópios, "disse Andreas Wicenec, diretor de Data Intensive Astronomy do ICRAR.

Para processar os dados simulados, a equipe contou com o Adaptable IO System (ADIOS) desenvolvido por ORNL, uma estrutura de entrada / saída (I / O) de código aberto liderada por Scott Klasky do ORNL, que também lidera o grupo de dados científicos do laboratório. ADIOS é projetado para acelerar simulações, aumentando a eficiência das operações de I / O e para facilitar as transferências de dados entre sistemas de computação de alto desempenho e outras instalações, o que de outra forma seria uma tarefa complexa e demorada.

A simulação do SKA na Summit marca a primeira vez que dados de radioastronomia foram processados ​​em uma escala tão grande e prova que os cientistas têm experiência, ferramentas de software, e recursos de computação que serão necessários para processar e entender os dados reais do SKA.

"O grupo de dados científicos se dedica a pesquisar tecnologia de última geração que pode ser desenvolvida e implantada para os aplicativos mais exigentes cientificamente nos computadores mais rápidos do mundo, "Klasky disse." Estou orgulhoso de todo o trabalho árduo que a equipe ADIOS e os cientistas do SKA fizeram com o ICRAR, ORNL, e SHAO. "

Usando dois tipos de receptores de rádio, o telescópio detectará ondas de luz de rádio emanando de galáxias, os arredores dos buracos negros, e outros objetos de interesse no espaço sideral para ajudar os astrônomos a responder a questões fundamentais sobre o universo. Estudando esses fracos, ondas elusivas requerem um exército de antenas.

A primeira fase do SKA terá mais de 130, 000 de baixa frequência, antenas em forma de cone localizadas na Austrália Ocidental e cerca de 200 de maior frequência, antenas em forma de prato localizadas na África do Sul. A equipe internacional do projeto irá eventualmente gerenciar cerca de um milhão de antenas para conduzir estudos sem precedentes de fenômenos astronômicos.

Para emular a parte da Austrália Ocidental do SKA, os pesquisadores executaram dois modelos na Summit - um do conjunto de antenas e um do universo primitivo - por meio de um simulador de software projetado por cientistas da Universidade de Oxford que imita a coleta de dados do SKA. As simulações geraram 2,6 petabytes de dados a 247 gigabytes por segundo.

"Gerar uma quantidade tão grande de dados com o simulador de conjunto de antenas requer muita energia e milhares de unidades de processamento gráfico para funcionar corretamente, "disse o engenheiro de software do ORNL Ruonan Wang." A Summit é provavelmente o único computador no mundo que pode fazer isso. "

Embora o simulador normalmente seja executado em um único computador, a equipe usou uma ferramenta especializada de gerenciamento de fluxo de trabalho que Wang ajudou a ICRAR a desenvolver, chamada Data Activated Flow Graph Engine (DALiuGE) para dimensionar de forma eficiente a capacidade de modelagem em até 4, 560 nós de computação no Summit. DALiuGE tem tolerância a falhas embutida, garantindo que pequenos erros não impeçam o fluxo de trabalho.

"O problema com os recursos tradicionais é que um problema pode fazer com que todo o trabalho desmorone, "Disse Wang. Wang obteve seu doutorado na University of Western Australia, que administra o ICRAR junto com a Curtin University.

O intenso fluxo de dados das simulações de array resultou em um gargalo de desempenho, que a equipe resolveu reduzindo, em processamento, e armazenar os dados usando ADIOS. Os pesquisadores geralmente conectam o ADIOS diretamente no subsistema de E / S de um determinado aplicativo, mas o software incomumente complicado do simulador significava que a equipe teve que personalizar um módulo de plug-in para tornar os dois recursos compatíveis.

"Isso era muito mais complexo do que um aplicativo normal, "Disse Wang.

Wang começou a trabalhar no ADIOS1, a primeira iteração da ferramenta, 6 anos atrás durante seu tempo no ICRAR. Agora, ele atua como um dos principais desenvolvedores da versão mais recente, ADIOS2. Sua equipe tem como objetivo posicionar o ADIOS como um recurso de armazenamento superior para a próxima geração de dados astronômicos e a solução de E / S padrão para futuros telescópios além do escopo gigantesco do SKA.

"Quanto mais rápido pudermos processar os dados, melhor podemos entender o universo, " ele disse.