Os cientistas processaram 400 gigabytes de dados por segundo enquanto testavam os pipelines de dados para o telescópio Square Kilometer Array (SKA).

Pesquisadores do ICRAR em Perth, O Oak Ridge National Laboratory nos EUA e o Observatório Astronômico de Xangai na China usaram o supercomputador mais poderoso do mundo - Summit - para processar observações simuladas do Universo primitivo antes do radiotelescópio sendo construído na Austrália Ocidental e na África do Sul.

A taxa de dados alcançada foi o equivalente a mais de 1.600 horas de vídeos de definição padrão do YouTube a cada segundo.

Professor Andreas Wicenec, o diretor de Data Intensive Astronomy do International Center for Radio Astronomy Research (ICRAR), disse que foi a primeira vez que dados de radioastronomia foram processados ​​nesta escala.

"Até agora, não tínhamos ideia se poderíamos pegar um algoritmo projetado para processar dados provenientes dos radiotelescópios de hoje e aplicá-lo a algo mil vezes maior, " ele disse.

"Concluir este teste com sucesso nos diz que seremos capazes de lidar com o dilúvio de dados do SKA quando ele estiver online na próxima década.

"Mas, o fato de que precisamos do maior supercomputador do mundo para executar este teste com sucesso mostra que as necessidades do SKA existem no limite do que os supercomputadores de hoje são capazes de oferecer. "

O SKA de bilhões de dólares é um dos maiores projetos de ciência do mundo, com a parte de baixa frequência do telescópio definida para ter mais de 130, 000 antenas na fase inicial do projeto, gerando cerca de 550 gigabytes de dados por segundo.

A Summit está localizada no Laboratório Nacional de Oak Ridge, do Departamento de Energia dos EUA, no Tennessee.

É o supercomputador científico mais poderoso do mundo, com um desempenho máximo de 200, 000 trilhões de cálculos por segundo.

O engenheiro de software e pesquisador do Oak Ridge National Laboratory, Dr. Ruonan Wang, um ex-ICRAR Ph.D. aluna, disse que o enorme volume de dados usados ​​para o teste do SKA significava que os dados tinham que ser gerados na própria máquina.

"Usamos um simulador de software sofisticado, escrito por cientistas da Universidade de Oxford, e deu a ele um modelo cosmológico e a configuração de matriz do telescópio para que ele pudesse gerar dados como eles viriam do telescópio observando o céu, " ele disse.

"Normalmente, este simulador é executado em apenas um único computador, gerando apenas uma pequena fração do que o SKA produziria.

"Então, usamos outro software escrito por ICRAR, chamado de mecanismo de gráfico de fluxo ativado por dados (DALiuGE), distribuir um desses simuladores para cada um dos 27, 648 unidades de processamento gráfico que compõem a Summit.

"Também usamos o Adaptable IO System (ADIOS), desenvolvido no Oak Ridge National Laboratory, para resolver um gargalo causado pela tentativa de processar tantos dados ao mesmo tempo. "

O teste utilizou uma simulação cosmológica do Universo primitivo em uma época conhecida como a Época da Reionização, quando as primeiras estrelas e galáxias se formaram e se tornaram visíveis.

O professor Tao An, do Observatório Astronômico de Xangai, disse que a média dos dados foi reduzida para um tamanho 36 vezes menor.

"Os dados médios foram então usados ​​para produzir um cubo de imagem de um tipo que pode ser analisado por astrônomos, " ele disse.

"Finalmente, o cubo da imagem foi enviado para Perth, simulando o fluxo de dados completo do telescópio para os usuários finais. "

A construção do SKA está prevista para começar em 2021.