A Earth System Grid Federation, uma iniciativa de várias agências que reúne e distribui dados para projeções de alto nível do clima da Terra, está preparando uma série de atualizações que tornarão o uso dos dados mais fácil e rápido, melhorando a forma como as informações são curadas.
A federação, liderada pelo Laboratório Nacional Oak Ridge do Departamento de Energia em colaboração com os laboratórios nacionais Argonne e Lawrence Livermore, é parte integrante de algumas das projeções mais importantes, impactantes e amplamente respeitadas do clima futuro da Terra:aquelas feitas por cientistas que trabalham com o Projetos de Intercomparação de Modelos Acoplados para o Programa Mundial de Pesquisa Climática.

"Os dados ESGF são sobre o futuro da vida na Terra", disse Hoffman. “Ao fornecer aos cientistas acesso fácil à coleção completa de modelos internacionais, o ESGF permite que eles façam a melhor estimativa sobre a trajetória futura do nosso clima”.

Uma missão-chave do ESGF é apoiar as necessidades de dados dos cientistas que preparam as avaliações climáticas abrangentes do Painel Intergovernamental das Nações Unidas sobre Mudanças Climáticas, divulgadas a cada seis a sete anos. Os dados do ESGF sustentam os relatórios de referência do IPCC, como o recente Sexto Relatório de Avaliação, AR6, e suas conclusões do grupo de trabalho. Os dados também informam relatórios especiais do IPCC focados em vulnerabilidades climáticas, cenários de adaptação e estratégias de mitigação.

Outro aspecto importante da missão do ESGF é garantir que a investigação científica seja transparente, colaborativa e reprodutível, dado seu impacto direto na pesquisa climática mundial e seu uso potencial na tomada de decisões.

“Todos os dados do modelo do sistema terrestre que entram nos relatórios do IPCC e todas as simulações mais importantes do clima de todo o mundo são armazenados no ESGF e disponibilizados pelos serviços que fornecemos”, disse Forrest Hoffman, líder do ESGF. e o grupo de Ciências Computacionais da Terra do ORNL. “A federação coloca os dados nas mãos de dezenas de milhares de pesquisadores que os analisam e os comparam com dados observacionais para atualizar constantemente nossas melhores projeções do futuro”.

Em uma nova iteração do projeto ESGF, cientistas computacionais estão trabalhando para melhorar a descoberta, acesso e armazenamento de dados. O trabalho contará com as mais recentes ferramentas de software, recursos de computação em nuvem, os supercomputadores mais poderosos do mundo e a Energy Sciences Network do DOE, ou ESnet. A ESnet atualmente permite taxas de transferência de 100 gigabit por segundo entre laboratórios nacionais e conexões com universidades e centros de pesquisa nacionais e internacionais. Uma atualização prevista para o final do ano aumentará as taxas de transferência de ESnet para até 400 Gbps.

“Desenvolveremos e implantaremos um sistema totalmente novo, modernizado e cibernético para distribuir dados de saída do modelo para a comunidade científica”, disse Hoffman.

A federação opera como uma rede de grandes nós de computadores hospedados nos Estados Unidos e em 17 outros países, funcionando em conjunto como um grande arquivo de dados. ORNL, ANL e LLNL estão trabalhando para melhorar a confiabilidade e a escalabilidade do sistema, fornecendo um processo de replicação de dados suave que garante que a comunidade científica mais ampla tenha acesso aos dados de todos os parceiros do ESGF. O ORNL e o ANL também hospedarão um backup duplo dos mais de 10 petabytes (e contando) de dados e modelos cumulativos ESGF, aproveitando os sistemas de computação de classe mundial hospedados nos laboratórios.

Desenvolver interfaces de usuário robustas e arquivos seguros e confiáveis ​​

O projeto de atualização de vários anos já replicou os dados existentes e está fornecendo os serviços computacionais e de armazenamento necessários para gerar dados dinamicamente para a comunidade de usuários enquanto cria novas infraestruturas e serviços. A ESGF criou um roteiro para orientar seu trabalho de desenvolvimento.

ORNL traz experiência substancial com grandes centros de dados e modelagem e simulação em larga escala para seu papel de liderança no ESGF. O laboratório abriga o Oak Ridge Leadership Computing Facility, uma instalação de usuários do DOE Office of Science cujo sistema de computação Frontier exascale foi recentemente classificado como o mais rápido do mundo, bem como o Climate Change Science Institute, que reúne especialistas em dados, modeladores e experimentalistas para acelerar a compreensão das mudanças climáticas e seus impactos.

“O ORNL está na posição única de conhecer big data e também saber sobre clima e servir como host para data centers muito grandes e as interfaces que tornam essas informações facilmente acessíveis por cientistas de todo o mundo”, disse Hoffman.

O Argonne Leadership Computing Facility empresta seus recursos exclusivos, bem como o sistema de gerenciamento de dados de pesquisa Globus, operado para a comunidade de pesquisa pela Universidade de Chicago, à federação. Os serviços Globus serão usados ​​no ESGF atualizado para autenticação e para indexação, acesso e replicação de dados.

“Os terabytes e petabytes gerados pelos modelos climáticos de hoje exigem novas abordagens para gerenciamento e análise de dados”, disse Ian Foster, líder da ANL para o projeto. "Vamos permitir não apenas o download mais rápido de subconjuntos de dados, mas também análises de dados anteriormente inviáveis ​​em supercomputadores ANL e ORNL." ALCF é uma instalação de usuário do DOE Office of Science.

Lawrence Livermore também traz para a ESGF uma riqueza de conhecimentos e capacidades de computação e data center de alto desempenho, tecnologias criativas e soluções de software, além de sua experiência como líder inicial da ESGF.

"As atualizações tornarão mais fácil e rápido para os usuários acessarem os dados que podem nos ajudar a entender melhor como será o clima no futuro", disse Sasha Ames, líder do LLNL para a federação. + Explorar mais

Novo relatório busca garantir sustentabilidade hidrelétrica em meio às mudanças climáticas