Há uma piada do comediante Steven Wright que diz, "Você não pode ter tudo. Onde você colocaria?"

Os usuários de computação avançada provavelmente podem se relacionar com isso. O crescimento exponencial dos dados representa um grande desafio aos esforços para seu armazenamento confiável. Por mais de 12 anos, o sistema Ranch no Texas Advanced Computing Center (TACC) forneceu arquivamento de longo prazo de dados de pesquisa que vão desde astrofísica até ciência do clima e física de partículas, e mais. Uma nova atualização de hardware e software traz boas notícias para mais de 52, 000 usuários do sistema de armazenamento de dados em massa de longo prazo Ranch da TACC.

Os arquivos são valiosos para cientistas que desejam usar os dados para ajudar a reproduzir as medições e resultados de pesquisas anteriores. A reprodutibilidade computacional é uma parte do conceito mais amplo de reprodutibilidade científica, que constitui a pedra angular do método científico.

O TACC se esforça para apoiar de forma abrangente as necessidades de dados dos cientistas. Os sistemas de computação locais, como Stampede2 e Lonestar, fornecem um espaço de rascunho de alta velocidade dedicado ao armazenamento temporário de dados. Em seguida na escada estão os sistemas de coleta de dados voltados para a frente de Stockyard e Corral, que fornecem um armazenamento combinado de 50 petabytes diretamente acessível por meio de conexões da web de alta velocidade ou a grade de dados iRODS. Rancho, por outro lado, permite o arquivamento de dados de longo prazo por meses a anos.

Em abril de 2019, Ranch armazena mais de 70 petabytes, ou 70 milhões de gigabytes de dados científicos. Mais de 52, 000 usuários carregaram cerca de 1,7 bilhão de arquivos de computador na antiga biblioteca do Ranch que está sendo atualizada. Hipoteticamente, as novas atualizações do Ranch podem expandir seu armazenamento para atingir um exabyte alucinante, ou 1, 000 petabytes.

"Para usuários, mais dados estarão mais prontamente disponíveis, com 15 vezes mais cache de disco do que tínhamos no sistema Ranch anterior, "disse Tommy Minyard, diretor de Sistemas de Computação Avançada da TACC. Dados recentes gerados a partir de supercomputadores TACC, como Stampede2, Estrela Solitária, ou Maverick é encenado primeiro no disco giratório e drives flash do Ranch, em seguida, mudou-se para as fitas.

Ranch foi atualizado com um sistema de armazenamento em bloco fornecido pela DataDirect Networks, o DDN SFA14K DCR, que fornece 30 petabytes de cache de disco giratório, contra apenas dois no hardware substituído. "Isso significa que poderemos manter muito mais dados preparados em discos para que possam ser recuperados mais rapidamente e você não precise recuperá-los da fita, "Minyard adicionado.

Outra mudança bem-vinda no Ranch vem da empresa Quantum, que forneceu uma biblioteca de fitas Scalar i6000 com o sistema de arquivos de arquivamento Quantum StorNext que coordena o armazenamento em disco e fita. "Escolhemos o sistema Quantum com base em sua capacidade e flexibilidade, "disse Junseong Heo, administrador e gerente sênior de sistemas, Grupo de Sistemas de Grande Escala do Grupo de Sistemas de Computação Avançada da TACC.

"Especificamente, Quantum fornece um mecanismo de controle de cota que permite ao TACC fornecer uma área de projeto baseada em alocação para os usuários, "Heo acrescentou. Isso significa que os usuários podem ter acesso muito mais fácil aos dados e supervisionar o uso de recursos." A cota baseada em projeto estava no topo da lista de desejos dos usuários no passado, "Heo disse.

"O foco da TACC na inovação constante cria um ambiente que coloca um enorme estresse no armazenamento, e Quantum há muito tempo está na vanguarda no gerenciamento de soluções que atendem à confiabilidade mais extrema, requisitos de acessibilidade e escalabilidade massiva, "disse" Eric Bassier, Diretor Sênior de Marketing de Produto, Quantum. "Combinar a fita Scalar com os recursos de gerenciamento de dados StorNext cria uma solução HSM (gerenciamento de armazenamento hierárquico) que é capaz de entregar nas condições exigentes do ambiente TACC."

"O novo sistema fornece alguns recursos adicionais para que possamos lidar com os dados do projeto e níveis de armazenamento melhor do que o sistema antigo, "Minyard adicionado. Esta é uma boa notícia especialmente para usuários pesados ​​do Ranch, cuja alocação pode mudar com freqüência. Os 100 usuários mais pesados ​​combinados têm mais de 20 petabytes no sistema de arquivamento atual.

Uma das grandes mudanças que os usuários notarão é a adoção do ambiente Community Enterprise Operating System (CentOS), que substituiu o ambiente Solaris anterior. Conforme os usuários navegam no CentOS para migrar seus arquivos para as novas bibliotecas do Ranch, A TACC está fornecendo 12 meses de acesso somente leitura aos dados da biblioteca antiga até o final de 31 de março, 2020. Os usuários devem inspecionar e migrar dados em tamanhos favoráveis ​​para os arquivos de fita, de preferência maior que 100 gigabytes em tamanho de arquivo individual.

"Dados de arquivo não são glamorosos, mas é obrigatório, "disse Minyard." Não sei quantas vezes alguém entrou em pânico sobre a exclusão acidental de um arquivo, onde a TACC conseguiu recuperar o arquivo do Ranch para eles. Do ponto de vista deles, Ranch é um salva-vidas, "Minyard disse.