Esta captura de tela do MyESnet mostra os links do sul da rede em vermelho escuro, indicando transferências de dados superiores a 50 Gbps durante os 5, Transferência de 000 milhas conduzida por SLAC e Zettar Inc.
Usando um 5, Loop de rede de 000 milhas operado pela ESnet, pesquisadores do SLAC National Accelerator Laboratory (SLAC) do Departamento de Energia e da Zettar Inc. recentemente transferiram 1 petabyte em 29 horas, com criptografia e soma de verificação, batendo o recorde do ano passado por 5 horas, uma melhoria de quase 15%.
O projeto visa atingir as altas taxas de transferência de dados necessárias para acomodar a quantidade de dados a serem gerados pelo Linac Coherent Light Source II (LCLS II), que deve estar online em 2020. O LCLS é o primeiro laser de elétrons livres de raios-X (XFEL) rígido do mundo e seus pulsos estroboscópicos têm apenas alguns milionésimos de bilionésimo de segundo de comprimento, e um bilhão de vezes mais brilhante do que as fontes de raios-X anteriores. O LCLS II fornecerá um grande salto em capacidade - passando de 120 pulsos por segundo para 1 milhão de pulsos por segundo. Os cientistas usam LCLS para tirar fotos nítidas de movimentos atômicos, observe as reações químicas se desdobrarem, sondar as propriedades dos materiais e explorar os processos fundamentais nos seres vivos.
Espera-se que a capacidade aumentada gere transferências de dados de múltiplos terabits por segundo - conforme os resultados experimentais são enviados do SLAC para as instalações de supercomputação do Departamento de Energia (DOE) nos laboratórios nacionais Lawrence Berkeley e Oak Ridge para análise. Como facilidade de usuário de rede dedicada do DOE para pesquisa científica, ESnet transporta dados entre universidades e laboratórios nacionais do DOE e instalações de usuários nacionais ao longo de uma rede backbone multi-100 gigabits por segundo (Gbps).
De acordo com Stanford Emeritus Les Cottrell, a demonstração atual de transporte de dados de alta velocidade é parte de um programa para desenvolver e avaliar ferramentas para atender aos requisitos de transferência de dados críticos da próxima década para os XFELs de próxima geração no SLAC.
O gráfico mostra que o teste de transferência de petabyte foi responsável por um terço do tráfego total da rede na ESnet durante a execução de 29 horas. Crédito:Departamento de Energia dos EUA
Zettar, uma empresa de software financiada pela National Science Foundation em Palo Alto, desenvolve solução de software de distribuição de dados em hiperescala capaz de taxas de transferência multi-100 + Gbps e colabora com os laboratórios nacionais ESnet e DOE. Para o julgamento, a equipe usou os circuitos seguros sob demanda e o sistema de reserva avançada (OSCARS) da ESnet para reservar a largura de banda para a execução.
"A natureza inovadora e versátil dos OSCARS da ESnet nos permitiu projetar um loop exclusivo de 100 Gbps de 5.000 milhas, que nossos colegas da ESnet ajudaram a estabelecer rapidamente em 2015, "disse o fundador e CEO da Zettar, Chin Fang." O design da ESnet permite o uso de um canal dedicado separado para o teste sem impacto ou interferência do tráfego de produção. Assim, pudemos ter os clusters de armazenamento de dados e os nós de transferência de dados co-localizados no mesmo rack, embora estivessem em ambas as extremidades do loop. Fisicamente, eles estavam separados por centímetros, mas digitalmente eles estão separados por 5.000 milhas. Além disso, os próprios clusters têm um limite autoimposto de 80 Gbps. "
Fang disse que a melhoria de cinco horas na transferência do petabyte de dados foi alcançada graças a melhorias no software e no hardware. Este ano, A Zettar melhorou significativamente o paralelismo de seu software para acelerar as transferências de dados criptografados e não criptografados. A Intel também forneceu à equipe processadores mais rápidos e produtos de memória de estado sólido para mover dados para dentro e para fora dos sistemas de armazenamento principais com mais rapidez. Nesse caso, o projeto usou conjuntos de dados simulados com distribuições de tamanho de arquivo fornecidas pelo LCLS Data Management Group.
"O projeto de engenharia de tráfego flexível da rede da ESnet garante que os protocolos de transferência baseados em TCP possam ser usados efetivamente para movimentação de dados de alto rendimento, "disse o diretor da ESnet, Inder Monga." A estratégia de orientação da ESnet é antecipar e ficar à frente dos requisitos de transferência de dados de nossos usuários científicos. Testes em andamento como os que estamos apoiando para o SLAC são importantes para nós, pois vemos as direções que as equipes de pesquisa estão tomando e podemos aprimorar nosso suporte e infraestrutura para estarmos prontos quando instalações como o LCLS II entrarem em operação. "
