Pesquisadores de todo o espectro científico anseiam por dados, pois é essencial para a compreensão do mundo natural e, por extensão, acelerando o progresso científico. Recentemente, Contudo, as ferramentas do esforço científico tornaram-se tão poderosas que a quantidade de dados obtidos em experimentos e observações costuma ser difícil de manejar.

Em outras palavras, é possível ter muito de uma coisa boa.

Compreender os crescentes conjuntos de dados de hoje tornou-se um grande desafio científico por si só, forçando os pesquisadores a não apenas resolver seus problemas de ciência de domínio, mas também o problema de gerenciar e processar seus conjuntos de dados cada vez maiores. Basta perguntar aos pesquisadores da BP, que têm a tarefa de encontrar gás natural e petróleo no solo e descobrir a melhor forma de extraí-los.

"As novas tecnologias no campo nos permitem coletar mais dados do que jamais sonhamos, "disse o cientista computacional Vladimir Bashkardin da BP HPC, referenciando as propriedades do fluido subterrâneo e rochas obtidas por meio de respostas de energia à sondagem da empresa. "Precisamos dimensionar nossa capacidade de acessar grandes conjuntos de dados sísmicos, que pode medir meio petabyte às vezes. "

Para ajudá-los neste esforço monumental, Bashkardin e seus colegas procuraram o Laboratório Nacional de Oak Ridge, do Departamento de Energia, casa para a Summit, o computador mais poderoso e "mais inteligente" do mundo, e uma vasta experiência em como gerenciar e processar grandes e complexos conjuntos de dados científicos atuais.

A estreia da Summit marcou a terceira vez que o laboratório ergueu o supercomputador mais rápido do mundo. Esses sistemas têm sido usados ​​para enfrentar alguns dos desafios científicos mais urgentes de nosso tempo, incluindo a energia de fusão, entrega de drogas, e o design de novos materiais, esforços que também tornaram ORNL um líder mundial na arena cada vez mais importante de big data.

Os pesquisadores da BP recorreram ao líder do grupo de dados científicos ORNL, Scott Klasky, e ao líder da equipe de gerenciamento de dados científicos do ORNL, Norbert Podhorszki, investigadores principais por trás do Adaptable I / O System (ADIOS), um middleware de I / O que tem ajudado os pesquisadores a alcançar avanços científicos, fornecendo um simples, maneira flexível de descrever dados em seu código que podem precisar ser escritos, leitura, ou processado fora da simulação em execução.

A BP convidou Klasky e Podhorszki para seus escritórios em Houston para dar à equipe de computação de alto desempenho da empresa um tutorial de ADIOS e demonstrar como isso poderia ajudá-los a acelerar sua ciência, ajudando a lidar com seus grandes, conjuntos de dados sísmicos exclusivos.

"O workshop foi incrível, "disse Bosen Du, analista de tecnologia da BP HPC." Foi uma ótima introdução ao ADIOS, e definitivamente vimos muitas oportunidades possíveis para aplicá-lo aos nossos desafios específicos. Melhor ainda, Scott e Norbert fizeram perguntas específicas para personalizar o tutorial para BP. "

Klasky compartilhava do entusiasmo de Du. "Este foi um dos tutoriais mais agradáveis ​​que demos devido ao nível de interesse de todos na sala, " ele disse, acrescentando que o interesse da BP levou ao que é provavelmente o tutorial mais longo que a equipe já deu.

Uma parceria natural

A viagem de Klasky e Podhorszki foi o resultado de um relacionamento crescente entre ORNL e BP.

Diretor de HPC da BP, Keith Gray, já estava familiarizado com o Oak Ridge Leadership Computing Facility do ORNL, o DOE Office of Science User Facility que abriga a Summit, através dos depoimentos positivos de colegas que participaram do seu Programa de Parceria Industrial ACCEL (Acelerando a Competitividade pela Excelência Computacional.

Gray até visitou ORNL há dois anos para dar uma palestra sobre como as necessidades do data center da BP são menores, mas semelhantes às de um centro como o OLCF e sobre a importância de um data center confiável para apoiar o compromisso da BP de estar na vanguarda da supercomputação tecnologia.

Esse relacionamento, junto com os recursos exclusivos do ADIOS, fez a escolha fácil. "Começamos a fazer pesquisas e o ADIOS sempre esteve no topo da lista, "disse Gray, adicionando:"Colaborando, A experiência de classe mundial da BP na aplicação de HPC para resolver problemas científicos complexos pode ajudar a equipe ADIOS a entender os diferentes fluxos de trabalho que nos ajudam a gerenciar nossos dados. "

Gerenciar esses dados é fundamental de uma perspectiva de negócios. Em um projeto recente, a equipe da BP enfrentou um conjunto de dados de 500 terabytes. E isso antes do processamento sísmico, após o qual o conjunto de dados pode crescer dez vezes.

"Ter algo que pode escalar, fazer E / S massivamente paralelas, e a compactação de suporte seria uma grande vantagem para nos ajudar a superar nossos problemas de dados atuais, "disse Bashkardin. MGARD, uma técnica desenvolvida em conjunto por ORNL e Brown University que é usada para compressão com perdas de dados científicos e que garante matematicamente limites de erro, parecia um ajuste particularmente bom para os problemas de compressão da BP, disse Klasky.

Ele acrescentou que as mudanças recentes no ADIOS, tornado possível pelo Projeto de Computação Exascale, ajudaram o código de sismologia SPECFEM3D-Globe usado por Jeroen Tromp de Princeton a atingir uma velocidade de mais de 2 terabytes por segundo ao gravar dados no sistema de arquivo paralelo geral da Summit. Essa velocidade pode levar a uma maior colaboração com a equipe de Tromp, que utiliza ADIOS como back-end de I / O, e ajudar a fortalecer a capacidade de processamento de dados para grande parte da comunidade sismológica.

Superar problemas como gargalos de I / O significa uma redução no tempo de resposta da análise de dados, o que permitiria à empresa explorar ideias diferentes, identificar e resolver gargalos, e obter uma melhor compreensão da subsuperfície. Tomados em conjunto, essas capacidades podem criar grandes avanços para o programa de pesquisa da BP.

Mas uma implementação bem-sucedida do ADIOS no código I / O atual da BP, apelidado de Sistema de Dicionário de Dados, seria benéfico também no curto prazo. Por exemplo, isso daria à sua equipe uma visão valiosa sobre se eles estão buscando as tecnologias e estratégias corretas para ter sucesso.

"Isso pode nos ajudar a considerar a construção de sistemas de arquivos adicionais para fornecer mais largura de banda do que nossos clusters atuais, "disse Gray, acrescentando que "você não precisa de novos sistemas de arquivos se sua E / S estiver no pico, e atualmente não temos todas as métricas de E / S necessárias. "Os pesquisadores da equipe ORNL concordaram em fornecer algum suporte para ajudar a BP a avaliar sua estratégia de dados.

Bashkardin acrescentou:"Temos dificuldade em extrair largura de banda de E / S de nosso sistema de arquivos Lustre devido a uma série de fatores. Há muito a ganhar nesses termos. Mesmo dobrar o desempenho com um único conjunto de dados seria uma melhoria enorme."

Em teoria, ADIOS pode agilizar alguns trabalhos de dias para horas, alterando fundamentalmente os fluxos de trabalho dos pesquisadores sísmicos da BP. E, de acordo com o especialista em computação da BP HPC Qingquing Liao, a capacidade de visualização embutida do middleware é uma excelente ferramenta que aponta áreas problemáticas de códigos e modelos de pesquisadores para ajudá-los a entender melhor como alterar seus algoritmos. Klasky credita a seus colegas Lipeng Wan e William Godoy por essa capacidade, que permite aos usuários fazer a transição instantânea do acoplamento de código baseado em arquivo (por exemplo, acoplamento assíncrono de um código à visualização) para o acoplamento na memória sem alterar seu código.

Mas antes que o ADIOS possa ser implementado, a equipe BP precisará especificar quais recursos viáveis ​​eles desejam ver em seu back-end de E / S e criar uma nova camada de API com um conjunto específico de objetivos de API.

"Ser capaz de alavancar o ADIOS do ORNL e trabalhar em conjunto para melhorá-lo estenderá a experiência da BP no uso de big data para resolver problemas críticos de energia, "disse Gray.