Os cientistas construíram simulações para ajudar a explicar o comportamento no mundo real, incluindo modelagem para transmissão e prevenção de doenças, veículos autônomos, ciência do clima, e na busca dos segredos fundamentais do universo. Mas como interpretar grandes volumes de dados experimentais em termos dessas simulações detalhadas continua a ser um desafio chave. A programação probabilística oferece uma solução - essencialmente engenharia reversa da simulação - mas esta técnica foi limitada há muito tempo devido à necessidade de reescrever a simulação em linguagens de computador personalizadas, além do intenso poder de computação necessário.

Para enfrentar este desafio, uma colaboração multinacional de pesquisadores usando recursos de computação no Centro de Computação Científica de Pesquisa Energética (NERSC) do Laboratório Nacional Lawrence Berkeley desenvolveu a primeira estrutura de programação probabilística capaz de controlar simuladores existentes e rodar em larga escala em plataformas HPC. O sistema, chamado Etalumis ("simular" escrito ao contrário), foi desenvolvido por um grupo de cientistas da Universidade de Oxford, University of British Columbia (UBC), Intel, Universidade de Nova York, CERN, e NERSC como parte de um projeto de Big Data Center.

Etalumis realiza inferência bayesiana - um método de inferência estatística em que o teorema de Bayes é usado para atualizar a probabilidade de uma hipótese conforme mais evidências ou informações se tornam disponíveis - essencialmente invertendo o simulador para prever parâmetros de entrada a partir de observações. A equipe implantou Etalumis pela primeira vez para o Large Hadron Collider (LHC) no CERN, trazendo um novo nível de interpretabilidade para a análise de dados dos detectores de física de alta energia do LHC. Um artigo baseado em Etalumis foi selecionado como finalista de Melhor Artigo na SC19. Os autores falarão sobre Etalumis no SC19 na terça-feira, 19 de novembro às 16h30

De dias a minutos

A inferência bayesiana é usada em praticamente todas as disciplinas científicas, de acordo com Frank Wood, um colaborador Etalumis, Professor Associado de Ciência da Computação na UBC, e um dos pioneiros da programação probabilística.

"Eu estava particularmente interessado em aplicar a inferência bayesiana a um problema de física extremamente complexo, e os detectores de física de alta energia pareciam o campo de provas perfeito para a pesquisa seminal do nosso grupo, ", diz ele." O projeto Etalumis forneceu uma oportunidade única de combinar uma rede neural de ponta baseada em uma abordagem de 'compilação de inferência' com uma estrutura de software (pyprob) para acoplar diretamente esse mecanismo de inferência a simuladores de física de partículas detalhados existentes e executá-lo em recursos de escala HPC. "

Os cientistas já possuem pacotes de software de simulação robustos que modelam a física e tudo o que ocorre dentro do detector. Etalumis traz uma programação probabilística para acoplar com este software existente, essencialmente dando aos pesquisadores a capacidade de dizer "Tivemos essa observação; como chegamos lá?"

"Este projeto é empolgante porque torna os simuladores existentes em muitos campos da ciência e da engenharia sujeitos ao aprendizado de máquina probabilístico, "diz Atilim Gunes Baydin, Desenvolvedor principal do projeto Etalumis e autor principal do artigo SC19. Gunes é atualmente um pesquisador de pós-doutorado em aprendizado de máquina na Universidade de Oxford. "Isso significa que o simulador não é mais usado como uma caixa preta para gerar dados de treinamento sintéticos, mas como um modelo gerador probabilístico interpretável que o código do simulador já especifica, em que podemos realizar inferência.

"Precisamos ser capazes de controlar o programa para eliminar todas as possibilidades, então, neste projeto, adicionamos esse recurso como uma camada de software, "acrescenta Wahid Bhimji, um Big Data Architect na equipe de Data and Analytics Services da NERSC. Contudo, realizar inferência em tais configurações complexas traz desafios computacionais. "Os métodos convencionais para este tipo de inferência bayesiana são extremamente caros computacionalmente, "Bhimji acrescenta." Etalumis nos permite fazer em minutos o que normalmente levaria dias, usando recursos NERSC HPC. "

Interpretabilidade Profunda

Para o caso de uso do LHC, a equipe treinou uma rede neural para realizar inferência, aprender a apresentar boas propostas sobre que cadeia detalhada de processos físicos do simulador pode ter ocorrido. Isso exigiu melhorias na estrutura de aprendizado profundo PyTorch para treinar uma rede neural dinâmica complexa em mais de 1, 000 nós (32, 000 núcleos de CPU) do supercomputador Cori no NERSC. Como resultado, o treinamento que levaria meses com o software original não otimizado em um único nó agora pode ser concluído em menos de 10 minutos no Cori. Os cientistas, assim, ganharam a oportunidade de estudar as escolhas que entraram na produção de cada resultado, dando-lhes uma maior compreensão dos dados.

"Em muitos casos, você sabe que há uma incerteza na determinação da física que ocorreu em uma colisão do LHC, mas não conhece as probabilidades de todos os processos que podem ter dado origem a uma observação específica; com Etalumis, você pega um modelo disso, "Bhimji explica.

A profunda interpretabilidade que Etalumis traz para a análise de dados do LHC pode apoiar grandes avanços no mundo da física. "Sinais de nova física podem estar se escondendo nos dados do LHC; revelar esses sinais pode exigir uma mudança de paradigma do processamento algorítmico clássico dos dados para uma abordagem probabilística mais matizada, "diz Kyle Cranmer, um físico da NYU que fazia parte do projeto Etalumis. "Essa abordagem nos leva ao limite do que é cognoscível mecanicamente."