O desenvolvimento foi iniciado na plataforma de software Tapis, que visa ajudar os pesquisadores a alavancar mais facilmente supercomputadores poderosos e integrar e gerenciar dados de fontes diferentes e distantes. Crédito:TACC / UH
Os cientistas que procuram reduzir a complexidade da pesquisa e adicionar uma nova ferramenta computacional ao seu cinto de ferramentas podem explorar o Projeto Tapis. A plataforma de software Tapis visa ajudar os pesquisadores a alavancar mais facilmente supercomputadores poderosos e integrar e gerenciar dados de fontes diferentes e distantes.
A National Science Foundation (NSF) concedeu uma bolsa de US $ 2,9 milhões ao Texas Advanced Computing Center (TACC) e à Universidade do Texas em Austin (UT Austin), além de um prêmio de US $ 1 milhão para a Universidade do Havaí (UH). Os prêmios NSF começaram em setembro de 2019 e apoiam o desenvolvimento contínuo de Tapis, abreviação de TACC-APIs e joga com a palavra tapeçaria - entrelaçando serviços e recursos. Uma interface de programação de aplicativo (API) é uma interface para um sistema de software que foi construído ou projetado para ser usado por outro programa.
"Tapis é uma plataforma de computação de pesquisa para ciência da computação e pesquisa computacional, "disse o investigador principal (PI) Joe Stubbs, que gerencia o Cloud and Interactive Computing Group na TACC. "Tapis é um sistema de software que ajuda os pesquisadores a usar os supercomputadores e outros tipos de recursos de computação que temos aqui no TACC e em outros lugares."
"A maneira mais fácil de descrever o Tapis é que ele é um aplicativo baseado na web que fornece todas as ferramentas de que um cientista moderno precisa para fazer uso intensivo de dados, pesquisa intensiva em computação, "disse Co-PI Gwen A. Jacobs, Diretor de Infraestrutura Cibernética, University of Hawai'i System. "Uma das coisas que é diferente sobre o Tapis é que ele combina todas as ferramentas importantes de que o pesquisador precisa. Esse é o verdadeiro poder do Tapis."
Tapis atenderá um grupo diversificado de usuários com experiência variada no uso de ferramentas computacionais para suas pesquisas. Em uma extremidade do espectro estarão 'usuários avançados' com vasta experiência em recursos de computação e programação avançados. Tapis os ajudará a automatizar e agilizar seus grandes fluxos de trabalho ou pipelines de aplicativos de software.
Na extremidade oposta do espectro estão os cientistas apenas começando a explorar as possibilidades de aplicação da computação avançada em suas pesquisas. "O que estamos tentando fazer por eles com Tapis, "disse Stubbs, "é ter o caminho mais fácil para entrar em programas computacionais em execução nos supercomputadores."
E então há o grupo no meio, projetos de desenvolvimento de software tipicamente grandes focados em domínios de pesquisa específicos, como imunologia, astronomia, ou bioinformática.
“O objetivo do Tapis é permitir que os pesquisadores acessem esses recursos computacionais de uma forma mais amigável, "disse Stubbs.
Os recursos computacionais financiados pela NSF são amplamente descritos como ciberinfraestrutura, o ecossistema online compartilhado por pesquisadores, apoiado por recursos de computação avançados, hospedado em data centers, e apoiado por especialistas. "As equipes de desenvolvedores da Web e outros desenvolvedores nesses projetos de infraestrutura cibernética podem aproveitar a Tapis para construir seu projeto de infraestrutura cibernética mais rapidamente."
Para estes fins, um exemplo é o suporte da estrutura TAPIS API para streaming de dados do sensor, onde em um fluxo de trabalho complexo, um evento, como uma detecção em uma matriz de sensores, pode acionar outro evento, e assim por diante, ou mesmo várias rotinas de análise.
"Computação orientada a eventos, "explicou Jacobs, "significa que o fluxo de trabalho não está funcionando o tempo todo. Esse é um ótimo recurso para cientistas que precisam adquirir seus dados esporadicamente, onde eles estão obtendo dados de fontes como sensores e uploads de dados. Isso significa que eles não precisam executar todo o código manualmente. Assim que o fluxo de trabalho for configurado, pode ser uma computação viva-voz, de certa forma, análise mãos-livres. "
Tapis irá integrar o projeto de serviços de dados em tempo real hospedados na nuvem para as geociências (CHORDS), parte do EarthCube financiado pela NSF, para obter computação orientada a eventos.
As APIs aplicadas à ciência permitem que diferentes sistemas se comuniquem, num sentido. "A ideia com Tapis, "disse Stubbs, "é ter uma interface legível por máquina e consumível para recursos computacionais, como supercomputadores, mas também sistemas de armazenamento de alto desempenho, como nosso sistema de armazenamento Corral, ou nosso sistema de arquivos global, Stockyard, e outros sistemas de arquivos em todo o país. Queremos ter uma interface que seja facilmente acessada e manipulada em outros programas. "
Outro recurso que a Tapis vai oferecer é um novo kernel de segurança, que atua como um portão que controla o acesso aos recursos do sistema. O kernel de segurança Tapis será descentralizado, permitindo que os cientistas criem seus próprios aplicativos com mais facilidade e mantenham o controle local sobre os dados confidenciais.
"O novo kernel de segurança nos permite oferecer toda a segurança gerenciada, autenticação, e autorizações que foram feitas no passado, "disse o Co-PI Sean Cleveland, um cientista pesquisador de infra-estrutura cibernética da Universidade do Havaí. "Mas também permitirá que centros de dados e instituições implantem seu próprio kernel de segurança, para que eles possam usar suas próprias credenciais de usuário e gerenciar sua própria segurança à sua maneira, bem como implantar componentes individuais da estrutura em sua instituição, e ser capaz de alavancar parte do trabalho centralizado. É um novo, sistema híbrido de uso da ciência como serviço, plataforma como serviço, mas se você quiser mais controle e personalização, você pode implantar peças menores no local e ainda ser capaz de aproveitar algumas das maiores, componentes gerenciados para necessidades diferentes. "
Tapis dará aos usuários a capacidade de simplificar o processo de criação de aplicativos, uma ferramenta poderosa para cientistas. "Se você pode programar um fluxo de trabalho e executá-lo em uma plataforma como a Tapis, isso torna o processo mais fácil porque todos os componentes podem se comunicar mais facilmente, "disse Jacobs." Isso significa que o investigador tem que construir esse fluxo de trabalho uma vez. Em seguida, eles salvam esse fluxo de trabalho como um aplicativo dentro da infraestrutura Tapis e o reutilizam. "
Salvar todos os parâmetros do ambiente de software também permitirá que os cientistas voltem e executem a análise de dados novamente em uma data posterior, que promove a reprodutibilidade científica.
"Esta é realmente uma colaboração completa entre a TACC e a Universidade do Havaí, "explicou Stubbs.
A TACC traz ampla experiência em computação de alto desempenho e na construção de sistemas de software distribuídos. Os próprios componentes do Tapis podem ser executados em commodities, ou servidores de prateleira, embora alguns componentes no TACC sejam executados na nuvem Jetstream financiada pela NSF.
Os membros da equipe da UH estão contribuindo para o desenvolvimento, Projeto, e arquitetura do sistema Tapis. O que mais, eles trazem acesso a uma abundância de importantes pesquisas de domínio exclusivas do Havaí em áreas como o clima, oceano, recifes de coral, microbioma humano, e estudos populacionais sobre disparidades de saúde.
"Ter o projeto Tapis para nós aqui no Havaí é um grande impulso de conscientização para a aplicação de infraestrutura cibernética avançada à ciência intensiva de dados, "disse Jacobs." Sem um projeto como este, muitos de nossos investigadores podem não estar cientes desses recursos. "
Um dos principais marcos pelos quais os pesquisadores estão trabalhando é um workshop de fim de ano para os primeiros usuários no verão de 2020. "A ideia é ter o workshop para o qual convidamos os pesquisadores a vir, trazer seus conjuntos de dados, para fazer apresentações sobre sua ciência e caso de uso, mas também para a equipe Tapis apresentar os recursos do sistema até o final do primeiro ano, "disse Stubbs.
"Estamos muito animados para lançar o novo projeto Tapis financiado pela NSF, "disse o Co-PI Maytal Dahan, Diretor de Interfaces de Computação Avançada da TACC. "Tapis vai transformar a produtividade dos cientistas, facilitando a descoberta, acesso e uso de poderosos recursos e serviços de infra-estrutura cibernética. Queremos reduzir a complexidade para realizar ciência e melhorar o tempo para ciência, oferecendo uma variedade de serviços de API seguros e robustos que podem oferecer suporte aos nossos usuários em um ambiente de qualidade de produção.
A equipe TACC trabalhará em vários aspectos do projeto - desenvolvimento de um kernel de segurança, APIs de streaming de dados e integração, garantia de qualidade e teste de integração contínua, divulgação, treinamento e desenvolvimento da força de trabalho. Estou muito orgulhoso da equipe, tanto no TACC quanto no UH, e estamos todos entusiasmados em trabalhar em conjunto com a comunidade científica desde o início, por meio de nosso programa de primeiros usuários, para criar serviços que tenham um impacto positivo na comunidade científica. "
O projeto Tapis é financiado como parte da Infraestrutura Cibernética para Inovação Sustentada (CSSI), um programa transversal da NSF liderado pelo Office of Advanced Cyberinfrastructure (OAC). "A CSSI apóia o desenvolvimento de uma infraestrutura cibernética inovadora que permite que as comunidades de pesquisadores continuem e acelerem os avanços em todos os domínios fundamentais da ciência e da engenharia com o suporte da NSF, "disse o Dr. Stefan Robila, o Diretor do Programa na OAC que administra o prêmio. "Com base no trabalho anterior e aproveitando os recursos computacionais de liderança existentes, como os disponíveis no TACC, Tapis contribui para o fortalecimento contínuo da ciberinfraestrutura nacional, enquanto, ao mesmo tempo, reduzimos as barreiras de acesso. "