p O papel do aprendizado profundo na ciência está em um ponto de viragem, com o tempo, clima, e a modelagem de sistemas terrestres emergindo como uma área de aplicação empolgante para um aprendizado profundo baseado em física que pode identificar com mais eficácia as relações não lineares em grandes conjuntos de dados, extrair padrões, emular processos físicos complexos, e construir modelos preditivos. p "O aprendizado profundo teve um sucesso sem precedentes em alguns problemas muito desafiadores, mas os cientistas querem entender exatamente como esses modelos funcionam e por que eles fazem as coisas que fazem, "disse Karthik Kashinath, um cientista da computação e engenheiro do Data &Analytics Services Group (DAS) no National Energy Research Scientific Computing Center (NERSC), que tem estado profundamente envolvido nos esforços de pesquisa e educação do NERSC nesta área. "Um dos principais objetivos do aprendizado profundo para a ciência é como você projeta e treina uma rede neural para que ela possa capturar com precisão a complexidade dos processos que procura modelar, emular, imitar, ou prever, e estamos desenvolvendo maneiras de infundir conhecimentos de física e de domínio nessas redes neurais para que obedeçam às leis da natureza e seus resultados sejam explicáveis, robusto, e confiável. "

p Nós conversamos com Kashinath seguindo a Escola de Verão de Inteligência Artificial para Ciência do Sistema Terrestre (AI4ESS), um evento virtual de uma semana organizado em junho pelo National Center for Atmospheric Research (NCAR) e pela University Corporation for Atmospheric Research (UCAR) que contou com a presença de mais de 2, 400 pesquisadores de todo o mundo. Kashinath esteve envolvida na organização e apresentação do evento, junto com David John Gagne e Rich Loft do NCAR. Muitas das pesquisas atuais de Kashinath se concentram na aplicação de métodos de aprendizado profundo para modelagem de sistemas climáticos e terrestres.

p Como as metodologias de aprendizado profundo estão sendo adotadas no clima, clima, e pesquisa de sistemas terrestres?

p Nos últimos anos, vimos um aumento significativo no uso de aprendizado profundo em ciências, não apenas no aumento, aprimorando ou substituindo métodos existentes, mas também para descobrir novas ciências na física, química, biologia, Medicina, e muito mais - descobertas que eram quase impossíveis com métodos estatísticos tradicionais. Agora estamos começando a ver o mesmo nas ciências da Terra, com o número de publicações em periódicos como Cartas de pesquisa geofísica e Nature Geoscience conferências científicas e emergentes, agora apresentando faixas inteiras envolvendo aprendizado profundo e de máquina.

p O que o aprendizado profundo traz para a mesa?

p É extremamente poderoso no reconhecimento de padrões e na descoberta de relacionamentos não lineares muito complexos que existem em grandes conjuntos de dados, ambos os quais são críticos para o desenvolvimento de modelos de sistemas de ciências da Terra. O objetivo principal de um modelador de tempo ou clima é entender as maneiras pelas quais os processos na natureza operam e modelá-los de maneira eficaz para que possamos prever o futuro das mudanças climáticas e eventos climáticos extremos. O aprendizado profundo oferece novos métodos de uso de dados existentes para entender como esses processos operam e para desenvolver modelos para eles que sejam não apenas precisos e eficazes, mas também computacionalmente muito mais rápidos do que os métodos tradicionais. Tradicionalmente, modelos climáticos e meteorológicos resolvem grandes sistemas de equações diferenciais parciais não lineares acopladas, o que é extremamente intensivo em termos de computação. O aprendizado profundo está começando a aumentar, realçar, ou até mesmo substituir peças desses modelos por emuladores de processos físicos muito eficientes e rápidos. E isso é um avanço significativo.

p O reconhecimento de padrões é outra área onde o aprendizado profundo está influenciando a pesquisa de sistemas terrestres. O grupo DAS no NERSC tem pressionado fortemente no reconhecimento de padrões para detectar e rastrear padrões climáticos e meteorológicos em grandes conjuntos de dados. O prêmio Gordon Bell de 2018 para análise climática exascale usando aprendizado profundo atesta nossas contribuições nessa área. Dado que já temos petabytes de dados climáticos e que estão aumentando a uma taxa absurda, é fisicamente impossível filtrar e reconhecer os principais recursos e padrões usando abordagens estatísticas tradicionais. O aprendizado profundo oferece maneiras muito rápidas de explorar esses dados e extrair informações úteis, como padrões climáticos extremos.

p Uma terceira área é o downscaling; isso é, dado um conjunto de dados de baixa resolução, como você produz dados de alta resolução que são necessários para coisas como planejamento, especialmente em escalas regionais e locais? Parte do grande desafio da ciência do clima é como construir modelos de altíssima resolução que sejam precisos e produzam dados com os quais possamos trabalhar de forma confiável. Uma maneira de atacar o problema é dizer ok, sabemos que esses modelos são extremamente caros, e em um futuro previsível - mesmo com computação getter mais rápida e melhor - realmente não seremos capazes de construir modelos climáticos globais confiáveis ​​em uma resolução espacial de 1 km ou mais fina. Portanto, se pudermos criar um modelo de aprendizado profundo que pegue dados climáticos de baixa resolução e produza dados de alta resolução fisicamente significativos, de confiança, e preciso - isso é uma virada de jogo.

p Qual é o grande desafio para o aprendizado profundo aplicado à ciência do sistema terrestre?

p Eu venho de uma experiência em dinâmica de fluidos, onde modelar turbulência é um grande desafio de longa data. Um desafio semelhante nas ciências atmosféricas é modelar nuvens. Todos os modelos climáticos têm parametrizações - componentes do modelo climático que descrevem como vários processos físicos se comportam e interagem uns com os outros. Na atmosfera que inclui a forma como as nuvens se formam, como a radiação funciona, quando e onde a precipitação acontece, etc. A modelagem de nuvem também é conhecida por ser a maior fonte de incerteza nas projeções de modelos climáticos, e por décadas um dos grandes desafios tem sido como reduzir a incerteza. Os modelos se tornaram muito mais complexos e capturam muitos mais fenômenos físicos, mas eles ainda têm grandes incertezas em suas previsões. Portanto, uma área em que o aprendizado profundo pode ter um impacto significativo é nos ajudar a construir melhores emuladores de processos atmosféricos, como nuvens, com o objetivo de reduzir as incertezas nas previsões. Esse é um objetivo científico muito concreto.

Ao olhar para a frente, Com o que você está mais animado em termos do impacto do aprendizado profundo na pesquisa do clima e dos sistemas da Terra?

p A principal resistência que tivemos da comunidade científica é que as redes neurais são caixas pretas difíceis de entender e interpretar, e os cientistas obviamente gostariam de entender exatamente como essas redes neurais funcionam e por que fazem as coisas que fazem. Então, uma coisa que estou realmente entusiasmado é desenvolver melhores maneiras de interpretar e entender essas redes e incorporar o conhecimento que temos sobre a física do sistema terrestre a esses modelos para que sejam mais robustos, de confiança, confiável, interpretável, explicável, e transparente. O objetivo é nos convencer de que esses modelos estão se comportando de maneira que respeite a física da natureza, estão usando efetivamente o conhecimento de domínio que temos, e estamos fazendo previsões nas quais podemos confiar. Fui convidado a enviar um artigo para Anais da Royal Society exatamente neste tópico, "Aprendizado profundo com base em física para modelagem de tempo e clima, "que está agora em revisão.

p Também estou animado para provar, em operação, que esses modelos de aprendizado profundo fornecem a aceleração computacional que afirmamos que eles fornecerão quando os incorporarmos a um grande clima ou modelo meteorológico. Por exemplo, o Centro Europeu de Previsão do Tempo começou a substituir algumas partes de seu modelo de previsão do tempo por máquinas e modelos de aprendizagem profunda, e eles já estão começando a ver benefícios. Nos E.U.A., O NCAR e a Administração Oceânica e Atmosférica Nacional também estão começando a substituir partes de seus modelos climáticos e meteorológicos por modelos de aprendizado de máquina e aprendizagem profunda. e vários grupos de pesquisa acadêmicos e industriais estão trabalhando em projetos relacionados. Chris Bretherton, um dos maiores cientistas climáticos do mundo, chefia um grupo da Universidade de Washington que está trabalhando para substituir alguns dos processos complicados de nuvem nesses grandes modelos climáticos por métodos de aprendizado profundo. Portanto, estou ansioso para ver seus resultados em um ou dois anos sobre aceleração e desempenho.

p Qual foi o foco do evento AI4ESS, e por que foi tão bem atendido?

p A Escola de Verão de Inteligência Artificial para Ciência do Sistema Terrestre (AI4ESS) focou em como os participantes podem fortalecer sua experiência em estatística e aprendizado de máquina, aprender os fundamentos da aprendizagem profunda e redes neurais, e aprenda como usá-los para problemas desafiadores nas ciências do sistema terrestre. Tivemos uma resposta impressionante à escola - era para ser um evento presencial em Boulder, Colo., com capacidade para 80 alunos. Mas assim que se tornou virtual, tivemos 2, 400 participantes de 40 países em todo o mundo. Foi transmitido ao vivo pela UCAR e eles rastrearam os log-ins diários.

p Houve uma grande participação ao longo da semana. Convidamos palestrantes todos os dias - três palestras por dia, então, 15 palestras durante a semana - com especialistas em aprendizado de máquina, aprendizado profundo, e as ciências da terra. Cada dia havia também um painel de discussão de 30 minutos durante o almoço, e para mim, isso foi muito empolgante porque todos esses especialistas estavam discutindo e debatendo sobre os desafios e oportunidades de usar o aprendizado de máquina e o aprendizado profundo para a ciência do sistema terrestre. A escola também realizou uma hackatona de uma semana, onde equipes de seis cada escolheram um projeto de seis problemas diferentes para trabalhar durante a semana. Cerca de 500 pessoas participaram do hackathon, com muita colaboração e interação, incluindo canais individuais do Slack para cada uma das equipes do hackathon. Também havia canais no Slack durante toda a semana da escola de verão sobre várias coisas:perguntas e respostas relacionadas a palestras, problemas de desafio do hackathon, dicas e truques técnicos em aprendizado de máquina e aprendizado profundo, etc. Então, havia muita atividade do Slack acontecendo, com pessoas trocando ideias, compartilhando resultados, e assim por diante.

p Por que todo mundo está tão interessado em aprender essas coisas?

p Eu acho que a comunidade, especialmente os cientistas mais jovens, Veja que o aprendizado profundo pode ser um divisor de águas na ciência e eles não querem ser deixados para trás. Eles acreditam que logo será popular e que será essencial para fazer ciência. Esse é o principal motivador. Portanto, a AI4ESS se concentrou em ensinar os fundamentos e estabelecer as bases para que eles começassem a aplicar o aprendizado profundo e de máquina com sucesso em suas pesquisas.