Na avaliação de modelos climáticos, os especialistas normalmente avaliam por meio de uma série de critérios para chegar a uma avaliação geral da fidelidade do modelo. Eles usam seu conhecimento do sistema físico e objetivos científicos para avaliar a importância relativa de diferentes aspectos dos modelos na presença de compensações. Burrows et al. (2018) mostram que os cientistas do clima ajustam a importância que atribuem a diferentes aspectos de uma simulação, dependendo da questão científica que o modelo será usado para abordar. Sua pesquisa também mostra que o consenso de especialistas sobre a importância difere entre as variáveis do modelo. Crédito: Avanços nas Ciências Atmosféricas
Uma equipe de pesquisa baseada no Laboratório Nacional do Noroeste do Pacífico em Richland, Washington, publicou os resultados de uma pesquisa internacional destinada a avaliar a importância relativa que os cientistas do clima atribuem às variáveis ao analisar a capacidade de um modelo climático de simular o clima do mundo real. Os resultados, que têm sérias implicações para estudos usando os modelos, foram publicados como um artigo de capa em Avanços nas Ciências Atmosféricas em 22 de junho, 2018.
"Os modeladores de clima se esforçam muito para calibrar certos parâmetros do modelo para encontrar uma versão do modelo que faça um trabalho confiável de simular o clima observado da Terra, "disse Susannah Burrows, primeiro autor do artigo e cientista do Pacific Northwest National Laboratory, especializado em modelagem e análise de sistemas terrestres.
Contudo, Burrows notou, há poucos estudos sistemáticos sobre como os especialistas priorizam variáveis como cobertura de nuvens ou gelo marinho ao julgar o desempenho de modelos climáticos.
"Diferentes pessoas podem chegar a avaliações ligeiramente diferentes de quão 'bom' um determinado modelo é, dependendo em grande medida de quais aspectos eles atribuem mais importância, "Disse Burrows.
Um modelo, por exemplo, pode simular melhor o gelo marinho enquanto outro modelo se destaca na simulação de nuvem. Cada cientista deve encontrar um equilíbrio entre suas prioridades e objetivos concorrentes - algo difícil de capturar sistematicamente em ferramentas de análise de dados.
"Em outras palavras, não há um único, definição completamente objetiva do que torna um "bom" modelo climático, e este fato é um obstáculo para o desenvolvimento de abordagens e ferramentas mais sistemáticas para auxiliar nas avaliações e comparações de modelos, "Disse Burrows.
Os pesquisadores descobriram, a partir de uma pesquisa com 96 participantes que representam a comunidade de modelos climáticos, que os especialistas levaram em consideração objetivos científicos específicos ao classificar a importância das variáveis. Eles encontraram um alto grau de consenso de que certas variáveis são importantes em certos estudos, como precipitação e evaporação na avaliação do ciclo da água na Amazônia. Esse acordo vacila em outras variáveis, como a importância de simular com precisão os ventos de superfície ao estudar o ciclo da água na Ásia.
É importante compreender essas discrepâncias e desenvolver abordagens mais sistemáticas para a avaliação do modelo, de acordo com Burrows, uma vez que cada nova versão de um modelo climático deve passar por uma avaliação significativa, e calibração por vários desenvolvedores e usuários. O processo de trabalho intensivo pode levar mais de um ano.
A afinação, embora projetado para manter um padrão rigoroso, exige que os especialistas façam concessões entre prioridades concorrentes. Um modelo pode ser calibrado às custas de um objetivo científico para atingir outro.
Burrows é membro de uma equipe de pesquisa interdisciplinar no PNNL trabalhando para desenvolver uma solução mais sistemática para este problema de avaliação. A equipe inclui Aritra Dasgupta, Lisa Bramer, e Sarah Reehl, especialistas em ciência de dados e visualização, e Yun Qian, Po-Lun Ma, e Phil Rasch, especialistas em ciências climáticas.
Para ajudar os modeladores de clima a entender essas compensações de forma mais clara e eficiente, os pesquisadores de visualização estão construindo interativos, interfaces visuais intuitivas que permitem aos modeladores resumir e explorar informações complexas sobre diferentes aspectos do desempenho do modelo.
Os cientistas de dados estão trabalhando para caracterizar a avaliação de modelos climáticos especializados em mais detalhes, com base nas conclusões do inquérito inicial. Eventualmente, os pesquisadores pretendem combinar uma combinação de métricas com experiência humana para avaliar o quão bem os modelos climáticos são adequados para objetivos científicos específicos, bem como prever com que frequência os especialistas concordarão ou discordarão dessa avaliação.
"[Planejamos] combinar o melhor dos dois mundos, usando a computação para reduzir o esforço manual e permitindo que os cientistas apliquem com mais eficiência sua visão e julgamento humano onde são mais necessários, "Disse Burrows.
