p "A previsão é muito difícil, especialmente se for sobre o futuro, "O Prêmio Nobel Niels Bohr disse uma vez. p Julie Bessac, pesquisadora da Argonne, e seu colega francês Philippe Naveau concordam - e eles empreenderam um estudo para talvez aliviar a dificuldade na avaliação da previsão do tempo. Seu papel, intitulado "Avaliação de previsão com observações imperfeitas e modelos imperfeitos, "concentra-se em novas métricas de avaliação de qualidade, regras de pontuação, para contabilizar erros em observações e previsões.

p Os esquemas de pontuação clássicos geralmente envolvem a comparação de diferentes previsões com observações. Mas essas observações quase sempre têm erros - devido, por exemplo, problemas de gravação de dados ou deficiências do instrumento. De fato, um estudo recente mostrou que a pontuação de logaritmo clássica usada por tais esquemas é enganosa na seleção da melhor previsão quando erros de observação estão presentes, e que a distribuição probabilística dos dados de verificação deve depender da modelagem de processos físicos subjacentes que não são observados.

p Com base nos resultados desse estudo, Bessac e Naveau propuseram um novo modelo de pontuação que combina previsões e distribuições de observação para corrigir uma pontuação quando erros estão presentes nos dados de verificação e na previsão. Eles também destacaram a necessidade de investigar mais estatísticas do que a pontuação média comumente usada na prática.

p A equipe comparou / formulou sua nova abordagem com dois modelos populares. O primeiro modelo ajuda a compreender o papel e o impacto dos erros de observação em relação ao verdadeiro estado não observado da atmosfera X, mas não incorpora a ideia de erro de previsão. No segundo modelo, as observações Y e as previsões Z são modeladas como versões com erros do estado da atmosfera X, o que novamente não é observado.

p "Distinguir entre a verdade não observada (processos ocultos) e os dados de verificação observados (mas incorretos) é fundamental para compreender o impacto de observações imperfeitas na modelagem de previsão, "disse Bessac, como assistente estatístico computacional na Divisão de Matemática e Ciência da Computação da Argonne.

p O novo modelo oferece várias vantagens:(1) propõe uma estrutura simples para contabilizar erros nos dados de verificação e na previsão; (2) destaca a importância de explorar a distribuição dos escores em vez de focar apenas na média; e (3) mostra a importância de contabilizar erros nos dados de verificação que podem ser potencialmente enganosos.

p O modelo foi testado em dois casos onde os parâmetros das distribuições envolvidas são considerados conhecidos. Embora esses sejam casos idealizados, os pesquisadores enfatizaram que os resultados do teste destacam a importância de investigar a distribuição das pontuações quando os dados de verificação são considerados uma variável aleatória.