Os chatbots deveriam intervir sobre as mudanças climáticas? Estudo explora o potencial das plataformas de IA para a alfabetização climática
Contagem de tópicos e resultados de precisão para GPT-4. a) Variação espacial da contagem de tópicos ao longo da primeira iteração do GPT-4, onde a contagem de tópicos aumenta de verde claro para azul escuro. b) Mapa do desvio padrão das contagens de tópicos para GPT-4 em todas as dez iterações onde o desvio padrão aumenta de amarelo claro para vermelho escuro. c) Precisões para secas (triângulos e linha laranja), ciclones (círculos e linha amarelos) e inundações (quadrados e linha verdes) para GPT-4. Mapas e gráficos foram criados pelos autores. Crédito:Comunicações Terra e Meio Ambiente (2024). DOI:10.1038/s43247-024-01392-w Os chatbots podem fornecer informações precisas sobre os perigos das alterações climáticas? Bem, isso depende de uma variedade de fatores, incluindo o tópico específico, a localização considerada e quanto o chatbot é pago, de acordo com um grupo de pesquisadores da Virginia Tech.
“Acho que descobrimos que não há problema em usar inteligência artificial, basta ter cuidado e não se pode interpretar palavra por palavra”, disse Gina Girgente, que se formou em geografia na primavera passada. "Definitivamente não é um método infalível."
Girgente fez parte de uma equipa de investigação interdisciplinar que levantou questões sobre três perigos relacionados com as alterações climáticas – tempestades tropicais, inundações e secas – em 191 países, tanto para versões gratuitas como pagas do ChatGPT. Desenvolvido pela OpenAI Inc., ChatGPT é um modelo em linguagem ampla projetado para entender perguntas e gerar respostas de texto com base nas solicitações dos usuários.
O grupo comparou então as respostas dos chatbots com os índices de risco gerados utilizando dados do Painel Intergovernamental sobre Alterações Climáticas, um órgão das Nações Unidas encarregado de avaliar a ciência relacionada com as alterações climáticas.
“No geral, encontramos mais concordância do que não”, disse Carmen Atkins, autora principal e Ph.D. estudante do Departamento de Geociências. “Os resultados gerados pela IA foram precisos em mais da metade das vezes, mas houve mais precisão com tempestades tropicais e menos com secas.”
Em artigo publicado em Communications Earth &Environment , o grupo relatou as respostas do ChatGPT4 alinhadas aos índices com os seguintes graus de precisão:
- Tempestades tropicais — 80,6%
- Inundações — 76,4%
- Secas — 69,1%
Eles também descobriram que a precisão do chatbot aumentava quando questionados sobre países mais desenvolvidos e que a versão paga da plataforma, atualmente ChatGPT-4, era mais precisa do que a versão gratuita, que na época era ChatGPT-3.5.
Encontraram menos consistência nas respostas sobre o mesmo tema quando questionados sobre determinadas regiões, especialmente muitos países de África e do Médio Oriente, que são considerados países de baixo rendimento ou em desenvolvimento. E descobriram que a versão paga da plataforma, atualmente ChatGPT-4, era mais precisa do que a versão gratuita, que na época era ChatGPT-3.5.
“Somos os primeiros a olhar para isto de uma forma sistemática, tanto quanto sabemos, e além disso, é realmente um apelo à acção para que mais pessoas analisem esta questão”, disse Atkins.
De acordo com a publicação, os pesquisadores selecionaram o serviço ChatGPT devido à sua popularidade, principalmente entre usuários de 18 a 34 anos, e à sua taxa de utilização em países em desenvolvimento.
Atkins e Girgente, que farão pós-graduação na Universidade de Denver no outono, disseram que a ideia do projeto surgiu do tempo que passaram na turma de Junghwan Kim, professor assistente do Departamento de Geografia. Lá, Kim compartilhou algumas de suas próprias pesquisas estudando os preconceitos geográficos no ChatGPT quando questionado sobre tópicos de justiça ambiental.
“Isso abriu toda a ideia das diferentes coisas que poderíamos observar com o ChatGPT”, disse Atkins. “E para mim, pessoalmente, as alterações climáticas e, especificamente, a literacia em matéria de alterações climáticas, que é fundamental para combater a desinformação, fizeram-me querer ver se o ChatGPT poderia ser útil ou prejudicial nessa questão.”
Kim também é coautor deste novo estudo, assim como Manoochehr Shirzaei, professor associado de geofísica e sensoriamento remoto.
Kim disse que sentiu que os resultados seriam especialmente importantes para compartilhar com os alunos que poderiam confiar demais nos chatbots e que eles também impactaram seu próprio uso do software.
Embora o grupo acredite que as suas descobertas demonstram a clara necessidade de uma abordagem cautelosa à utilização da inteligência artificial generativa, também acreditam que este estudo é apenas o início da investigação necessária, que terá de ser repetida à medida que os diferentes softwares continuam a evoluir.
“Esta é apenas a ponta do iceberg e, mais do que tudo, queremos apenas chamar a atenção para estas questões”, disse Atkins. “A IA generativa faz parte do nosso mundo agora, mas precisamos usá-la da maneira mais informada possível.”
