Dependemos de catalisadores para transformar o nosso leite em iogurte, para produzir post-its a partir de pasta de papel e para desbloquear fontes de energia renováveis, como os biocombustíveis. Encontrar materiais catalisadores ideais para reações específicas requer experimentos trabalhosos e cálculos de química quântica computacionalmente intensivos.



Muitas vezes, os cientistas recorrem às redes neurais gráficas (GNNs) para capturar e prever a complexidade estrutural dos sistemas atômicos, um sistema eficiente somente após a conclusão da conversão meticulosa de estruturas atômicas 3D em coordenadas espaciais precisas no gráfico.

CatBERTa, um modelo de transformador de previsão de energia, foi desenvolvido por pesquisadores da Faculdade de Engenharia da Universidade Carnegie Mellon como uma abordagem para lidar com a previsão de propriedades moleculares usando aprendizado de máquina.

"Esta é a primeira abordagem que usa um modelo de linguagem grande (LLM) para esta tarefa, por isso estamos abrindo um novo caminho para modelagem", disse Janghoon Ock, Ph.D. candidato no laboratório de Amir Barati Farimani.

Um diferencial importante é a capacidade do modelo de empregar texto diretamente (linguagem natural) sem qualquer pré-processamento para prever as propriedades do sistema catalisador-adsorbato. Este método é notavelmente benéfico, pois permanece facilmente interpretável por humanos, permitindo que os pesquisadores integrem características observáveis ​​em seus dados de maneira transparente.

Além disso, a aplicação do modelo do transformador em suas pesquisas oferece insights substanciais. As pontuações de autoatenção, em particular, são cruciais para melhorar a sua compreensão da interpretabilidade dentro deste quadro.

“Não posso dizer que será uma alternativa às GNNs de última geração, mas talvez possamos usar isto como uma abordagem complementar”, disse Ock. "Como se costuma dizer:'Quanto mais, melhor'."

O modelo oferece precisão preditiva comparável à alcançada por versões anteriores de GNNs. Notavelmente, CatBERTa teve mais sucesso quando treinado em conjuntos de dados de tamanho limitado. Além disso, CatBERTa superou as capacidades de cancelamento de erros dos GNNs existentes.

A equipe se concentrou na energia de adsorção, mas disse que a abordagem pode ser estendida a outras propriedades, como a lacuna HOMO-LUMO e estabilidades relacionadas a sistemas catalisadores de adsorbato, dado um conjunto de dados adequado.

Ao integrar as capacidades de modelos de linguagem extensivos com as demandas de descoberta de catalisadores, a equipe pretende agilizar o processo de triagem eficaz de catalisadores. Ock está trabalhando para melhorar a precisão do modelo.

As descobertas foram publicadas na revista ACS Catalysis .

Mais informações: Janghoon Ock et al, Catalyst Energy Prediction with CatBERTa:Unveiling Feature Exploration Strategies through Large Language Models, ACS Catalysis (2023). DOI:10.1021/acscatal.3c04956
Informações do diário: Catálise ACS

Fornecido pela Engenharia Mecânica da Carnegie Mellon University