Os laboratórios de química baseados em IA realmente funcionam? Novas métricas prometem respostas
Principais métricas para quantificar o desempenho em SDLs. As métricas ilustradas incluem grau de autonomia, vida útil operacional, rendimento, precisão experimental, uso de material, espaço de parâmetros acessível e eficiência de otimização. Crédito:Nature Communications (2024). DOI:10.1038/s41467-024-45569-5 Os campos da química e da ciência dos materiais estão a assistir a um aumento do interesse em “laboratórios autónomos”, que utilizam inteligência artificial (IA) e sistemas automatizados para agilizar a investigação e a descoberta. Os investigadores estão agora a propor um conjunto de definições e métricas de desempenho que permitirão aos investigadores, não especialistas e futuros utilizadores compreender melhor o que estas novas tecnologias estão a fazer e o desempenho de cada tecnologia em comparação com outros laboratórios autónomos.
Os laboratórios autônomos são uma promessa tremenda para acelerar a descoberta de novas moléculas, materiais e processos de fabricação, com aplicações que vão desde dispositivos eletrônicos até produtos farmacêuticos. Embora as tecnologias ainda sejam relativamente novas, algumas demonstraram reduzir o tempo necessário para identificar novos materiais de meses ou anos para dias.
“Os laboratórios autônomos estão atraindo muita atenção neste momento, mas há muitas questões pendentes em relação a essas tecnologias”, diz Milad Abolhasani, autor correspondente de um artigo sobre as novas métricas e professor associado de engenharia química e biomolecular. na Universidade Estadual da Carolina do Norte.
"Esta tecnologia é descrita como sendo 'autônoma', mas diferentes equipes de pesquisa estão definindo 'autônoma' de maneira diferente. Da mesma forma, diferentes equipes de pesquisa estão relatando diferentes elementos de seu trabalho de maneiras diferentes. Isso torna difícil comparar essas tecnologias com uns com os outros, e a comparação é importante se quisermos aprender uns com os outros e avançar no campo.
"O que o Self-Driving Lab A faz realmente bem? Como poderíamos usar isso para melhorar o desempenho do Self-Driving Lab B? Estamos propondo um conjunto de definições compartilhadas e métricas de desempenho, que esperamos que sejam adotadas por todos que trabalham neste espaço. O objetivo final será permitir que todos nós aprendamos uns com os outros e avancemos nessas poderosas tecnologias de aceleração de pesquisa."
“Por exemplo, parece que estamos a ver alguns desafios em laboratórios autónomos relacionados com o desempenho, a precisão e a robustez de alguns sistemas autónomos”, diz Abolhasani.
"Isso levanta questões sobre o quão úteis essas tecnologias podem ser. Se tivermos métricas e relatórios de resultados padronizados, poderemos identificar esses desafios e entender melhor como enfrentá-los."
No centro da nova proposta está uma definição clara de laboratórios autônomos e sete métricas de desempenho propostas, que os pesquisadores incluiriam em qualquer trabalho publicado relacionado aos seus laboratórios autônomos.
Grau de autonomia:quanta orientação um sistema precisa dos usuários?
Vida útil operacional:por quanto tempo o sistema pode operar sem intervenção dos usuários?
Rendimento:quanto tempo leva para o sistema executar um único experimento?
Precisão experimental:quão reproduzíveis são os resultados do sistema?
Uso de materiais:qual é a quantidade total de materiais usados por um sistema para cada experimento?
Espaço de parâmetros acessível:até que ponto o sistema pode levar em conta todas as variáveis em cada experimento?
Eficiência da otimização.
“A eficiência da otimização é uma das métricas mais importantes, mas também é uma das mais complexas – não se presta a uma definição concisa”, diz Abolhasani. "Essencialmente, queremos que os investigadores analisem quantitativamente o desempenho do seu laboratório autónomo e do seu algoritmo de seleção de experiências, comparando-o com uma linha de base - por exemplo, amostragem aleatória.
“Em última análise, acreditamos que ter uma abordagem padronizada para relatórios sobre laboratórios autônomos ajudará a garantir que este campo esteja produzindo resultados confiáveis e reprodutíveis que aproveitem ao máximo os programas de IA que capitalizam os grandes conjuntos de dados de alta qualidade produzidos por laboratórios autônomos. -laboratórios de direção", diz Abolhasani.
O artigo, "Métricas de desempenho para liberar o poder dos laboratórios autônomos em química e ciência de materiais", foi publicado em acesso aberto na revista Nature Communications .
Mais informações: Amanda A. Volk et al, Métricas de desempenho para liberar o poder dos laboratórios autônomos em química e ciência de materiais, Nature Communications (2024). DOI:10.1038/s41467-024-45569-5 Fornecido pela Universidade Estadual da Carolina do Norte