As empresas podem contar com os resultados de um ou dois estudos científicos para projetar um novo processo industrial ou lançar um novo produto? Em pelo menos uma área da química de materiais, a resposta pode ser sim - mas apenas 80% das vezes.

A replicabilidade dos resultados de estudos científicos tornou-se uma grande fonte de preocupação na comunidade de pesquisa, particularmente nas ciências sociais e ciências biomédicas. Mas muitos pesquisadores nas áreas de engenharia e ciências exatas não sentiram o mesmo nível de preocupação com a validação independente de seus resultados.

Um novo estudo que comparou os resultados relatados em milhares de artigos publicados sobre as propriedades dos materiais de estrutura orgânica metálica (MOF) - que são candidatos proeminentes para adsorção de dióxido de carbono e outras separações - sugere que o problema de replicabilidade deve ser uma preocupação para os pesquisadores de materiais, também.

Um em cada cinco estudos de materiais do MOF examinados por pesquisadores do Georgia Institute of Technology foram considerados "outliers, "com resultados muito além das barras de erro normalmente usadas para avaliar os resultados do estudo. Os milhares de trabalhos de pesquisa renderam apenas nove compostos MOF para os quais quatro ou mais estudos independentes permitiram a comparação apropriada dos resultados.

"Em um nível fundamental, Acho que as pessoas em química de materiais sentem que as coisas são reproduzíveis e que podem contar com os resultados de um único estudo, "disse David Sholl, um professor e John F. Brock III School Chair na Georgia Tech School de Engenharia Química e Biomolecular. "Mas o que descobrimos é que, se você fizer qualquer experimento ao acaso, há uma chance em cinco de que os resultados estejam completamente errados - não apenas ligeiramente errados, mas não chega nem perto. "

Se os resultados podem ser mais amplamente aplicados a outras áreas da ciência dos materiais aguarda estudos adicionais, Sholl disse. Os resultados do estudo, que foi apoiado pelo Departamento de Energia dos EUA, foram publicados em 28 de novembro na revista ACS Química de Materiais .

Sholl escolheu MOFs porque são uma área de interesse para seu laboratório - ele desenvolve modelos para os materiais - e porque o Instituto Nacional de Padrões e Tecnologia (NIST) e a Agência de Projetos de Pesquisa Avançada-Energia (ARPA-E) já haviam montado um banco de dados resumindo as propriedades dos MOFs. Os co-autores Jongwoo Park e Joshua Howe usaram técnicas de meta-análise para comparar os resultados do teste de isoterma de adsorção de um único componente - quanto CO2 pode ser removido à temperatura ambiente.

Essa medição é direta e existem instrumentos comerciais disponíveis para fazer os testes. "As pessoas da comunidade considerariam isso um experimento quase infalível, "disse Sholl, que também é bolsista eminente da Georgia Research Alliance em sustentabilidade energética.

Os pesquisadores consideraram os resultados definitivos quando tinham quatro ou mais estudos de um determinado MOF em condições comparáveis.

As implicações para os erros na ciência dos materiais podem ser menores do que em outros campos de pesquisa. Mas as empresas poderiam usar os resultados de apenas um ou dois estudos para escolher um material que pareça mais eficiente, e em outros casos, os pesquisadores incapazes de replicar um experimento podem simplesmente passar para outro material.

"O resultado líquido é o uso não otimizado de recursos, no mínimo, "Sholl disse." E qualquer relatório usando um experimento para concluir um material é 15 ou 20 por cento melhor do que outro material deve ser visto com grande ceticismo, já que não podemos ser muito precisos nessas medidas na maioria dos casos. "

Por que a variabilidade nos resultados? Alguns MOFs podem ser meticulosos, absorvendo rapidamente a umidade que afeta a adsorção, por exemplo. Os "outliers" de um em cinco podem ser resultado da contaminação de materiais.

"Um dos materiais que estudamos é relativamente simples de fazer, mas é instável em uma atmosfera ambiente, "Sholl explicou." Exatamente o que você faz entre fazer no laboratório e testá-lo afetará as propriedades que você mede. Isso pode explicar parte do que vimos, e se um material é tão sensível, sabemos que será um problema de uso prático. "

Outros fatores que podem impedir a replicação incluem detalhes que foram inadvertidamente deixados de fora da descrição de um método - ou que os cientistas originais não perceberam que eram relevantes. Isso pode ser tão simples quanto a atmosfera precisa em que o material é mantido, ou os materiais usados ​​no aparelho que produz os MOFs.

Sholl espera que o artigo leve a mais replicação de experimentos para que cientistas e engenheiros possam saber se seus resultados são realmente significativos.

"Como resultado disso, Acho que meu grupo analisará todos os dados relatados de uma forma mais matizada, não necessariamente suspeitando que está errado, mas pensando em quão confiáveis ​​esses dados podem ser, "disse ele." Em vez de pensar nos dados como um número, precisamos sempre pensar nisso como um número mais um intervalo. "

Sholl sugere que mais relatórios de segundo, um terceiro ou quarto esforço para replicar um experimento ajudaria a aumentar a confiança dos dados nas propriedades dos materiais do MOF. O sistema de publicação científica atualmente não oferece muito incentivo para validação de relatórios, embora Sholl espere que isso mude.

Ele também acha que o assunto precisa ser discutido em todas as partes da comunidade científica, embora ele admita que pode levar a conversas "desconfortáveis".

"Apresentamos este estudo algumas vezes em conferências, e as pessoas podem ficar na defensiva sobre isso, "Sholl disse." Todo mundo no campo conhece todo mundo, por isso é sempre mais fácil simplesmente não mencionar esse problema. "

E, claro, Sholl gostaria de ver outros replicarem o trabalho que ele e sua equipe de pesquisa fizeram. "Será interessante ver se este número um em cinco se aplica a outros tipos de experimentos e materiais, "Ele acrescentou." Certamente existem outras áreas da química de materiais onde esse tipo de comparação poderia ser feito. "