p As palavras "publicado em um jornal revisado por pares" às vezes são consideradas o padrão ouro em ciências. Mas qualquer cientista profissional lhe dirá que o fato de um artigo ter sido submetido à revisão por pares está muito longe de ser uma garantia de qualidade inflexível. p Para saber qual ciência você deve realmente confiança, você precisa pesar os indicadores sutis que os cientistas consideram.

p Reputação do jornal

p A posição da revista em que um artigo é publicado é a primeira coisa.

p Para cada campo científico, revistas gerais (como a Nature, Ciência e Proceedings of the National Academy of Science ) e muitos mais periódicos especializados (como o Journal of Biological Chemistry ) Estão disponíveis. Mas é importante reconhecer que existem hierarquias.

p Alguns periódicos são considerados de maior prestígio, ou francamente, melhor do que outros. O "fator de impacto" (que reflete quantas citações os artigos na revista atraem) é simples, se medida controversa, da importância de um diário.

p Na prática, todo pesquisador carrega uma lista mental dos principais periódicos relevantes em sua cabeça. Ao escolher onde publicar, cada cientista faz seu próprio julgamento sobre o quão interessantes e confiáveis ​​são seus novos resultados.

p Se os autores almejam muito alto com seu jornal de destino, então o editor provavelmente rejeitará o artigo imediatamente com base no "interesse" (antes mesmo de considerar a qualidade científica).

p Se um autor pretende muito baixo, então, eles poderiam estar se vendendo a descoberto - isso poderia representar uma oportunidade perdida de um papel troféu em um jornal importante que todos reconheceriam como significativo (mesmo que apenas por causa de onde foi publicado).

p Os pesquisadores às vezes falam de seu trabalho em uma carta ao editor, e vise a um periódico um nível acima de onde eles esperam que o manuscrito acabe. Se o seu trabalho for aceito, eles ficam felizes. Se não, eles reenviam para uma classificação inferior, ou no eufemismo padrão, uma "revista mais especializada". Isso desperdiça tempo e esforço, mas é a realidade da vida na ciência.

p Nem editores nem autores gostam de errar. Eles estão pesando a pressão para quebrar uma história com uma grande manchete contra o medo de cometer um erro. Um erro neste contexto significa publicar um resultado que se torna rapidamente envolvido em polêmica.

p Para se proteger contra isso, três ou quatro revisores pares (especialistas experientes na área) são nomeados pelo editor para ajudar.

p O processo de revisão por pares

p No momento de enviar um artigo, os autores podem sugerir revisores que eles acreditam serem devidamente qualificados. Mas o editor fará a escolha final, com base em sua compreensão do campo e também em quão bem e com que rapidez os revisores respondem à tarefa.

p A identidade dos revisores pares geralmente é mantida em segredo para que eles possam comentar livremente (mas às vezes isso significa que eles são bastante severos). Os revisores pares irão repetir o trabalho do editor, e aconselhar se o artigo é de interesse suficiente para a revista. Mais importante, eles também avaliarão a robustez da ciência e se as conclusões são apoiadas pelas evidências.

p Esta é a etapa crítica da "revisão por pares". Na prática, no entanto, o nível de escrutínio permanece conectado à posição do jornal. Se o trabalho está sendo considerado para um jornal importante, o escrutínio será intenso. Os principais periódicos raramente aceitam artigos, a menos que os considerem não apenas interessantes, mas também à prova d'água e à prova de balas - ou seja, eles acreditam que o resultado é algo que resistirá ao teste do tempo.

p Se, por outro lado, o trabalho está indo para um diário pouco lido com um fator de baixo impacto, então, às vezes, os revisores serão mais tolerantes. Eles ainda esperam rigor científico, mas provavelmente aceitarão alguns dados como inconclusivos, desde que os pesquisadores apontem as limitações de seu trabalho.

p Sabendo que é assim que funciona o processo, sempre que um pesquisador lê um artigo, ele faz uma anotação mental de onde o trabalho foi publicado.

p Fator de impacto do diário

p A maioria das revistas é confiável. Mas no final da lista em termos de impacto estão dois tipos de periódicos:

1. periódicos respeitáveis ​​que publicam resultados revisados ​​por pares que são sólidos, mas de interesse limitado - uma vez que podem representar becos sem saída ou tópicos locais muito especializados
2. os chamados jornais "predatórios", que são mais sinistros - nessas revistas, o processo de revisão por pares é superficial ou inexistente, e os editores basicamente cobram dos autores o privilégio de publicar.

p Cientistas profissionais irão distinguir entre os dois parcialmente com base na editora, e até o nome do jornal.

p o Biblioteca Pública de Ciências (PLOS) é uma editora respeitável, e oferece o PLOS ONE para ciência sólida - mesmo que só apele a um público limitado.

p Springer Nature lançou um jornal semelhante chamado Relatórios Científicos . Outros periódicos de boa qualidade com fatores de impacto mais baixos incluem periódicos de sociedades acadêmicas especializadas em países com populações menores - eles nunca alcançarão um grande público, mas o trabalho pode ser sólido como uma rocha.

p Os periódicos predatórios, por outro lado, costumam ser de larga escala, publicado por editores online que gerenciam muitos títulos, e às vezes têm a palavra "internacional" no título. Eles estão tentando colher um grande número de jornais para maximizar os lucros. Então, nomes como o International Journal of Science deve ser tratado com cautela, Considerando que a Jornal da Australian Bee Society pode muito bem ser confiável (observe, Eu inventei esses nomes apenas para ilustrar o ponto).

p O valor de um jornal versus um único artigo

p Os fatores de impacto tornaram-se controversos porque têm sido usados ​​em demasia como um proxy para a qualidade de artigos individuais. Contudo, aplicados estritamente, eles refletem apenas o interesse que um periódico atrai, e pode depender de alguns artigos "jackpot" que "se tornam virais" em termos de acúmulo de citações.

p Adicionalmente, enquanto artigos em revistas de maior impacto podem ter passado por mais escrutínio, há mais pressão sobre os editores e os autores dessas principais revistas. Isso significa que os atalhos podem ser usados ​​com mais frequência, o último, experimento de controle crucial pode nunca ser feito, e os periódicos acabam sendo menos confiáveis ​​do que sua reputação sugere. Essa desconexão às vezes gera críticas sobre como certos periódicos não são tão bons quanto afirmam ser - o que na verdade mantém todos em alerta.

p Embora todas as controvérsias em torno dos fatores de impacto sejam reais, todo pesquisador conhece e pensa sobre eles ou outros sistemas de classificação de periódicos (SNP - Source Normalized Impact per Paper, SJR - Scientific Journal Rankings, e outros) quando estão escolhendo em qual jornal publicar, quais papéis ler, e em quais papéis confiar.

p Nada é perfeito

p Mesmo que tudo seja feito corretamente, a revisão por pares não é infalível. Se os autores falsificarem seus dados de maneira muito inteligente, por exemplo, então pode ser difícil de detectar.

p Falsificar dados deliberadamente é, Contudo, relativamente raro. Não porque os cientistas sejam santos, mas porque é tolice falsificar dados. Se os resultados forem importantes, outros tentarão reproduzi-los e construí-los rapidamente. Se um resultado falso for publicado em um jornal importante, é quase certo que será descoberto. Isso acontece de vez em quando, e é sempre um escândalo.

p Erros e negligência são muito mais comuns. Isso pode estar relacionado ao aumento da urgência, pressão para publicar e prevalência de grandes equipes onde ninguém pode entender toda a ciência. Novamente, Contudo, apenas erros inconseqüentes sobreviverão - os erros mais importantes serão detectados rapidamente.

p Você pode confiar no edifício que é a ciência moderna?

p Usualmente, pode-se ter uma ideia de quão provável é que uma parte da ciência revisada por pares seja sólida. Isso acontece quando se confia na combinação do orgulho e da reputação dos autores, e dos editores da revista, e dos revisores pares.

p Portanto, confio na combinação do sistema de revisão por pares e no fato inerente de que a ciência é construída sobre bases anteriores. Se esses estiverem instáveis, as rachaduras aparecerão rapidamente e as coisas serão corrigidas.

p Também estou animado com as novas oportunidades para sistemas ainda melhores e mais rápidos que estão surgindo como resultado dos avanços na tecnologia da informação. Isso inclui modelos de revisão por pares pós-publicação (em vez de pré-publicação). Talvez isso crie uma maneira de formalizar as discussões que de outra forma aconteceriam no Twitter, e isso pode levantar dúvidas sobre a validade dos resultados publicados.

p A revista eLife está virando a revisão por pares de cabeça para baixo. Ele está se oferecendo para publicar tudo que considerar de interesse suficiente, e, então, permitir que os autores escolham responder ou não aos pontos levantados na revisão por pares após a aceitação do manuscrito. Os autores podem até optar por abster-se de prosseguir, se acharem que os pontos das respostas dos colegas expõem o trabalho como defeituoso.

p ELife também tem um sistema onde os revisores se reúnem e fornecem uma única revisão moderada, aos quais seus nomes são anexados e que são publicados. Isso evita o problema do anonimato, permitindo um tratamento excessivamente duro.

p Contudo, devemos ter certeza de que a ciência importante é sólida (e a ciência periférica não validada) devido à revisão por pares, transparência, escrutínio e reprodução dos resultados em publicações científicas. No entanto, em alguns campos onde a reprodução é rara ou impossível - estudos de longo prazo dependendo de dados estatísticos complexos - é provável que o debate científico continue.

p Mas mesmo nesses campos, o escrutínio sem fim por outros pesquisadores, junto com as reputações orgulhosamente protegidas de autores e periódicos, significa que mesmo que nunca seja perfeito, o método científico permanece mais confiável do que todos os outros. p Este artigo foi publicado originalmente em The Conversation. Leia o artigo original.