Ler na fonte | Autor: C. Gerardo S. Ciepielewski

---

Na era do podcast em massa, dos gurus do TikTok e das alucinações da inteligência artificial, separar o verdadeiro do falso torna-se cada vez mais difícil. Não é apenas que corrigir a desinformação leva mais tempo do que a criá-la, mas também que, hoje em dia, gerá-la é exponencialmente mais fácil devido aos grandes modelos generativos.

Para complicar ainda mais o panorama, muitas instituições que tradicionalmente funcionaram como guardiãs do conhecimento, como os meios de comunicação, as universidades e os especialistas, têm sido alvo de ataques sistemáticos. Em junho deste ano, por exemplo, o Departamento de Saúde dos Estados Unidos, liderado por Robert F. Kennedy Jr., qualificou de “ciência de lixo” revistas científicas tão prestigiadas como a Nature. O irónico é que um relatório recente publicado por esse mesmo departamento revelou-se estar cheio de citações inventadas e deturpações de artigos científicos reais.

Por vezes, as críticas a estas instituições epistémicas são justificadas. Muitas outras vezes, não. Em qualquer caso, há algo que nunca deve ser ignorado: toda a sociedade avançada necessita de mecanismos fiáveis para separar o que é razoável daquilo que não o é. Rejeitar isto é renunciar ao projeto de distinguir entre conhecimento e mera opinião: é acreditar que o seu vizinho tem a mesma preparação que um cirurgião para o operar.

Uma dessas instituições que mais vale a pena compreender — e defender — são as revistas especializadas. Embora nem sempre estejam isentas de erros ou vieses, a sua função continua a ser central para sustentar a arquitetura do conhecimento fiável.

Este artigo é um guia para navegar nesse mundo. Veremos como distinguir uma revista fiável de uma enganadora e por que motivo a revisão por pares continua a ser um pilar crucial na ciência e noutras disciplinas. Pelo caminho, abordaremos alguns aspetos pouco compreendidos sobre como se produz conhecimento e o que realmente significa haver “consenso” na ciência (spoiler: não é o que pensa).

O que é uma revista especializada

O que é uma revista especializada? Trata-se de publicações periódicas focadas num campo do conhecimento e dirigidas principalmente a especialistas. É nelas que se propõem novas teorias e modelos, se apresentam experiências e se discutem resultados. São, em essência, o repositório onde o conhecimento da nossa espécie é consolidado e atualizado.

Embora habitualmente as associemos à ciência, praticamente todas as disciplinas com vocação académica contam com revistas especializadas: desde a física e a biologia até à história e à literatura. Exemplos bem conhecidos do âmbito científico são a Nature, The Lancet e a Science.

Nos últimos anos, no entanto, surgiu um número preocupante de publicações que poderíamos chamar de “pseudorevistas especializadas”. Estas imitam o formato de uma revista académica legítima — ostentam um nome sério, têm um website profissional, artigos com gráficos —, mas operam sem controlos de qualidade. O seu modelo de negócio baseia-se geralmente em cobrar aos autores para publicar, sem uma revisão editorial rigorosa, e em enviar spam a milhares de investigadores, convidando-os a publicar (daí que em inglês sejam conhecidas como Predatory Journals ou Revistas Predatórias).

Quão maus são os seus padrões? O caso de Peter Vamplew, professor na Federation University Australia, exemplifica quão defeituosos os seus métodos de seleção podem ser. Irritado com a quantidade de spam que recebia da revista International Journal of Advanced Computer Technology, Vamplew enviou um artigo à revista intitulado ‘Get me off Your Fucking Mailing List’ (o “artigo” tinha sido escrito anteriormente pelos cientistas David Mazières e Eddie Kohler). Para sua surpresa, o artigo foi avaliado como “excelente” e aceite para publicação (não foi publicado porque Vamplew não efetuou o pagamento de 150 dólares necessário).

Qual a dimensão do problema? O bibliotecário Jeffrey Beall compilou uma lista destas publicações — a controversa Beall’s List — que chegou a incluir milhares de pseudorevistas especializadas. Esta lista, e outras semelhantes, foram criticadas, por vezes de forma justificada, por incluírem revistas que provavelmente não deveriam estar presentes, por a lista parecer enviesada contra revistas de países menos desenvolvidos e por haver critérios importantes que a lista ignora. Com o tempo, Beall viu-se forçado a retirá-la devido a pressões externas.

Estamos, portanto, perante um panorama misto: por um lado, as revistas especializadas constituem a infraestrutura onde se constrói o conhecimento sério; por outro, existem milhares de publicações que propagam conteúdos duvidosos com aparência científica. Como distingui-las? Motores de busca como o Google Scholar não são úteis aqui, porque costumam indexar todo o tipo de artigos, sem filtrar entre revistas legítimas e pseudorevistas. A sua função é encontrar artigos, não avaliar a sua proveniência.

É aqui que posso oferecer alguma ajuda. Como autor e revisor (árbitro) para um conjunto de revistas académicas em filosofia e física (entre elas o European Journal for Philosophy of Science e a Revista Mexicana de Física), aprendi que existem três critérios básicos que podem ajudá-lo a identificar se uma revista é fiável.

1. A revista está na Master Journal List

A Master Journal List é uma lista selecionada de revistas que, na opinião de um grupo de editores especializados de diversas disciplinas, demonstraram ter um alto grau de rigor e boas práticas. Se está na lista, a revista é fiável. Se não está, é necessário continuar a procurar.

2. A revista tem fator de impacto

O fator de impacto de uma revista é uma medida da sua relevância. É calculado a partir do número médio de citações que os artigos publicados nessa revista recebem num determinado período. O fator de impacto da revista Nature, por exemplo, é de 50.5, o da American Psychologist, de 12.8. Isso não significa que uma seja melhor que a outra, mas sim que a Nature é mais relevante para a comunidade científica em geral, algo que pode dever-se, entre outras coisas, à diversidade de temas que aborda. O importante para nós aqui é que as revistas especializadas genuínas costumam apresentar o seu fator de impacto de forma clara na sua página web, enquanto as pseudorevistas especializadas não o fazem. Assim, se tem fator de impacto, bom. Se não tem, desconfie.

3. A revista aplica revisão por pares

A revisão por pares consiste na avaliação do trabalho enviado à revista por parte de especialistas (árbitros ou revisores) antes da sua publicação. Embora os detalhes variem de revista para revista, em geral, o processo é o seguinte:

1. O artigo chega à revista.
2. Os editores da revista analisam o artigo e decidem se este satisfaz minimamente os critérios básicos da revista.
3. Os editores procuram dois ou mais revisores que sejam especialistas na área.
4. Os revisores avaliam o trabalho, comentam-no e fazem recomendações aos editores sobre se o trabalho é aceitável, se precisa de melhorias ou se deve ser rejeitado.
5. Com base nos comentários dos revisores, os editores tomam a decisão final de aceitar ou rejeitar o artigo para publicação.

O que é o “consenso científico”

Para alguém alheio à academia (e até para alguns académicos), o processo de revisão por pares parece, na melhor das hipóteses, um procedimento que melhora marginalmente a qualidade dos artigos e, na pior, um trâmite incómodo que os académicos devem seguir. É difícil estar mais enganado. Para ter clara a importância da revisão por pares, será útil fazer algumas observações sobre como a ciência é feita no mundo (o que direi aqui também se aplica, na sua maioria, a outras áreas como a matemática, a filosofia e a história).

Que teorias, observações ou experiências fazem parte do corpo científico? Uma resposta comum é dizer que o “consenso científico” o determina. Mas esta expressão pode levar a mal-entendidos: dá a impressão de que a ciência funciona por votação, como se a cada seis meses a comunidade científica se reunisse para decidir o que continua a fazer parte do Modelo Padrão. Não é assim.

Na prática, as ideias científicas sobrevivem — ou não — dentro de um ecossistema exigente: o sistema de revistas especializadas. Neste sistema, o trabalho dos especialistas é avaliado, em parte, pelo número e pela qualidade das suas publicações. Assim, existem incentivos para detetar erros (criticar uma má ideia pode dar origem a um novo artigo), para propor novas hipóteses ou experiências (cada boa ideia é, pelo menos, um artigo) e para agir com integridade (os casos de fraude são severamente punidos, como exemplifica o recente caso da professora Francesca Gino).

O único “consenso” que emerge neste sistema não é uma votação nem um acordo explícito: é o resultado de muitas ideias que resistiram — até agora — ao escrutínio constante de outros especialistas.

A revisão por pares é um dos elementos mais importantes neste sistema. Sem este processo, o repositório do nosso conhecimento incluiria muitos artigos que, por uma razão ou outra, são problemáticos. Na minha própria experiência, de 10 artigos que me pedem para rever, acabo por rejeitar nove. A Nature, uma das revistas especializadas mais importantes, reporta que apenas 8% dos artigos que lhe são enviados acabam por ser publicados. Claro que o sistema não é perfeito. Há e sempre haverá casos em que um bom artigo não é publicado e casos em que maus artigos são publicados. Felizmente, o sistema também inclui incentivos para corrigir estes males. Além disso, e quero deixar isto claro, é sempre uma boa ideia que o sistema esteja aberto à crítica e à implementação de melhorias.

Para ilustrar a utilidade da revisão por pares, pensemos no caso de Eric Weinstein. Investidor de profissão e popular em certos podcasts (Joe Rogan, Lex Fridman, Sam Harris), Weinstein propôs uma “teoria de tudo” a que chama Geometric Unity (uma teoria de tudo é uma teoria que unifica todas as forças fundamentais da natureza num único quadro teórico). Sem a formação necessária, a tarefa de avaliar a verosimilhança desta teoria parece impossível. Felizmente, a existência de revistas especializadas em física e a prática da revisão por pares fornecem-nos uma forma de fazer essa avaliação. O relevante é o seguinte: Weinstein nunca publicou a sua teoria numa revista conceituada. Em vez de a submeter a revisão, optou por falar dela em entrevistas, podcasts e num artigo distribuído pela internet.

Isso basta para que a comunidade científica não a leve a sério. Não porque haja uma conspiração contra Weinstein, mas porque, sem revisão por pares, não há forma de saber se o que ele diz cumpre sequer os padrões básicos de uma teoria científica.

Aliás, pelo menos dois especialistas que têm a formação formal necessária e que se deram ao trabalho de avaliar a Geometric Unity consideram-na defeituosa e incompleta.

Não é surpreendente que a revisão por pares, de uma forma ou de outra, faça parte das revistas especializadas não há décadas, mas há séculos. A primeira revista especializada que usou uma forma limitada de revisão por pares foi a primeira edição da Philosophical Transactions of the Royal Society, em 1665!

O artigo

Suponhamos que a revista do artigo que estamos a considerar satisfaz as três condições: está na Master Journal List, apresenta o seu fator de impacto e aplica a revisão por pares. Podemos então confiar no artigo?

Antes de o levar a sério, convém verificar dois aspetos. O primeiro é verificar que o texto em questão é realmente um artigo académico na revista e não outro tipo de documento, como uma carta ao editor ou uma peça de opinião. O segundo é verificar o estado atual do artigo dentro da revista. Se, depois de publicado, se descobre que um artigo tem um problema grave, é provável que a sua publicação tenha sido retirada (retracted), como aconteceu com alguns artigos sobre medicamentos supostamente eficazes para a COVID-19.

O que se segue, então, é ler o artigo, correto? Mais ou menos. Em muitos casos, compreender um artigo académico em detalhe exigirá do leitor um conhecimento técnico, formal e contextual considerável. Afinal, estes textos são dirigidos a especialistas.

Dito isto, se tiver tempo suficiente, é sempre possível empreender a tarefa de desvendar gradualmente o conteúdo de um artigo especializado. Não é minha intenção desencorajar ninguém de o fazer — eu mesmo já dediquei dias a essa tarefa —, mas quero alertar que existem formas mais acessíveis de abordar um artigo quando não se é especialista.

O segredo está em concentrar-se nas interpretações, opiniões e conclusões que os próprios autores extraem do seu trabalho. Estas costumam encontrar-se no resumo, na introdução и na secção de conclusões.

Independentemente de o artigo incluir 50 páginas de demonstrações de teoremas formais no contexto de uma teoria de campos arcana e pouco acessível, o autor inevitavelmente resumirá os seus resultados em linguagem natural. Como não especialistas, o melhor é dar peso a essas afirmações e confiar que o sistema de revistas especializadas fez o seu trabalho: que o artigo foi revisto criticamente por especialistas antes de ser publicado e que o seu conteúdo, pelo menos no momento da publicação, foi considerado sólido e relevante pela comunidade científica.

es.wired.com · por 
C. Gerardo S. Ciepielewski · 21 de julho de 2025