Revisão por pares: um mal necessário? (Parte 2)

Clique aqui para ler a parte 1.

“É isso mesmo? Revisão por pares é isso ai?”

Quando perguntadas a respeito de suas opiniões sobre a revisão por pares e o seu papel na Ciência, tanto pessoas inseridas no mundo acadêmico quanto o público em geral vêm este procedimento como algo benéfico. Muitos identificam a revisão por pares como um processo avaliativo da ciência sobre si mesma, capaz de separar o joio do trigo, garantindo a integridade geral deste sistema. Tal afirmação é verdade, em parte. Apesar de parecer bonito no papel, o peer review que é feito hoje em dia comete muitos erros e foge dos pressupostos teóricos que toma por base, dando motivo para a desconfiança. E quais erros e motivos são esses?

Problema número 1) A identificação mútua entre os autores e os revisores do artigo é um tema central desta discussão e por conta dela existem três tipos de revisão por pares (veja o texto anterior para saber mais). Em duas delas – simples- e duplo-cego – os revisores se mantêm anônimos perante os autores e este véu que cobre seus rostos é alvo de duras críticas, pois o anonimato pode ser um problema de mão-dupla. Para os autores, a omissão das identidades daqueles que julgam o trabalho pode favorecer uma conduta mal-educada ou até antiética. Caso você pergunte para algum amigo ou colega que já submeteu um artigo para uma revista onde o revisor não era identificado, talvez ele possa te contar uma opinião pessoal de um revisor que foi particularmente rude ou até desinteressado na revisão do trabalho. Recentemente um caso na revista Plos One ganhou os holofotes, pois um dos revisores foi claramente sexista ao avaliar a qualidade do artigo simplesmente porque as autoras eram mulheres, e chegou ao ponto de sugerir que um autor homem fosse incluído para melhorar o trabalho.

Do ponto de vista do revisor, o anonimato é ruim porque esconde a contribuição feita por ele ao artigo. Revisar um artigo – quando feito da maneira correta – não é tarefa fácil. O revisor deve se empenhar não só na compreensão do trabalho mas também na construção de argumentos que venham a avaliar e melhorar a qualidade daquela pesquisa. É frustrante quando, após todo esse trabalho, sua dedicação não é reconhecida. Quando adicionamos ao irrisório reconhecimento recebido pelo revisor o aumento da carga de trabalho dos pesquisadores/professores, cria-se um ambiente onde poucas pessoas se interessam em serem revisoras. O que acontece então é que os poucos que se disponibilizam são soterrados por uma pilha de pedidos de revisão e o processo fica lento pois o gargalo é estreito. Portanto, os incentivos para ser um revisor são escassos.

“Pobre alma. Destruído pela revisão por pares.”

Problema número 2) Além do anonimato, todo o processo de revisão por pares é muito susceptível à manipulações. Uma prática que já foi detectada algumas vezes é o self peer review (auto revisão por pares). Nestes casos um determinado pesquisador cria diversas contas de emails falsas para si mesmo, e assim engana a revista para qual submete seu artigo dizendo que tais emails correspondem a pesquisadores da sua área e que poderiam atuar como revisores. Desse jeito o editor de tal revista envia para o próprio autor o seu trabalho para revisão e este atua ao mesmo tempo como réu e juiz. Outra falha do peer review foi evidenciada pelo uso do software SCIgen. Este programa é capaz de criar manuscritos de pesquisas falsos combinando textos semiestruturados e dados fictícios. Contudo, o programa não consegue construir uma narrativa coesa ao longo do artigo o que torna possível a identificação da falcatrua após uma boa lida. Porém, a baixa qualidade ou até a falta de revisão por pares de muitas revistas foi tão grande que tais artigos falsos chegaram a ser publicados como pesquisas sérias.

Em um outro caso, após se irritar pela quantidade abusiva de emails enviados por uma revista para que submetesse artigos para ela, um pesquisador australiano criou um artigo que do seu título até a última referência (incluindo gráficos) dizia apenas “Get me off your fucking mailing list” (Me tire da sua maldita lista de emails). Achando que a simples submissão desse artigo seria suficiente para que os editores da revista se tocassem e o deixassem em paz, uma coisa mais bizarra ainda aconteceu: o artigo foi aceito e publicado! Ou seja, dependendo de onde você quiser publicar, nem precisa se preocupar com o que for escrever. Portanto, por água abaixo o argumento de que supostamente a revisão por pares separa o bom do ruim no mundo científico.

Problema número 3) Um terceiro defeito da revisão por pares é o fato de que ela é uma barreira para inovações científicas. Pode parecer absurdo que justamente dentro da ciência, lugar onde se espera que surjam inovações e descobertas, encontramos um mecanismo que é contrário a isso. O problema da revisão por pares nesse sentido é ela ser usada como um controle de qualidade, e para exercer tal função ela deve seguir um molde pré-determinado daquilo que é bom ou ruim. Se um trabalho foge daquilo que ela considera bom, consequentemente ele não pode ser publicado. Em muitos casos, as inovações demandam de uma descontrução daquilo que é padrão para o surgimento de algo novo (se alguém tivesse determinado que celulares devessem sempre ter botões, o touchscreen talvez nunca teria sido inventado). Apesar de ser difícil encontrar exemplos de pesquisas inovadoras que foram barradas pela revisão por pares (justamente porque elas não foram publicadas) algumas deles chegaram a ser publicados após insistência de seus respectivos autores. Eis aqui alguns dos exemplos mais famosos:

Nature: “Seu artigo foi negado.”
Krebs: “Eu sou a diva que você quer copiar.”

– O artigo submetido em 1937 por Hans Krebs descrevendo o ciclo do ácido cítrico (ciclo de Krebs) foi rejeitado pela Nature. Alguns anos depois, Krebs ganhou o Nobel por este e outros trabalhos.

– Em 1964, a revista Physics Letters rejeitou o artigo de Peter Higgs no qual ele começava a desenvolver sua teoria sobre o Bóson de Higgs. Em 2013, Higgs e Englert ganharam o Nobel pelo seu trabalho com a “partícula de Deus”.

– Tanto a Science quanto a Nature rejeitaram o artigo de 1987 de Kary Mullis sobre reação em cadeia da polimerase (polymerase chain reaction, PCR). Advinha? Mullis ganhou o Nobel em 1993.

*Boa notícia: se o seu artigo não for aceito pela Nature você ainda pode ganhar o Nobel*

E agora, depois de ler sobre esses três problemas da revisão por pares você ainda acha que esse mecanismo é tão essencial para o desenvolvimento científico de qualidade?

Apesar de todos esses erros, existe muita gente remando contra a maré deste sistema problemático e propondo algumas soluções. Eu falei brevemente sobre uma destas soluções no texto anterior: a revisão por pares totalmente transparente onde não existem indivíduos anônimos e todos os documentos estão abertos para a consulta. Este processo foi implementado pela primeira vez em 1999 quando uma revista fez uma pesquisa e descobriu que identificar ou não os revisores não influenciava na qualidade das revisões. Assim, o corpo editorial de tal revista argumentou que por princípios éticos eles estavam abrindo o processo de revisão por pares. Outras revistas seguiram este modelo e atualmente existem vários exemplos desta prática. A transparência da revisão por pares não só favorece os autores, pois inibe as revisões rudes e desconstrutivas, mas também os revisores, pois deixa claro o seu papel no melhoramento de tal pesquisa.

Em resposta ao SCIgen foi construído o SCIDetect. Este software detecta artigos falsos criado pelo SCIgen e outros programas similares como Mathgen e Physgen. Teoricamente, este programa soluciona o problema da identificação destes artigos falsos, porém ele o não arranca pela raiz, que é a baixa atenção dada por muitas revistas ao processo de revisão por pares. Outra abordagem bem inovadora é o processo de revisão pós-publicação onde o artigo é publicado rapidamente e logo em seguida aberto à revisão. Desde 1991 o repositório online ArXiv emprega a revisão pós-publicação só que mais recentemente algumas revistas abraçaram tal ideia e vem desenvolvendo abordagens ainda mais inovadoras. Segundo eles, o processo de revisão deve ser algo constante e não limitado apenas ao momento da submissão. Para resolver o problema da falta de incentivos e recompensas aos revisores plataformas como o Publons ou o PubPeer se tornaram parceiras das revistas e começaram a premiar pesquisadores que se dedicam a revisar artigos já publicados. Ao revisar estes artigos os pesquisadores acumulam pontos que podem ser convertidos em benefícios e presentes. Soluções para os defeitos específicos da revisão por pares estão sendo desenvolvidas e implementadas, no entanto, todas essas alternativas são recentes e ainda carecem de uma prova a longo prazo de seu funcionamento.

A que ponto chegamos ao fim desta discussão? A revisão por pares deve ser abolida de vez? Devemos apoiá-la pois em certa medida ela garante o bom continuamento da ciência? Podemos confiar na ciência se o mecanismo que a “regula” é falho? Sendo realista, os problemas são muitos e são graves. Chegamos a um momento onde, por conta de problemas como as falhas da revisão por pares, publish or perish, a validade da ciência é questionada pelos próprios cientistas e instituições que a fazem. Há uma luz no fim do túnel? Creio que sim. Se por um lado os mecanismos de vigilância sobre a ciência devem ser fortalecidos e executados, por outro os cientistas devem estar dispostos a abrir as portas de seus laboratórios e criar um ambiente no qual as más-condutas serão expurgadas. Espero que aos poucos a cultura de “a pesquisa é minha e ninguém põe a mão” caia por terra e o espirito colaborativo prevaleça. Se este modelo for implantado, a revisão por pares se tornaria cada vez mais uma argumentação científica e menos um julgamento pontual¹.

¹ Richard Smith em Opening up BMJ peer review 1999

Referências

van Rooyen, S. et al 1999 Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. BMJ

Mulligan, A. 2013 The peer review landscape: what do researchers think?

Siler, K. et al., 2015 Measuring the effectiveness of scientific gatekeeping PNAS