Por Prof. Dr. Claudio Gil Soares de Araújo*

É consensual que uma pujante pós-graduação deverá gerar uma produção científica de qualidade. Também é muito bem aceito que os processos educacionais, incluindo-se os programas de pós-graduação (PPG), devam ser periodicamente avaliados. O que talvez não seja tão universalmente aceito são os critérios atualmente praticados no Brasil de avaliação dos programas de pós-graduação e das respectivas produções científicas.

Há algumas décadas, o credenciamento e a avaliação dos programas PPG são gerenciados pela CAPES com bastante sucesso. Com participação importante da própria comunidade acadêmica – processo de avaliação pelos pares -, a implantação e a consolidação da sistemática de avaliação dos PPG representa um marco importante de qualidade e, pode ser considerado, como um patrimônio a ser preservado. Não obstante, como todo processo de avaliação, a avaliação da CAPES também deve estar sendo periodicamente avaliada e, se necessário for, atualizado, visando minimizar falhas e imperfeições, que, uma vez identificadas, devem corrigidas ou revisadas.

O presente texto, sucinto, lista e comenta 15 pontos que podem merecer uma discussão mais ampla e, quiçá, contribuir para uma revisão da sistemática da avaliação da produção científica dos PPG, item de excepcional ponderação na avaliação global dos PPG.

1. A avaliação dos PPG pela CAPES se caracteriza por ser expo facto. Desconheço outro processo avaliativo cujas regras sejam colocadas ou apresentadas após a realização do ato ou do jogo. Isso é particularmente preocupante em relação à produção científica. Acho que a CAPES é única nesse sentido. Isso cria um cenário de pouca transparência e dificulta, sobremaneira, a realização de um planejamento de médio ou longo prazo. Da forma atual, os docentes-pesquisadores para melhorarem suas pontuações precisam, com frequência, fazer um exercício de “futurologia” para prever qual será o JCR (Journal Citation Reports) de um determinado periódico nos anos futuros.

2. Algumas áreas são mais consistentes e outras menos ou mais voláteis com seus critérios. Qualquer mudança significativa de critérios só poderia entrar em vigor para o quadriênio seguinte, ainda assim, decididas um ano antes da referida virada de período aquisitivo. Com isso, o sistema ganharia muito em previsibilidade e transparência.

3. Estabelecer como regra clara e uniforme que todos os periódicos serão julgados e estratificados de acordo com a sua melhor ou mais alta two-year cites ou JCR obtida no período aquisitivo ou do quadriênio em julgamento.

4. Apesar de toda tentativa de quantificação, a estratificação, tal como é apresentada, muitas vezes gera distorções e pode representar um estímulo baixo à produção científica mais diferenciada. Exemplo: publicar nos periódicos mais famosos da área médica, como o NEJM ou o JAMA, gera a mesma pontuação – 100 pontos A1 –, do que publicar em um periódico muito menos importante e que apenas recentemente alcançou um JCR próximo a 4 (ponto de corte da área 15 para A1). Como efeito objetivo e muito perverso, docentes podem ficar tentados a “simplesmente suplantar o sarrafo” ao invés de tentarem publicar seus melhores artigos em periódicos realmente top-ranked.

5. Uma das formas bem simples de controlar essa questão e efetivamente fomentar a produção científica mais diferenciada é pontuar a produção científica dos docentes e dos PPG partindo da soma de pontos-JCR obtidos. Isso é, se um docente publica em uma revista JCR = 6 isso significaria 6 pontos para o próprio e para o seu PPG; se outro publica em JCR = 20, são 20 pontos para o docente e idem para o PPG e assim por diante, e não mais 100 pontos para cada. Isso não é uma proposta inteiramente original, já sendo adotada internamente em algumas IES ou departamentos ou PPG.

6. Os critérios (JCR e two-year cites) são gerados independentemente por dois grupos privados com interesses distintos e comerciais – Thomson Reuters e Scopus –, que não obrigatoriamente representam de forma adequada a produção científica mundial. Por exemplo, no intuito de aumentar sua massa de clientes, usuários e assinantes, esses dois grupos tem ampliado consideravelmente a inclusão de periódicos de países menos desenvolvidos em suas bases de dados, o que gera, entre outros problemas ou soluções, uma dificuldade de análise de série histórica. É necessário rever essa dependência e gerar critérios alternativos, menos viesados e mais “autênticos”.

7. Os critérios atuais são atribuídos aos periódicos e não aos artigos propriamente ditos. Obviamente, para um dado periódico, podemos ter nos dois anos seguintes à publicação alguns artigos com 10 ou mais citações e outros com zero de citações. É necessário pensar em priorizar e avaliar o resultado do artigo publicado em si e não o do periódico, através do perfil de citações e também e talvez mais importante, a sua influência, por exemplo, utilizando a escala do Altmetric.

8. Em todo o mundo, o número e qualidade (quais revistas) de citações recebidas (com e sem self-cites) e o índice-H e seus similares de cada um dos docentes são muito valorizados. Parece-me lamentável que a CAPES simplesmente não tenha incorporado isso na sua plataforma de avaliação. O mapa de avaliações poderia incluir um quesito tal como, valorizando e quantificando as citações obtidas pelos produtos científicos de um dado PPG no triênio anterior assim como número total de citações e índice-H dos docentes-permanentes.

9. Há de se discutir claramente a questão das publicações online. Parece ser uma tendência inexorável o fim das publicações impressas. Todas as revistas já possuem versões online e essas, por vezes, são disponibilizadas online (e indexadas pelo PubMed mas não pelo ISI!!!), muitas vezes, até 18 meses antes de sua aparição na versão impressa.  O critério atual da CAPES só contempla como produção científica efetiva (idem o CV Lattes do CNPq) quando os artigos saem publicados na versão impressa. Isso precisa ser atualizado e revisado. Uma atitude simples e eficiente seria considerar o artigo como produto científico assim que aceito e disponibilizado online pelo periódico. No contexto atual, isso já representa, para a maioria dos periódicos, a emissão de um DOI o que permite a fácil comprovação da veracidade da informação. 

10.  Há de se propor um critério diferenciado para pontuação de coautorias. Infelizmente, parece ser prática comum, que vários docentes sejam listados em uma coautoria sem que tenham efetivamente atendido os critérios de autoria preconizados pelo documento de Vancouver. Isso em nada ajuda a qualidade da pesquisa brasileira. Na realidade, gera importantes distorções. Um critério de pontuação decrescente por ordem de autoria (preservando como ponto mais alto o sênior autor) e um máximo de, por exemplo, 200 pontos para serem divididos entre os autores de um artigo, poderiam ser estratégias para minimizar essa infeliz estratégia.

11. Há também uma necessidade imperiosa de se classificar melhor os diferentes produtos científicos. Ainda que todos possam ser relevantes e mesmo considerando as particularidades de cada área, deve ser possível atribuir ponderações e, consequentemente, valorizações distintas aos artigos originais, artigos de revisão, short communications e letter-to-the editor. Artigos de revisão e editoriais convidados ou encomendados, especialmente se publicados em periódicos do estrato superior, merecem ser muito valorizados. Essa modificação precisa ser contemplada o quanto antes.

12. Propor uma dinâmica de valorização de publicações científicas em coautoria com outras instituições brasileiras e estrangeiras. Esse é um mecanismo importante de fomento de intercâmbio e desenvolvimento científico e precisa ser valorizado. A implantação de um quesito na planilha de avaliação da produção docente contemplando o percentual da produção científica que é feita com autores de outras instituições poderia gerar um efetivo estímulo a essa prática.

13.  Tentar valorizar, de alguma forma, um grupo seleto de revistas científicas brasileiras da área de Medicina (e provavelmente de outras áreas também!). Talvez atribuindo um plus de classificação ou um “prêmio” adicional de um nível na estratificação Qualis. Caso contrário, corremos o sério risco de estarmos “enterrando”, em muito breve, todos os periódicos brasileiros, mesmo aqueles já publicados em inglês.

14.  Valorizar mais a atuação quantitativa (número de pareceres emitidos) e qualitativa como peer-review em revistas diferenciadas (especialmente se estrangeiras e nos estratos superiores do Qualis), especialmente como participante de editorial board, na avaliação dos docentes dos PPG.

15. Pensando em um sentido mais amplo e de longo prazo, deve-se considerar a possibilidade de pontuar a pré e a pós-produção da ciência. Por exemplo, o registro no Clinical trials.gov de um amplo ensaio clínico randomizado que será desenvolvido durante vários anos (por vezes décadas), merece ser estimulado e já valorizado na avaliação da CAPES por ocasião do início do projeto. É também muito importante que, uma vez publicado o artigo científico, o docente-pesquisador e/ou o aluno (e a própria Universidade e a CAPES) que gerou o produto, se envolvam na sua divulgação e na disseminação do conhecimento. Aliás, a maior visibilidade do artigo publicado é a maior vantagem dessa forma quando comparada ás tradicionais 15 cópias da dissertação e/ou tese. Cabe levar adiante e aprimorar esse modelo. Enviar cópias pdf dos artigos para seus pares (especialmente aqueles que foram citados), postar (respeitando critérios de direitos autorais) nas redes específicas, nas redes sociais e em websites específicos, favorecendo press releases, são etapas fundamentais e que, infelizmente, são muito pouco praticadas em nosso meio. Por último, mas não menos importante e ligado à inovação, qual foi a implicação ou resultado de um dado produto científico sobre o seu meio acadêmico e não-acadêmico. É uma grande pena que esses aspectos tão importantes para o desenvolvimento da ciência brasileira não estejam sendo atualmente valorizados.

Em síntese, espera-se que essa breves reflexões possam contribuir para um debate cada vez mais profícuo da nossa estimada pós-graduação. Quem sabe ao invés de pensar tanto no “To publish or to perish” não possamos avançar para um “To advance science or to perish”.

*Professor Visitante Senior do Instituto do Coração Edson Saad – UFRJ, Bolsista de produtividade em pesquisa – CNPq – nível 1-A, Cientista do Nosso Estado – FAPERJ