Reitores arrasam avaliação da FCT: “Um falhanço pleno”

Reitores de 15 universidades portuguesas consideram que a avaliação dos centros de investigação do país não tem a “necessária qualidade”, apresenta inúmeros erros factuais e é “uma oportunidade perdida” para a promoção da ciência.

Foto
AXEL SCHMIDT/Reuters

Neste processo, estão em avaliação 322 centros de investigação. Para levar a cabo essa tarefa, a FCT contratou a European Science Foundation (ESF), com sede em Estrasburgo, em França. Na primeira fase da avaliação, feita à distância por três avaliadores e só através de documentação, e depois por painéis de peritos, foram eliminados quase metade dos centros. Divulgados no final de Junho, esses resultados desencadearam críticas ao processo.

Essas críticas subiram de tom, com esta avaliação a ser contestada publicamente por diversos cientistas e instituições, quando foi conhecido o conteúdo do contrato entre a FCT e a ESF, a 18 de Julho: o documento menciona uma quota definida à partida, antes de qualquer avaliação, de eliminação de 50% dos centros (“a primeira fase da avaliação irá resultar numa shortlist de metade das unidades de investigação que serão seleccionadas para seguir para a fase 2”, lê-se). Tal significava que metade dos centros não passaria à fase que está agora em curso, que inclui a visita de painéis de avaliadores àquelas que passaram. A FCT e o Ministério da Educação e Ciência (MEC) justificaram a referência à eliminação de metade dos centros como uma “estimativa” baseada na avaliação anterior dos centros, de 2007. Os resultados finais deverão sair em Dezembro.

O que está em jogo nesta avaliação é que os seus resultados definirão o dinheiro a atribuir aos centros para despesas de funcionamento durante cinco anos, até 2020 — como a compra de reagentes, a manutenção de equipamentos ou idas a congressos científicos. Os 144 centros (44,7%) que ficaram para trás na primeira fase vão receber pouco dinheiro ou mesmo nenhum, enquanto os 178 centros (55,2%) que estão na segunda fase podem dividir um bolo de cerca de 50 milhões de euros por ano.

Além da quota pré-definida de 50% de eliminações dos centros, muitos cientistas apontaram outras falhas ao processo, como painéis de avaliadores muito abrangentes, sem competências específicas para as áreas científicas que estão a avaliar. O CRUP dá agora voz às críticas na carta que enviou a Nuno Crato, ressalvando que este organismo composto pelo conjunto dos reitores das universidades públicas e da Universidade Católica Portuguesa é “totalmente a favor dos processos de avaliação”, pelo que não é isso que está em causa.

“Grave perda de confiança”
“Já sabíamos, e apontámo-lo desde o início, que uma primeira fase de avaliação sem contacto presencial era potencialmente muito frágil, mas demos o benefício da dúvida à afirmação repetidamente feita pelos responsáveis de que o sistema seria robusto”, refere a carta do CRUP enviada na terça-feira ao ministro, assinada pelo presidente do CRUP em exercício, António Rendas, e pelo presidente já eleito, António Cunha, que tomará posse em Novembro. Os reitores estão a referir-se, por exemplo, a declarações sobre a qualidade da avaliação proferidas por Miguel Seabra, presidente da FCT.

“Esperámos por isso que ele [o sistema] fosse capaz de detectar os seus erros e de os corrigir”, dizem ainda os reitores, acrescentando que tal não veio afinal a acontecer, como mostram os resultados das reclamações (a chamada “audiência prévia”) apresentadas por 131 centros e que foram divulgados a 2 de Outubro.

“Apesar de ter sido chamada a atenção para inúmeros erros de avaliação, muitos inteiramente factuais, diversos painéis desculparam-se de diversas formas para não retirar daí consequências, mantendo avaliações inexplicáveis. A avaliação não presencial de unidades de investigação é, no nosso entendimento, um falhanço pleno.” Mais: “Este processo de avaliação não tem a necessária qualidade. É uma oportunidade perdida para uma política nacional de promoção do conhecimento avançado e está a resultar numa grave perda de confiança no sistema de avaliação, com a desconsideração quase total dos pareceres das universidades.”

Referindo-se ao conteúdo do contrato, o CRUP também é demolidor — e recusa “a morte de quase 50% do tecido científico português”. “Este resultado, já previsível a partir dos termos em que o contrato entre o Estado português e a ESF foi redigido, prevendo a passagem à segunda fase apenas de cerca de 50% das unidades, mostra um enviesamento que não podemos aceitar.”

Os reitores contestam ainda o argumento de privilegiar a excelência, muito usado por Miguel Seabra e a secretária Estado da Ciência, Leonor Parreira. “A excelência é uma medida relativa que só surge a partir de um universo alargado. Se esse universo não existe, a excelência rapidamente se extingue também, por falta de base de recrutamento.”

Assim, o CRUP defende que os processos de avaliação devem ser separados dos de financiamento: “Depois da avaliação feita, não havendo verbas suficientes para financiar todos os centros com boa classificação, todos compreenderiam que não fosse possível financiar todos, mas pelo menos a avaliação seria justa.”

Com a carta agora divulgada, o CRUP endurece a sua posição sobre a avaliação da FCT. A 21 de Julho, tinha divulgado um memorando em que demonstrava “grande preocupação” com a forma como o processo estava a desenrolar-se e dizia esperar que fosse concluído “de forma credível e robusta”, num quadro de “independência, de garantia de qualidade e de transparência”. Na altura, o CRUP ainda defendia a introdução de alterações no processo, para permitir a passagem à segunda fase de alguns centros (aqueles que tivessem tido Excelente ou Muito Bom na avaliação de 2007, e aqueles que na primeira fase da avaliação actual tivessem tido pelo menos nota 14). “A avaliação ainda pode ser corrigida”, afirmava ao PÚBLICO António Rendas, antes da sua demissão da presidência do CRUP.

Agora, os reitores não só rejeitam a forma como a avaliação é feita, como dizem que os resultados não devem ser usados para efeitos exteriores “à avaliação directa das unidades de investigação”, por exemplo como critério de avaliação de projectos de investigação, bolsas ou outras candidaturas a financiamento. E, para já, recusam que sirva de base à atribuição de um fundo de reestruturação – de seis milhões de euros, aplicado através do Programa Incentivo 2015 – que a FCT vai pôr à disposição dos 144 centros que não passaram à segunda fase da avaliação, mediante a apresentação de candidatura. “O acesso a este fundo não deveria usar como base a avaliação cujos erros pretende corrigir, nem ser decidido pela entidade responsável por esses mesmos erros [a ESF].”

Em resposta ao PÚBLICO sobre se haveria uma reacção do MEC ao CRUP, o MEC reiterou por escrito, através da assessora de imprensa Ana Machado, que o “Governo considera que esta avaliação é a mais internacional e independente avaliação externa feita até à data e também a primeira em que todas as unidades, independentemente do seu estatuto jurídico, foram avaliadas em conjunto de forma competitiva”.
 

A verdade faz-nos mais fortes

Das guerras aos desastres ambientais, da economia às ameaças epidémicas, quando os dias são de incerteza, o jornalismo do Público torna-se o porto de abrigo para os portugueses que querem pensar melhor. Juntos vemos melhor. Dê força à informação responsável que o ajuda entender o mundo, a pensar e decidir.

Neste processo, estão em avaliação 322 centros de investigação. Para levar a cabo essa tarefa, a FCT contratou a European Science Foundation (ESF), com sede em Estrasburgo, em França. Na primeira fase da avaliação, feita à distância por três avaliadores e só através de documentação, e depois por painéis de peritos, foram eliminados quase metade dos centros. Divulgados no final de Junho, esses resultados desencadearam críticas ao processo.

Essas críticas subiram de tom, com esta avaliação a ser contestada publicamente por diversos cientistas e instituições, quando foi conhecido o conteúdo do contrato entre a FCT e a ESF, a 18 de Julho: o documento menciona uma quota definida à partida, antes de qualquer avaliação, de eliminação de 50% dos centros (“a primeira fase da avaliação irá resultar numa shortlist de metade das unidades de investigação que serão seleccionadas para seguir para a fase 2”, lê-se). Tal significava que metade dos centros não passaria à fase que está agora em curso, que inclui a visita de painéis de avaliadores àquelas que passaram. A FCT e o Ministério da Educação e Ciência (MEC) justificaram a referência à eliminação de metade dos centros como uma “estimativa” baseada na avaliação anterior dos centros, de 2007. Os resultados finais deverão sair em Dezembro.

O que está em jogo nesta avaliação é que os seus resultados definirão o dinheiro a atribuir aos centros para despesas de funcionamento durante cinco anos, até 2020 — como a compra de reagentes, a manutenção de equipamentos ou idas a congressos científicos. Os 144 centros (44,7%) que ficaram para trás na primeira fase vão receber pouco dinheiro ou mesmo nenhum, enquanto os 178 centros (55,2%) que estão na segunda fase podem dividir um bolo de cerca de 50 milhões de euros por ano.

Além da quota pré-definida de 50% de eliminações dos centros, muitos cientistas apontaram outras falhas ao processo, como painéis de avaliadores muito abrangentes, sem competências específicas para as áreas científicas que estão a avaliar. O CRUP dá agora voz às críticas na carta que enviou a Nuno Crato, ressalvando que este organismo composto pelo conjunto dos reitores das universidades públicas e da Universidade Católica Portuguesa é “totalmente a favor dos processos de avaliação”, pelo que não é isso que está em causa.

“Grave perda de confiança”
“Já sabíamos, e apontámo-lo desde o início, que uma primeira fase de avaliação sem contacto presencial era potencialmente muito frágil, mas demos o benefício da dúvida à afirmação repetidamente feita pelos responsáveis de que o sistema seria robusto”, refere a carta do CRUP enviada na terça-feira ao ministro, assinada pelo presidente do CRUP em exercício, António Rendas, e pelo presidente já eleito, António Cunha, que tomará posse em Novembro. Os reitores estão a referir-se, por exemplo, a declarações sobre a qualidade da avaliação proferidas por Miguel Seabra, presidente da FCT.

“Esperámos por isso que ele [o sistema] fosse capaz de detectar os seus erros e de os corrigir”, dizem ainda os reitores, acrescentando que tal não veio afinal a acontecer, como mostram os resultados das reclamações (a chamada “audiência prévia”) apresentadas por 131 centros e que foram divulgados a 2 de Outubro.

“Apesar de ter sido chamada a atenção para inúmeros erros de avaliação, muitos inteiramente factuais, diversos painéis desculparam-se de diversas formas para não retirar daí consequências, mantendo avaliações inexplicáveis. A avaliação não presencial de unidades de investigação é, no nosso entendimento, um falhanço pleno.” Mais: “Este processo de avaliação não tem a necessária qualidade. É uma oportunidade perdida para uma política nacional de promoção do conhecimento avançado e está a resultar numa grave perda de confiança no sistema de avaliação, com a desconsideração quase total dos pareceres das universidades.”

Referindo-se ao conteúdo do contrato, o CRUP também é demolidor — e recusa “a morte de quase 50% do tecido científico português”. “Este resultado, já previsível a partir dos termos em que o contrato entre o Estado português e a ESF foi redigido, prevendo a passagem à segunda fase apenas de cerca de 50% das unidades, mostra um enviesamento que não podemos aceitar.”

Os reitores contestam ainda o argumento de privilegiar a excelência, muito usado por Miguel Seabra e a secretária Estado da Ciência, Leonor Parreira. “A excelência é uma medida relativa que só surge a partir de um universo alargado. Se esse universo não existe, a excelência rapidamente se extingue também, por falta de base de recrutamento.”

Assim, o CRUP defende que os processos de avaliação devem ser separados dos de financiamento: “Depois da avaliação feita, não havendo verbas suficientes para financiar todos os centros com boa classificação, todos compreenderiam que não fosse possível financiar todos, mas pelo menos a avaliação seria justa.”

Com a carta agora divulgada, o CRUP endurece a sua posição sobre a avaliação da FCT. A 21 de Julho, tinha divulgado um memorando em que demonstrava “grande preocupação” com a forma como o processo estava a desenrolar-se e dizia esperar que fosse concluído “de forma credível e robusta”, num quadro de “independência, de garantia de qualidade e de transparência”. Na altura, o CRUP ainda defendia a introdução de alterações no processo, para permitir a passagem à segunda fase de alguns centros (aqueles que tivessem tido Excelente ou Muito Bom na avaliação de 2007, e aqueles que na primeira fase da avaliação actual tivessem tido pelo menos nota 14). “A avaliação ainda pode ser corrigida”, afirmava ao PÚBLICO António Rendas, antes da sua demissão da presidência do CRUP.

Agora, os reitores não só rejeitam a forma como a avaliação é feita, como dizem que os resultados não devem ser usados para efeitos exteriores “à avaliação directa das unidades de investigação”, por exemplo como critério de avaliação de projectos de investigação, bolsas ou outras candidaturas a financiamento. E, para já, recusam que sirva de base à atribuição de um fundo de reestruturação – de seis milhões de euros, aplicado através do Programa Incentivo 2015 – que a FCT vai pôr à disposição dos 144 centros que não passaram à segunda fase da avaliação, mediante a apresentação de candidatura. “O acesso a este fundo não deveria usar como base a avaliação cujos erros pretende corrigir, nem ser decidido pela entidade responsável por esses mesmos erros [a ESF].”

Em resposta ao PÚBLICO sobre se haveria uma reacção do MEC ao CRUP, o MEC reiterou por escrito, através da assessora de imprensa Ana Machado, que o “Governo considera que esta avaliação é a mais internacional e independente avaliação externa feita até à data e também a primeira em que todas as unidades, independentemente do seu estatuto jurídico, foram avaliadas em conjunto de forma competitiva”.