Em praticamente todos os países da Europa avaliar escolas significa avaliar aulas. Estónia, Hungria e (pelo menos por enquanto) Portugal são as excepções — os inspectores visitam os estabelecimentos de ensino, falam com professores e pais, mas não entram na sala de aula. Já na Islândia, por exemplo, não há avaliação sem que o trabalho de pelo menos 70% dos docentes do quadro seja observado, ao vivo e a cores, pelos avaliadores.

E no fim, como são divulgados os resultados dessa avaliação externa? Em 15 países, incluindo Portugal, os relatórios produzidos para cada escola são tornados públicos, seja nos sites dos ministérios (no caso de Portugal no da Inspecção-Geral da Educação e Ciência) ou nos dos próprios estabelecimentos de ensino. Mas noutros não é assim. Na Alemanha, por exemplo, apenas as partes interessadas (professores e pais) recebem um documento com as apreciações. Outras entidades, só a pedido. Na Finlândia não se quantificam níveis de escolas, para que a informação da avaliação externa não dê origem a rankings que as ordenem das melhores para as piores.     

São apenas exemplos para ilustrar a variedade dos modelos de avaliação externa das escolas na Europa. As informações constam do último relatório sobre o assunto, da Eurydice, a rede europeia de informação sobre sistemas educativos (Assuring Quality in Education: Policies and Approaches to School Evaluation in Europe), publicado no ano passado. Um relatório que nota que este é um tema que se debate em muitos países, sobretudo desde o início dos anos 2000. Em Portugal está na ordem do dia. Por várias razões: sendo os resultados dos alunos nos exames nacionais uma das bases da avaliação que é feita às escolas pela Inspecção-Geral de Educação e Ciência (IGEC), como vão ser avaliados os estabelecimentos do 1.º e 2.º ciclos do ensino básico agora que os exames finais do 4.º e 6.º anos acabaram?

E sabendo que o actual Ministério da Educação (ME) não reconhece nos rankings, feitos em Portugal anualmente pelos órgãos de comunicação social, “um indicador rigoroso e transparente da qualidade das escolas”, como lembrou nas respostas que enviou ao PÚBLICO, que dados vão ser facultados à comunidade — que se foi habituando, nos últimos anos, a ter, para cada escola básica e secundária, médias de exame, taxas de conclusão dos alunos, indicadores de progressão, variações entre notas internas e externas, que permitem fazer comparações?          

O que se vai ganhar com as novas provas de aferição no 2.º, 5.º e 8.º anos, que se estrearam há dias — provas que não chumbam nem contam para a nota? Algo deve mudar para que a avaliação das escolas seja mais útil e tenha mais impacto na qualidade do ensino?

Cronologia: Exames sim, exames não

Na véspera de os alunos irem a exames — os do secundário têm início na quarta-feira —, vamos falar da avaliação das escolas que os ensinam. Falámos com especialistas e perguntámos ao ME o que conta fazer.     

1. O que diz o ME? Comparações para manter

Comece-se pelo impacto das provas de aferição: “O objectivo das provas é que gerem informação transparente, objectiva e clara para os alunos, famílias e escolas”, faz saber o ME, nas respostas que enviou ao PÚBLICO.

Cada escola e cada aluno terá acesso a um relatório que descreve o seu desempenho. Mas não há propriamente uma classificação, do tipo, de “1” a “5”, nem do aluno, nem da escola: “Em vez de um resultado numérico (...) as provas vão gerar um relatório no qual os destinatários, professores, pais e alunos, irão dispor de informação sobre aquilo que o aluno mostrou ter aprendido, as áreas onde precisa de melhorar e aquelas onde evidencia significativas dificuldades”, acrescenta o Instituto de Avaliação Educacional (Iave).

“Assim, ficaremos em condições de poder acabar com os tradicionais rótulos que, por vezes, se colocam aos alunos: fulano é fraco a Matemática. Logo, vai ter apoio indiferenciado na disciplina. Esta generalização fácil das fragilidades de um aluno é, regra geral, uma mistificação: normalmente o aluno tem fragilidades específicas numa ou noutra área da matéria, e são apenas essas onde é preciso intervir.”

O ME garante, contudo, que “a informação será apresentada de tal forma que seja possível construir indicadores quantitativos agregados por subdomínios, para que as escolas possam ter um olhar que as posicione no quadro da sua região e do país”.

Será o “cruzamento entre informação qualitativa e quantitativa que permitirá à administração aferir as aprendizagens, em termos regionais e nacionais, de forma mais fidedigna, pedagogicamente mais rica, porque mais desagregada, e continuar a divulgar informação no site Infoescolas”, sustenta o ME.

De resto, os procedimentos de avaliação externa das escolas (a que é feita pelas equipas da inspecção, que integram ainda peritos externos) “serão revistos” precisamente para passarem a incorporar as provas de aferição no 2.º, 5.º e 8.º anos. Elas são, sustenta a tutela, “um indicador do estado de ensino”, a par “de muitos outros indicadores que continuarão a ser produzidos”.     

2. Avaliadores devem entrar na sala de aula

E novos indicadores? Novas formas de avaliar? Pedimos sugestões. Carlos Barreira, da Faculdade de Psicologia e Ciências da Educação da Universidade de Coimbra, um dos especialistas ouvidos pelo PÚBLICO, deixa uma: “Os avaliadores deviam entrar na sala de aula.”

“Uma das lacunas da avaliação externa das escolas é os inspectores passarem pela escola e não ficarem com uma ideia sobre como trabalham os professores, como gerem uma aula”, sustenta. Essa informação deveria passar a ser recolhida.

“A avaliação externa esteve até agora muito centrada na análise dos resultados académicos dos alunos e na liderança das escolas”, prossegue. Considera, por isso, que no terceiro ciclo avaliativo de escolas, que se inicia no próximo ano, com uma nova leva de estabelecimentos a passarem pelo crivo da IGEC, “tem que se voltar mais para as práticas pedagógicas dos professores, portanto para a sala de aula”.     

Barreira lembra que no início do ano passado, o inspector-geral de Educação e Ciência, Luís Capela, disse, à margem de um seminário sobre avaliação de escolas, em Coimbra, que já havia inspectores a receber formação para integrar na sua observação as práticas dos professores em sala de aula. Por isso, acredita que acabará por acontecer.

De resto, “as provas de aferição podem também constituir uma mudança de foco por parte da IGEC, uma vez que, ao ter acesso aos dados das referidas provas, podem ser recolhidas evidências de como cada escola se está a mobilizar, isto é, que planos de melhoria tem desenvolvido em termos pedagógicos para apoiar as aprendizagens dos alunos e que resultados estão a ser conseguidos”. E isso é bom, na sua opinião. “Passam assim para segundo plano os resultados dos alunos nas provas e é dada importância ao que cada escola faz com esses mesmos resultados para reverter a tempo situações de insucesso”, diz Carlos Barreira.

Espera, por fim, que se entre “numa dimensão mais formativa da avaliação, que estava já a fazer falta, essencialmente com uma função de regulação, com vista a ajudar os alunos na aprendizagem e os professores, a trabalharem de forma colaborativa, para poderem ensinar melhor”.     

3. Resultados dos alunos devem ter menos peso?

Ilídia Cabral, professora da Universidade Católica Portuguesa, tem integrado as equipas de avaliação das escolas da IGEC como perita externa. E defende a importância de descolar a avaliação externa das escolas dos resultados dos alunos. Explica: “O actual modelo de avaliação externa das escolas engloba três domínios: resultados [dos alunos]; prestação do serviço educativo e liderança e gestão. As escolas são avaliadas nestes três domínios, mas a classificação que obtêm em cada um deles, mediante a escala de avaliação da IGEC, está sempre dependente, em última análise, dos resultados escolares” dos alunos, o que “chega mesmo a descredibilizar” o processo.

“Se uma equipa de avaliação externa entender que as práticas de liderança e gestão de uma escola são excelentes, mas os resultados académicos dos alunos da escola/agrupamento estiverem aquém do valor esperado [calculado pelo ME para cada escola], a avaliação a atribuir no domínio relativo à liderança e gestão terá que ser a de suficiente”, exemplifica. “Claro que, em princípio, escolas com bons resultados têm boas práticas de prestação de serviço educativo e boas práticas de liderança e gestão. E escolas com maus resultados terão práticas mais fracas. Mas esta correlação nem sempre é líquida.”

Ilídia Cabral defende que a avaliação externa das escolas apenas poderá constituir-se como um processo ao serviço da melhoria dos estabelecimentos de ensino “se os resultados académicos deixarem de sobredeterminar o resultado da avaliação” e se se abrirem “espaços para a compreensão dos factores que os geram, valorizando dimensões qualitativas e holísticas”.

Sobre este assunto, o ME diz apenas, para já, que a avaliação externa feita pela IGEC deverá incluir “resultados da avaliação interna, externa, de projectos, resultados sociais, etc.” E que à “dimensão ‘resultados’ acrescem a dimensão pedagógica, a relação com a comunidade e dinâmicas de liderança e auto-avaliação”.     

4. Podíamos avaliar o “depois da escola”

 Actualmente, as duas grandes fontes de informação pública e sistematizada sobre as escolas são os relatórios da IGEC, disponibilizados no seu site, e os rankings anuais, da responsabilidades dos media. Mas não é só o actual Governo que acha que este últimos são perversos. Longe disso. Domingos Fernandes, do Instituto de Educação da Universidade de Lisboa, ex-secretário de Estado da Administração Educativa do Governo liderado por António Guterres entre 1999 e 2002, considera-os mesmo cruéis. “Não me parece que o Governo anterior fizesse recolhas de informação para apoiar e melhorar o ensino e a aprendizagem ou para democratizar a escola pública. A utilização que dava, ou pretendia dar, a essa informação era a produção de rankings e a penalização das escolas que apresentavam piores resultados. Logo, sou frontalmente contra qualquer tipo de prática que utilize a informação com propósitos discriminatórios.” Por isso aplaude o fim dos exames no 1.º e 2.º ciclos e a introdução das provas de aferição.

“Os exames têm algumas desvantagens muito difíceis de ultrapassar”, nota Domingos Fernandes. “A mais referida das quais é o efeito de backwash. Este efeito traduz-se, por exemplo, no chamado estreitamento ou empobrecimento do currículo cuja consequência prática, grosso modo, consiste na tendência para se ensinar apenas o que se pensa poder sair nos exames ignorando, ou tratando superficialmente, as demais matérias.”

Filinto Lima, presidente da Associação Nacional de Directores de Agrupamentos de Escolas Públicas (ANDAEP), acha que os rankings enquanto instrumento de avaliação têm vindo a melhorar mas padecem ainda de problemas e assim continuará a ser enquanto não tiverem em conta “coisas como a estabilidade do corpo docente” ou “a motivação dos alunos” ou “o efeito das explicações, os apoios extra sala de aula”. Deixa uma sugestão: “Talvez tenha mais interesse a construção de um ranking que gradue as escolas tendo em conta as que preparam melhor os alunos para terem sucesso no ensino superior.”

Como funcionaria? Explica: analisava-se o percurso dos alunos que, terminado o secundário, prosseguissem estudos — como se saem? Desistem ou não? Quanto tempo levam a concluir? Que competências são capazes de adquirir? As respostas contariam para a classificação de cada escola secundária que os formou.

“Em muitos países, por exemplo, Estados Unidos da América, o recrutamento para emprego já se faz pela leitura do portefólio onde essas competências são valorizadas, muitas vezes mais do que as académicas”, sublinha ainda o presidente da ANDAEP.     

5. Então os rankings? Qual o papel?

Em Portugal os rankings de escolas foram sempre uma tarefa dos media. A excepção aconteceu no mandato de David Justino como ministro da Educação, entre 2002 e 2004, quando este encomendou à Universidade Nova um ranking que incluísse pela primeira vez alguns dados de contexto socioeconómico — o que na altura não tinha ainda sido feito, porque os governos não forneciam essa informação aos órgãos de comunicação social. Tal só veio a acontecer no mandato de Nuno Crato.

O actual ministério diz sobre isto o seguinte: “Caberá a quem tem interesse em produzir rankings desenvolver as metodologias mais fiáveis para a qualidade do trabalho que pretende, qualidade essa que não consideramos assegurada pela metodologia usada até aqui.”

Carlos Barreira, da Universidade de Coimbra, diz que “não há como fugir a esta prática” dos rankings. E diz que ela é importante. “A elaboração dos rankings, mais recentemente apurados de forma mais sofisticada através de dados contextuais, é uma inevitabilidade pois fornecem indicadores que facilmente permitem a hierarquização e comparação entre escolas.” Mas ressalva: “São apenas indicadores que por si pouco nos dizem sobre o trabalho que é desenvolvido em cada escola. Melhor que estes indicadores seria fundamental compreender, através de recolha de evidências, o que caracteriza as práticas desenvolvidas nessas escolas, isto é, como se organizam em termos de liderança pedagógica para conseguirem sistematicamente esses bons resultados, podendo até servir de exemplo de boas práticas para outras.”

Com rankings mais ou menos sofisticados, o presidente do Instituto de Educação, da Universidade do Minho, José A. Pacheco, espera que haja uma mudança: “Passar-se de uma cultura de prestação de contas (a Português e Matemática) para uma cultura de avaliação (na globalidade do currículo).” O fim das exames nacionais do 4.º e 6.º anos de escolaridade pode ajudar à mudança de cultura. “Portugal, na anterior legislatura, tornara-se no país com mais provas nacionais na escolaridade obrigatória, sem qualquer evidência de ganhos a médio ou longo prazo. Uma escola com mais exames não é a melhor escola em termos de aprendizagem.”     

6. E criar um algoritmo?

Joaquim Azevedo, professor da Universidade Católica, ex-secretário de Estado dos Ensino Básico e Secundário de um Governo liderado por Cavaco Silva, não disfarça o descontentamento. Desconfia das provas de aferição. “Há vários aspectos negativos, quando se pretende, através delas, saber o que sabem os alunos, sendo elas de implicação zero na classificação final.” Desconfia de anúncios feitos a meio do ano lectivo, como o que fez Tiago Brandão Rodrigues a decretar a morte das provas finais no 1.º e 2.º ciclos. “Nunca fui a favor de mudanças deste tipo, repentinas e sem consensos mínimos, muito menos sobre avaliação interna e externa de alunos e sobre aferição de conhecimentos. Porquê esta pressa? Serve a quem?” E indigna-se. “Por que é que tanta inteligência política dispersa por tantos partidos, não consegue definir, em diálogo com os intervenientes, um modelo fixo de avaliação externa das escolas que nos sossegue a todos? Com um algoritmo mais complexo e rigoroso que meça, ao mesmo tempo, ‘aprendizagens’ e ‘desenvolvimento’ das crianças? Se fazemos isso para tantas outras coisas, porque é que não se faz para a avaliação daquilo que se faz realmente nas escolas, o que nelas realmente se aprende, que é o essencial para o futuro do país?”

Falemos de um algoritmo, então, quando muitos dizem que os números contam pouco. Joaquim Azevedo explica: “O ME deveria criar um indicador compósito de avaliação do desempenho das escolas. Nunca o quis fazer. São os jornais/media que têm de fazer o que a administração educacional só há três anos começou a fazer. Mas porque é que não se dialoga e consensualiza esse modelo? Só o sectarismo partidário é que o tem impedido.”

“As práticas seguidas nos últimos anos devem ser continuadas”, defende ainda Joaquim Azevedo, referindo-se aos indicadores que passaram a ser divulgados pelo anterior Governo que permitem avaliar, por exemplo, quais as escolas que sucessivamente, ao longo dos anos, conseguem que os seus alunos mais progridam, ou quais as que conseguem que os seus alunos tenham percursos “limpos” de chumbos. “Deve-se chegar a uma indicador compósito

algoritmo que seja reconhecido e seja justo para com todas as escolas. O país precisa de saber, com verdade, o que é que acontece a tanto dinheiro que investimos em educação.”     

7. Avaliação tem que ter consequências

E depois da avaliação? “O que tem de haver, e há muito anos que o reclamo, é um plano rigoroso de intervenção junto das escolas com piores desempenhos”, diz Joaquim Azevedo. “Social e politicamente esta é a prioridade das prioridades e ninguém liga ao facto de muitas escolas, anos a fio, apresentarem resultados miseráveis. Como são ‘públicas’, coitadinhas, tudo está perdoado! Já não se vai averiguar o que se passa? Já não se tem de contratualizar, em diálogo, caminhos novos, planos muito precisos de melhoria?”

Até agora, as escolas com melhores resultados tinham mais apoios — os “prémios” às escolas traduziam-se em créditos horários que lhes permitiam contratar professores, psicólogos ou outros técnicos, por exemplo. O actual Governo acabou com essa medida que José A. Pacheco considera que “foi uma aberração social”.

Domingos Fernandes concorda. “Quem defende esta peregrina ideia dos ‘prémios’ às escolas deveria estudar o que nos diz a investigação realizada neste domínio e no domínio dos ‘prémios’ aos professores”, sublinha. “Trata-se de uma ideia que gera um conjunto de perversidades que não são compatíveis com o trabalho que tem que ser desenvolvido pelas instituições que educam e formam os cidadãos deste país.” Faz das escolas e da educação “uma espécie de ‘cavalos de corrida’ em busca dos lugares cimeiros de um imaginário e ilusório pódio”. Mais: “Os seus fundamentos nada têm a ver com uma concepção democrática da educação nem com a sua função social nem com os valores que lhe são inerentes.”

Qual é alternativa? “Em rigor, todas as escolas precisam de ‘medidas especiais’ porque todas, mesmo as que são consideradas muito boas, têm sempre algo que podem melhorar.” Não são necessárias “medidas especiais”, diz o ex-secretário de Estado. “Precisamos de ideias e de projectos com propósitos claros que gerem estratégias que resolvam os problemas e, em muito boa medida, essas estratégias já estão no terreno. As políticas públicas têm que as identificar, incentivar e divulgar. É preciso que os professores e as escolas falem para aprenderem uns com os outros e umas com as outras. Para discutirem, entre pares, como fazem para resolver os problemas!”

Carlos Barreira diz, contudo, que tem dúvidas que exista actualmente no nosso sistema de avaliação alguma sustentabilidade ao nível dos incentivos e apoios dados às escolas. “Têm sido celebrados alguns contratos de autonomia sobretudo com escolas que obtêm melhores classificações nos domínios da avaliação externa de escolas”, mas desconhece a existência “de apoio sistemático às escolas que têm obtido, ao longo dos dois ciclos de avaliação externa, piores classificações e que por isso necessitariam de visitas mais regulares por parte da IGEC”.

Acrescenta Ilídia Cabral: “Para que a avaliação das escolas produza, efectivamente, mudança, é importante apostar em dinâmicas de avaliação externa que levem as pessoas a equacionar novas formas de pensar e de executar o seu trabalho” e desenvolver uma “estrutura de recompensas que estimule as pessoas e as organizações a desenvolver acções que conduzam mais a uma melhoria efectiva e menos ao reforço dos rituais de ‘gerenciamento da imagem’”. Com C.V.