Como fazemos os rankings?

Foto
Enric Vives-Rubio

Que escolas são analisadas nos rankings do PÚBLICO?
Escolas públicas e privadas de todo o país, continente e ilhas, embora nem para todas exista o mesmo grau de informação.

A verdade faz-nos mais fortes

Das guerras aos desastres ambientais, da economia às ameaças epidémicas, quando os dias são de incerteza, o jornalismo do Público torna-se o porto de abrigo para os portugueses que querem pensar melhor. Juntos vemos melhor. Dê força à informação responsável que o ajuda entender o mundo, a pensar e decidir.

Que escolas são analisadas nos rankings do PÚBLICO?
Escolas públicas e privadas de todo o país, continente e ilhas, embora nem para todas exista o mesmo grau de informação.

Que alunos são considerados para construir o ranking dos exames?
Os que em 2017 foram à 1.ª fase dos exames nacionais para fazer, no caso do ensino secundário, as oito provas (ou pelo menos algumas delas) mais concorridas. A saber: Português, Matemática A, História A, Biologia e Geologia, Física e Química A, Geografia A, Filosofia e Matemática Aplicada às Ciências Sociais. No ensino básico consideramos os exames de Português e Matemática. As provas finais contam 30% para a nota final.

Não consideramos os alunos autopropostos que só vão à escola para fazer exames, apenas os internos (aqueles que frequentam a escola ao longo de todo o ano lectivo) e alguns autopropostos: os que frequentaram a escola ao longo de todo o ano lectivo e, chegando muito perto do fim do 3.º período ("até ao 5.º dia útil do 3.º período") anularam a matrícula, inscrevendo-se nos exames; e os que frequentaram a escola até ao final do ano lectivo, mas não obtiveram uma classificação interna final positiva, pelo que tiveram de se candidatar como externos a exame.

Como são ordenadas as escolas no ranking dos exames?
O PÚBLICO apenas ordenou no ranking geral, da que teve melhor média de exames para a que pior se saiu, as escolas onde se realizaram pelo menos 50 provas. As escolas com menos aparecem nas listas com todos os indicadores que para elas foram disponibilizados pelo Ministério da Educação (ME), mas sem ordem atribuída no ranking da média global dos exames.

O que é o ranking geral do sucesso?
É outra maneira de ordenar as escolas que pode encontrar nestas listas. Neste ranking não são as médias que os alunos têm nos exames que contam. O nome técnico que o ME lhe dá é “indicador global dos percursos directos de sucesso”, considerando que este é o indicador mais “robusto” e “consistente” para analisar o sucesso escolar dos alunos em todas as escolas, públicas e privadas. O que se mede exactamente?

Em primeiro lugar, a percentagem de alunos da escola que obtiveram positiva nas provas finais após um percurso sem retenções ao longo do ciclo de estudos em análise (3.º ciclo do básico ou ensino secundário) — para o ME, é isso que define um “percurso de sucesso”. Depois, compara-se essa percentagem de percursos sem retenções com a média de percursos sem chumbos que se verifica entre os alunos do resto do país que, quando ingressaram nas suas escolas, tinham um nível de desempenho escolar semelhante à entrada do ciclo (7.º ano, no caso do 3.º ciclo, 10.º, no caso do secundário).

Por fim, analisa-se para as escolas do 3.º ciclo e para o secundário o que aconteceu com três gerações sucessivas de alunos: os que entraram (no 7.º ou no 10.º) em 2012/13 e deviam ter terminado em 2014/15; os que entraram (no 7.º ou no 10.º) em 2013/14 e deviam ter saído em 2015/2016; e os que entraram (no 7.º ou no 10.º) em 2014/15 e se esperava que tivessem terminado em 2016/17. Quantos tiveram percursos sem chumbos? O ME calcula a diferença entre a percentagem de “percursos de sucesso” em cada escola, registada entre 2015 e 2017, e a média nacional dos alunos com desempenho escolar anterior semelhante. Um exemplo: imagine uma escola básica “A” que recebe no 7.º ano alunos que trazem grandes dificuldades na Matemática e poucas bases a Português. A probabilidade de esta escola ver muitos deles chumbarem — logo no final do 7.º, ou pouco depois, no 8.º ano — é alta. Imagine agora que nesta escola “A” 40% dos alunos completam o 7.º e o 8.º ano sem chumbos e, uma vez postos à prova nos exames nacionais do 9.º ano, conseguem positiva a Português e a Matemática. Se nas outras escolas do resto do país, que lidaram com estudantes que à partida tinham o mesmo nível dos da escola “A”, a percentagem de crianças a fazer o mesmo caminho for mais baixa, para o ME a escola “A” é uma escola que promove o sucesso, porque está acima da média. O ME calcula a diferença entre a percentagem de “percursos de sucesso” em cada escola e a média nacional dos alunos com desempenho anterior semelhante, ao longo de três anos.

O PÚBLICO ordenou as escolas da que apresenta a maior diferença positiva para a que tem a maior diferença negativa — ou seja, estão nos primeiros lugares deste ranking as que mais superaram a média nacional de percursos sem chumbos entre 2015 e 2017 e nos piores lugares as que ficaram mais aquém.

O que acrescenta este ranking do sucesso ao ranking das médias dos exames?
O ranking do sucesso considera os resultados agregados de três gerações de alunos, entre 2015 e 2017, o que “valoriza” a consistência de resultados na escola, explica o ME. Para além disso, sublinha, “ao valorizar o sucesso durante todo o percurso (3.º ciclo ou secundário), não premeia a retenção”, ou seja, não se saem melhor neste ranking escolas que eventualmente chumbem mais e só levem a exame os “melhores” estudantes para ficarem bem no ranking das médias das provas. Por fim, “combina as avaliações interna e externa”, ou seja, a dos professores e a do teste nacional. Já quando olhamos apenas para as médias dos exames em cada ano, não temos em conta quantos alunos não chegaram a fazê-los em cada escola, porque ficaram pelo caminho.

Para algumas escolas não há informação para o ranking do sucesso. Porquê?
O ministério só fornece dados sobre os percursos de sucesso para as escolas de Portugal continental com um mínimo de 50 alunos na amostra agregada dos três anos 2015-2017, por isso para várias escolas este indicador não existe.

O que é o “contexto” da escola?
Para cada escola sabemos qual a percentagem de alunos que, no agrupamento a que pertence a escola, não recebem apoio no âmbito da Acção Social Escolar e qual a habilitação média dos pais dos alunos (em número médio de anos de escolaridade). A partir destas informações, caracterizou-se o contexto a que pertence cada escola:

  • Contexto 1: escolas com valores mais desfavoráveis nas duas variáveis de contexto (pais menos escolarizados e mais alunos abrangidos por apoios do Estado).
  • Contexto 2, com valores intermédios (menos jovens abrangidos pela Acção Social Escolar do que no contexto 1 e pais mais escolarizados).
  • Contexto 3, escolas com valores mais favoráveis nas duas variáveis.

Para as escolas privadas e algumas públicas, nomeadamente as das regiões autónomas, o ME não disponibiliza este tipo de indicadores socieoconómicos.

O que é o “valor esperado de contexto”?
Também encontra para cada escola, nestas listas, o “valor esperado”, ou seja, a média de exame que seria expectável a escola alcançar tendo em conta o contexto a que pertence — e que permite perceber se uma escola do “contexto 1”, por exemplo, se sai melhor ou pior nos exames do que outras escolas do mesmo contexto socioeconómico. Este valor esperado faz um ajustamento tendo em conta a proporção de exames feitos em cada disciplina em cada escola.

Para as escolas privadas, as das regiões autónomas da Madeira e as dos Açores calculámos não um “valor esperado de contexto”, mas apenas um “valor esperado”, porque o ME não fornece dados para contextualizar as escolas. Na prática este valor esperado, nestes casos, corresponde à média das classificações de exame registada no conjunto das escolas privadas ou no conjunto das escolas da Madeira ou no grupo das dos Açores, ponderada pelo número de exames feitos em cada escola.

Assim, comparando a média obtida nos exames por uma escola privada, por exemplo, é possível saber, olhando para o valor esperado e para a média real nos exames, se a escola se saiu melhor ou pior do que outras privadas. O mesmo exercício pode ser feito para uma escola da Madeira, por exemplo, verificando como uma dada escola do arquipélago se compara com outras da mesma região.

O que contabilizam as taxas de retenção?
A percentagem de alunos que não concluíram o 9.º ou o 12.º (os dados mais recentes que o ME disponibiliza são de 2015/16).

Como são ordenadas as escolas na análise que é feita por disciplina no ensino secundário?
Varia de disciplina a disciplina, porque dentro das oito mais concorridas há grandes variações de inscritos.

  • A Português: enquanto no ranking geral com base na média dos diferentes exames só atribuímos às escolas um lugar no ordenamento quando tenham pelo menos 50 provas realizadas, no ranking de Português apenas atribuímos uma lugar a escolas com pelo menos 15 provas.
  • A Matemática: só atribuímos um lugar no ranking a escolas com pelo menos 11 provas.
  • A Biologia: só atribuímos um lugar no ranking a escolas com pelo menos 11 provas.
  • A Física e Química: só atribuímos um lugar no ranking a escolas com pelo menos 11 provas.
  • A Geografia: só atribuímos um lugar no ranking às escolas com pelo menos 7 provas.
  • A História: só comparamos escolas com pelo menos 7 provas.
  • A Matemática Aplicada às Ciência Sociais: só atribuímos um lugar no ranking a escolas com pelo menos 7 provas.
  • A Filosofia: só atribuímos um lugar no ranking a escolas com pelo menos 7 provas.

Como são ordenadas as escolas na análise que é feita por disciplina no ensino básico?
Atribuímos um lugar no ranking a todas as escolas, independentemente do número de provas feitas.

Notícia alterada: acrescentada a expressão "até ao 5.º dia útil do 3.º período" quando se exemplifica o tipo de alunos autopropostos que são considerados nos rankings do PÚBLICO.