Quem avalia a avaliação?

Esta semana os professores contratados realizaram a componente específica da Prova de Avaliação de Conhecimentos e Capacidades (PACC). A prova que Mário Nogueira, secretário-geral da Fenprof, considera "estúpida" e que Nuno Crato, Ministro da Educação, considera "imprescindível".

A contestação está nas ruas e as armas de arremesso são basicamente as mesmas. Antes de mais, para a Fenprof, a prova tem os dias contados já que foi declarada como inconstitucional pelo Tribunal Administrativo e Fiscal de Coimbra, decisão que levou o Ministério da Educação a recorrer ao Tribunal Constitucional, do qual se aguarda resposta. Para além das questões legais, para os professores, a prova é "inútil", pois não garante colocação e nem determina quem é "bom ou mau professor", deixando de fora do ensino pessoas com capacidades pedagógicas.

Esta semana, no entanto, a Fenprof, disparou, legitimamente, um novo argumento: a má gestão dos recursos públicos dado que poucos professores foram dispersados por várias escolas. Mário Nogueira vem assim exigir saber os custos financeiros da prova.

Mas onde há custos, há (talvez) benefícios

Avaliar os custos financeiros de qualquer medida é certamente importante. Mas, avaliar custos sem avaliar benefícios é ignorar que uma moeda tem duas faces. E muito se tem discutido sobre a estupidez e genialidade da prova, mas muito pouco se tem inferido sobre as desvantagens e vantagens da mesma.

Parece óbvio e intuitivo que é bem melhor ter professores que não cometam erros gramaticais nem ortográficos e que saibam o mínimo sobre permutações (ao que parece a questão que mais professores falharam), mas no limite o que é mesmo relevante é saber qual o impacto desta prova no sistema educativo, na qualidade das escolas e sobretudo no desempenho e aprendizagem dos alunos. E sobre isso nada se sabe.

E que tal uma experiência de campo?

Existem vários métodos econométricos possíveis de usar para avaliar os efeitos da prova no desempenho dos alunos, mas uma boa alternativa, seria usar métodos experimentais, à semelhança do que é feito na investigação médica quando se pretende analisar, por exemplo, o efeito de um fármaco. Considera-se um conjunto de pacientes a participar na experiência e aleatoriamente são formados dois grupos, um ao qual é administrado o medicamento a testar, e um outro, o grupo de controlo, ao qual é administrado um placebo. Dado que os dois grupos são formados aleatoriamente, estes têm em média as mesmas características e diferem apenas no tratamento que recebem. Por comparação dos dois grupos aprendemos sobre o efeito do fármaco.

Como é que poderia então ser aplicado este método na avaliação da eficácia da PACC no sistema educativo? Idealmente, um grupo de professores que chumbou na prova seria integrado em escolas e turmas e o desempenho dos seus alunos seria comparado a outros que fossem lecionados por professores que obtiveram uma avaliação positiva na PACC. As turmas a comparar deveriam ser em média semelhantes no que diz respeito, por exemplo, à sua composição, aos anos letivos, às disciplinas e às características das escolas. As características dos docentes também deveriam ser semelhantes, exceto no que diz respeito aos resultados da PACC.


A contestação à experiência seria de esperar

Apesar de ideal, não tenho dúvidas (mas tenho pena) que entraves legais e talvez constitucionais impedissem esta experiência. Por um lado, não seria justo integrar professores que chumbaram deixando outros de fora. E, a verificar-se um efeito positivo no desempenho dos alunos resultante do aproveitamento na PACC, ficaria sempre a questão ética, de que os alunos lecionados por quem chumbou na prova teriam sido prejudicados em função da experiência.


O ótimo não tem de ser inimigo do bom.

Mas o ótimo não tem de ser inimigo do bom, e não ter ovos não significa que o bolo não possa ser feito. O método experimental poderia ser usado, ainda que restrito aos professores que tiveram um aproveitamento na PACC que lhes permitiu a colocação. Assim sendo, o desempenho das turmas às quais seriam, aleatoriamente, destinadas docentes com mais baixas qualificações na prova seria comparado ao desempenho das turmas lecionadas por docentes com melhores qualificações.

Saber do impacto das provas de avaliação dos professores talvez seja mais difícil que inferir sobre os custos financeiros das mesmas. Mas é necessário, seja por métodos experimentais ou mais convencionais, pois há que terminar uma guerra sustentada por hipóteses. E quem não deve não teme. Se uma avaliação da eficácia da PACC no sistema educativo não for feita, então mais vale ao Ministro assumir que esta prova funciona, nem mais nem menos, como um mero critério de seleção de potenciais professores, até porque mais vale escolher com base em erros ortográficos do que pela cor do cabelo.

0:30 Sexta feira, 27 de março de 2015
Expresso