O projeto MET foi desenvolvido para testar métodos replicáveis que pudessem identificar quais os professores mais eficazes. O trabalho realizado pelos autores tem sido divulgado em vários artigos onde basicamente são descritas três abordagens para medir diferentes aspetos do ensino: pesquisas sobre os estudantes, observações em sala de aula, o historial do professor no que toca ao desempenho dos seus alunos em testes estaduais (Kane e Staiger, 2010 e 2012).

Através dessas análises tem sido possível testar a capacidade de cada medida para prever o que ganham os alunos pelo facto de serem ensinados por um professor mais eficaz. Tarefa feita utilizando métodos estatísticos para controlar as diferenças que cada aluno traz consigo, seja pelo contexto familiar, social ou económico, ou seja, as diferenças do seu background.

Neste artigo, os autores submetem estas medidas a um teste mais definitivo e final. Como? Com dados recolhidos no ano letivo de 2009-2010, Thomas J. Kane, Daniel F. McCaffrey, Trey Miller e Douglas O. Staiger construíram uma medida composta da eficácia do ensino, combinando as três medidas para prever o impacto de um professor num outro grupo de alunos.

Durante o ano letivo de 2010-2011, cada professor foi distribuído aleatoriamente a uma turma e foram monitorizados os desempenhos dos respetivos alunos. Por último, os resultados previsíveis dos alunos foram comparados com as diferenças reais que surgiram no final do ano académico de 2010-2011.

O trabalho de validar as medidas de eficácia do ensino é dificultado pela sistemática triagem dos alunos atribuídos aos professores, alegam os autores. Dentro das escolas usadas como amostra neste estudo encontraram-se diferenças consideráveis nos alunos atribuídos a vários professores, fossem pelos resultados obtidos nos testes, raça ou etnia. “Podemos controlar as características dos alunos que observamos, no entanto, os estudantes podem diferir de maneiras que são invisíveis”, sublinham os autores.

Mesmo quando controlados traços relativos ao background dos alunos, alertam os investigadores, “se as características invisíveis e, por isso, não controladas dos alunos contribuem para melhorar os seus desempenhos, alguns professores podem parecer ser mais eficazes do que realmente são”. E estaria enganado qualquer investigador que pensasse ter conseguido medir a eficácia do ensino, quando tudo o que teria feito era ter identificado professores cujos alunos foram excecionais, de alguma forma impossível de medir.

Identificar a eficácia

“Sem a etapa extraordinária de atribuição aleatória, seria impossível saber se as medidas que pareciam estar relacionadas com ganhos ao nível do aproveitamento dos alunos, nos nossos anteriores relatórios, estão verdadeiramente a identificar um ensino melhor”, escrevem Kane, McCaffrey, Miller e Staiger.

Com a atribuição aleatória de uma turma a determinado professor, tornou-se improvável que os alunos designados para determinados professores, aparentemente mais ou menos eficazes, pudessem diferir de maneiras passíveis ou não de serem medidas. O passo seguinte foi estudar o desempenho dos alunos atribuídos a professores com diferentes medidas prévias de eficácia.

Um olhar sobre todos os professores da amostra e os seus resultados previstos levaram os investigadores a duas questões: Será que as medidas de ensino eficaz identificaram com sucesso grupos de professores que, em média, produzem maiores ganhos no desempenho dos estudantes? E será que a magnitude das diferenças corresponde com o que foi previsto com base na sua eficácia medida em 2009-2010?

As respostas conseguidas trazem algum otimismo nesta matéria. Em primeiro lugar, os investigadores constataram que as medidas de eficácia do ano letivo de 2009-2010 identificaram os professores que produziram maior realização média nos estudantes, seguindo a atribuição aleatória. Como grupo, os professores identificados como mais efetivos produziram um maior efeito na melhoria do desempenho do aluno que os restantes professores da mesma escola, do mesmo nível de ensino e da mesma disciplina.

Em segundo lugar, a magnitude dos ganhos ao nível dos desempenhos gerados pelos professores foi consistente com as expectativas dos investigadores. Por outras palavras, as medidas de eficácia – apesar de terem sido recolhidas antes da atribuição aleatória, quando turmas de estudantes eram atribuídas da forma habitual – geraram previsões do impacto dos professores sobre os alunos que foram confirmadas quando os professores foram posteriormente atribuídos de forma aleatória.