Primeiro, estimaram os efeitos dos professores nos alunos durante um período pré-experimental. De seguida, os investigadores Thomas J. Kane e Douglas O. Staiger usaram essas estimativas para prever o desempenho do aluno na sequência da atribuição aleatória de professores às turmas, como explicam num artigo publicado pelo National Bureau of Economic Research, em dezembro de 2008.

Apesar de todas as estimativas sobre o impacto do professor serem passíveis de prever significativamente o desempenho do aluno sob esta atribuição aleatória, aquelas que controlam previamente as notas dos testes mostraram previsões imparciais, enquanto as que controlaram antes as características médias da sala de aula suscitaram uma previsão mais precisa. Em ambos os dados experimentais e não-experimentais, os investigadores verificaram que os efeitos do professor desaparecem - em cerca de 50% por ano - nos dois anos seguintes à atribuição professor.

Por mais de três décadas, a pesquisa em vários distritos escolares e Estados americanos sugeriu uma considerável heterogeneidade no que toca ao impacto do professor no desempenho do aluno. No entanto, como vários trabalhos recentes têm evidenciado, os pressupostos estatísticos necessários à identificação dos efeitos casuais dos professores - com dados observacionais - são extraordinariamente fortes e raramente testados.

“Os professores podem ser designados para as turmas de diversas maneiras não mensuráveis - tendo em conta a sua motivação, forte envolvimento escolar em anos anteriores ou o empenho dos pais – todas elas resultam em diferentes ganhos ao nível do desempenho dos alunos”, constatam os autores do artigo.

“Se assim for, em vez de refletir os talentos e habilidades de cada um dos professores, as estimativas dos efeitos do professor podem refletir um tratamento preferencial por parte dos diretores das escolas, uma capacidade de rastreamento dos melhores alunos com base em informações não capturadas pelos testes, ou a escolha dos pais de professores específicos.”

Os potenciais enviesamentos descritos são preocupantes, dado o número crescente de Estados e distritos escolares americanos que usam estimativas dos efeitos dos professores em promoções, remunerações e desenvolvimento profissional, escrevem os investigadores.

Neste trabalho, os autores utilizaram dados de uma experiência aleatória realizada no distrito escolar de Los Angeles para testar a validade de vários métodos não-experimentais para estimar os efeitos de professores sobre as notas dos alunos. Estes métodos tentam dar resposta a uma pergunta muito específica: Se numa determinada sala de aula os alunos tiverem o professor A em vez do B, quão diferente seria a sua pontuação média nos testes no início e no final do ano?

Para avaliar as estimativas não-experimentais dos efeitos do professor, os autores projetaram uma experiência que permitisse responder a esta pergunta em concreto. Assim, 78 pares de turmas do ensino fundamental (156 salas de aula e 3194 alunos) foram distribuídos aleatoriamente entre professores nos anos letivos de 2003-2004 e 2004-2005. As pontuações obtidas pelos estudantes nos testes foram observadas no início e no fim do ano em que decorreu a experiência, bem como nos dois anos seguintes.

De seguida, os investigadores testaram a extensão em que a diferença na estimativa pré-experimental do efeito dos professores (calculada sem o benefício da atribuição aleatória) dentro de cada par poderia prever diferenças no desempenho entre as turmas de estudantes aleatoriamente atribuídas.

Para abordar o potencial da atribuição não aleatória dos professores às turmas, num período pré-experimental, foram ainda implementadas várias especificações de “valor acrescentado”, com o objetivo de estimar os efeitos – usando as primeiras diferenças no desempenho dos alunos (“ganhos”), desempenhos do ano letivo em curso e do ano anterior (“quase-ganhos”), desempenhos académicos brutos e desempenhos académicos corrigidos ao nível dos efeitos fixos dos estudantes.

Previsões a curto e a longo prazo

A análise de Thomas J. Kane e Douglas O. Staiger sugere que os modelos padrão de valor acrescentado dos professores são capazes de gerar previsões imparciais e razoavelmente precisas do impacto causal de curto prazo de um professor nas notas dos alunos. Os modelos dos efeitos do professor que controlam tanto os resultados dos testes anteriores como as características médias de pares com o melhor desempenho, explicaram mais de metade da variação dos impactos do professor na experiência.

Como só foram tidas em conta especificações relativamente simples, este pode ser um resultado ténue em termos do poder de previsão que pode ser conseguido usando especificação mais complexas (por exemplo, controlando a atribuição anterior de professores ou os resultados disponíveis de testes de anos anteriores), dizem os investigadores.

Embora estes controles adicionais possam melhorar a precisão das estimativas, os autores admitem que, neste estudo, não acharam que estes fossem necessários para remover eventuais enviesamentos nos resultados. Ainda que careçam de ser replicados em outros lugares, no que concerne às escolas de Los Angeles, os resultados sugerem que as recentes preocupações sobre o enviesamento que o valor-acrescentado do professor confere às estimativas possam na prática ser exageradas.

No entanto, ambas as análises experimentais e não-experimentais mostram um significativo fade-out do efeito dos professores de um ano para o outro, levantando questões importantes sobre se as estimativas imparciais quanto ao impacto de curto prazo do professor são tendenciosas em termos dos impactos de longo prazo.

“Curiosamente, tornou-se comum na literatura experimental denunciar o fade-out dos impactos na pontuação dos testes, em toda uma gama de diferentes tipos de intervenções educativas e contextos. No entanto, não está claro o que deve ser feito para que tais efeitos ‘desapareçam’”, concluem os autores. “Obviamente, seria preocupante se os alunos estivessem simplesmente a esquecer o que aprenderam, ou se o valor-acrescentado medisse apenas algo transitório (como o que se ensina só para o teste) em vez da verdadeira aprendizagem. Isto implicaria supor que o valor-acrescentado sobrevaloriza a eficácia do professor a longo prazo.”

No entanto, asseguram Kane e Staiger, “há evidências de que este fade out também possa refletir a alteração do conteúdo dos testes nos anos de ensino mais à frente (ou seja, os estudantes não esquecem o conteúdo que aprenderam em anos anteriores, simplesmente este já não é testado)”.

Por outro lado, através do efeito dos pares, o impacto de um bom professor pode espalhar-se a outros alunos, em anos futuros, fazendo com que as diferenças relativas nos resultados dos testes pareçam diminuir. Estas dinâmicas podem sugerir que as medidas de valor-acrescentado de curto prazo são, de facto, indicadores precisos de eficácia do professor a longo prazo, apesar do aparente fade out.

Por isso, concluem os autores do artigo, “é necessária uma melhor compreensão crítica de como se gera a dinâmica de fade out antes de se concluir que os efeitos dos professores sobre o desempenho dos alunos são efêmeros”.