Remuneração por mérito

REMUNERAÇÃO POR MÉRITO,
DESAFIO PARA A EDUCAÇÃO
Teresa Cozetti Pontual
novembro de 2008
Estudo comissionado pela Fundação Lemann
ÍNDICE
Introdução.......................................................................................................................... 3
I - Remuneração Variável: Teorias e Conceitos Norteadores............................................ 5
II - As Experiências com Remuneração Variável fora do Brasil....................................... 7
III - Duas Pesquisas Experimentais sobre Remuneração Variável....................................16
IV - Experiências com Remuneração Variável no Brasil..................................................26
V - Conclusões, Reflexões e Proposições..........................................................................41
Bibliografia........................................................................................................................49
2
INTRODUÇÃO
O presente estudo visa avaliar as atuais experiências com remuneração variável
para profissionais da educação pública do ensino básico em estados brasileiros. A pesquisa
parte do princípio de que a remuneração variável de profissionais de educação com base no
desempenho dos seus alunos e demais indicadores de resultado traz benefícios mensuráveis
à qualidade da educação, como mostram experiências em vários estados dos Estados
Unidos e em alguns países em desenvolvimento. O objetivo da pesquisa será mostrar os
diversos caminhos escolhidos pelos estados brasileiros que já adotaram ou planejam adotar
políticas de remuneração variável e sugerir linhas de pesquisa e avaliação que aumentem
as chances de sucesso dessas políticas. Seguindo esta introdução, a primeira parte do
estudo consistirá em resumo bibliográfico sobre as teorias subjacentes à política de
remuneração variável para professores baseada no desempenho de seus alunos, qual a
lógica de tal política e quais são os principais resultados esperados de sua adoção. A
segunda parte fará um resumo das pesquisas já realizadas sobre a adoção de políticas de
remuneração variável para professores em redes de ensino, fora do Brasil, com o intuito de
esclarecer as principais lições que essas experiências têm a nos oferecer. A terceira irá
descrever duas pesquisas experimentais sobre políticas de remuneração por desempenho
realizadas no Quênia e na Índia. A quarta seção fará um relato dos programas de
remuneração variável que já foram ou estão sendo implementados em estados brasileiros,
além de uma análise preliminar de seus resultados, quando possível, e das críticas e
resistências geradas pelas experiências existentes. A quinta e última parte concluirá o
estudo juntando, às experiências enumeradas, reflexões e recomendações sobre caminhos
de pesquisa e avaliação necessários para o sucesso das políticas de remuneração variável.
A metodologia utilizada será de pesquisa documental, tendo como fonte as
Secretarias de Estado de Educação dos estados em questão, e bibliográfica, utilizando
estudos, livros e matérias publicados sobre políticas de remuneração variável no Brasil e
em outros paises. Conversas, entrevistas e informações obtidas em palestras também serão
utilizadas como fonte. Este estudo não tem como objetivo tirar conclusões definitivas sobre
os benefícios ou deméritos dos programas de remuneração variável, seja no Brasil, seja nos
demais países e, portanto, não realizará análises quantitativas com este fim. Onde
pesquisas rigorosas de avaliação de resultados destas políticas estejam disponíveis, estas
3
serão apresentadas. Este estudo visa somente fazer um apanhado do que é conhecido sobre
remuneração variável até o presente momento, reunindo o que as pesquisas internacionais
nos mostram ao que está sendo feito no Brasil.
O objetivo final da realização desta pesquisa, de certo modo prematura, já que
grande parte das experiências brasileiras consideradas ou foram abandonadas ou se
encontram em fase de desenvolvimento ou de implementação inicial, é trazer atenção para
uma política inovadora e promissora de melhoria da qualidade da educação. O Brasil tem a
oportunidade, através de pesquisas rigorosas sobre políticas como as de remuneração
variável, de fazer parte do diálogo internacional sobre as estratégias mais eficazes de
melhoria da qualidade de ensino em grande escala. Daí a importância de se destacar as
experiências e pesquisas pioneiras de políticas de remuneração variável para que os
gestores públicos sejam munidos de informações que os ajudem a desenhar políticas cada
vez mais eficazes.
4
I - REMUNERAÇÃO VARIÁVEL: TEORIAS E CONCEITOS NORTEADORES
A remuneração de professores na maioria dos sistemas de ensino é única para todos
os profissionais, oferecendo uma base salarial que varia com base em dois critérios: tempo
de serviço e titulações obtidas. Em outras profissões, a incidência de remuneração variável
com base nos resultados e produtividade dos profissionais é prática comum. De acordo
com uma pesquisa feita em 1996 com 1.681 firmas, 61% delas utilizavam algum tipo de
esquema de remuneração variável com base no desempenho (Podgursky e Springer, 2006).
Outro estudo revela que três quartos dos empregados assalariados de grandes firmas fazem
parte de algum esquema de remuneração variável por desempenho (Ibid.). No campo da
educação pública, como o mercado não serve como indicador de desempenho, a
dificuldade de se encontrar uma medida de desempenho objetiva e padronizada para todo
um sistema fez com que a remuneração variável demorasse a surgir como opção viável.
Além da questão da mensuração, há também a proteção oferecida pela legislação aos
empregos dos professores da maioria das redes públicas de ensino, o que torna sua
demissão por mal desempenho (caso seja possível aferi-lo com exatidão e objetividade)
praticamente impossível.
O desenvolvimento dos testes padronizados de larga escala que ganharam
popularidade nos anos 90 e vem se consolidando desde então, ganhando dimensão
internacional com o advento do Programme for International Student Assessment (PISA) e
Trends in International Mathematics and Science Studies (TIMSS), passou a oferecer aos
sistemas de ensino uma medida quantificável e padronizada do desempenho dos alunos de
sua rede, tornando viável, portanto, a identificação de professores e escolas cujo
desempenho atinja patamares recomendáveis e satisfatórios, e permitindo que surgisse a
opção de se associar a remuneração dos professores de uma escola, individualmente ou
coletivamente, ao desempenho de seus alunos.
Através de um bônus por desempenho para professores, espera-se alinhar os
interesses do aluno aos dos professores e assim motivar o professor a aumentar seu esforço
dentro de sala de aula, contribuir para a profissionalização do magistério, estimular
professores a investirem no seu próprio desenvolvimento profissional, assim como atrair
professores mais bem qualificados para a profissão. Ou seja, não só melhorar a
produtividade de quem já está na profissão, mas aumentar a qualidade da força de trabalho
5
docente como um todo, atraindo e retendo professores cujos alunos obtêm alto
desempenho (Podgursky e Springer, 2006; Umansky, 2005; Gordon et al., 2006).
No entanto, junto a essa possibilidade surge também uma série de questões
complexas para as quais não há respostas prontas e objetivas, tal como: a definição do
valor do bônus; se só serão beneficiados os professores das matérias e séries testadas; se os
bônus serão individuais ou coletivos (para a escola, ou para grupos de professores de uma
matéria ou série); a dificuldade da elaboração de um teste padrão que meça competências e
habilidades; a periodicidade dos testes; as matérias e séries a serem testadas; a dificuldade
de se basear a remuneração do professor num teste que reflete uma única dimensão do
aprendizado do aluno; a promoção de um foco exagerado em técnicas para responder testes
de múltipla escolha ao invés de conteúdos pedagógicos (“teaching to the test”); tirar o
foco das matérias que não são testadas pelos testes-padrão; e a dificuldade de se evitar
práticas escusas de manipulação dos resultados da avaliação externa, são algumas das mais
mencionadas.
Apesar das incertezas que rodeiam a política de bônus por desempenho para
professores, o fato é que a sua popularidade é crescente, como provam os sistemas de
ensino público de todo o mundo que adotam tais políticas com cada vez mais freqüência.
Cada experiência com esta política oferece soluções para as questões enumeradas acima e
apresenta resultados que devem ser considerados no seu aprimoramento pelos futuros
sistemas que pretendem adotá-la. Este estudo tratará de expor algumas das experiências
com remuneração variável em redes de ensino dentro e fora do Brasil. E relatará, também,
os resultados de duas pesquisas experimentais realizadas no Quênia e na Índia que
auxiliam na compreensão do impacto de políticas de remuneração variável no desempenho
dos alunos.
II - AS EXPERIÊNCIAS COM REMUNERAÇÃO VARIÁVEL FORA DO BRASIL
Os Estados Unidos oferecem não só o maior número de experiências com
remuneração variável em sistemas de ensino, como também o maior número de tentativas
de avaliar seu impacto sobre o desempenho dos alunos. Murnane e Cohen (1986)
identificam que a prática de remunerar professores por mérito perdeu popularidade do
início do Século XX para cá: sua presença passou de 48 por cento dos distritos escolares
6
dos Estados Unidos, em 1918, para 20 por cento em 1939, para só 4 por cento em 1953
(Murnane e Cohen, 1986; Figlio e Kenny, 2006). No entanto, nos anos 80 e 90, essa
tendência se inverteu, com 10 por cento dos distritos escolares adotando políticas de bônus
por desempenho em 1984, e 12 por cento deles em 1993 (Ballou, 2001 citado em Figlio e
Kenny, 2006). E continua positiva no início do Século XXI; as políticas de
responsabilização do governo Bush aumentaram a pressão nos sistemas de ensino dos
EE.UU. para elevar o desempenho de seus alunos como mensurado nos testes de
desempenho padrão como o NAEP (National Assessment of Educational Progress ou
Avaliação Nacional de Progresso Educacional). Em busca de maneiras inovadoras de
alcançarem os novos padrões exigidos nacionalmente pela lei ‘Nenhuma Criança Deixada
para Trás’ (No Child Left Behind - NCLB), muitos distritos adotaram políticas de
remuneração variável como uma das estratégias para melhorar o nível de aprendizagem de
seus alunos.
Podgursky e Springer (2006), em estudo publicado pelo National Center for
Performance Incentives da Universidade Vanderbilt, defendem que o interesse pelas
políticas de remuneração por desempenho está crescendo indubitavelmente, assim como o
número de programas desse tipo que estão sendo desenvolvidos e implementados. Eles
mencionam também que por uma ‘estimativa jornalística’, “um terço dos distritos de
educação básica [dos Estados Unidos] parece estar ‘pronto’ para participar em políticas de
incentivo por desempenho de iniciativa local, estadual ou federal” (p. 1, tradução minha).
Uma análise do conjunto de pesquisas existentes sobre o impacto dessas políticas no
desempenho dos alunos aponta para a existência de uma associação positiva e
estatisticamente significativa entre a adoção de políticas de remuneração variável e o
desempenho dos alunos na maioria dos casos (Podgursky e Springer, 2006). Alguns dos
programas de remuneração por desempenho que existem nos Estados Unidos são: o
‘Sistema de Remuneração Profissional para Professores’ (ProComp) da cidade de Denver
no Colorado, os programas de ‘Prêmio por Excelência para Educadores’ do estado do
Texas, os programas ‘Professores Especiais São Reconhecidos’ do estado da Flórida, o
programa ‘Q-Comp’ (Quality Compensation ou Remuneração por Qualidade) do estado de
Minnesota, além de programas criados por fundações filantrópicas como o ‘Programa de
Avanço para o Professor’ (Teacher Advancement Program - TAP) criado pela Fundação
7
Milken e o programa federal ‘Fundo de Incentivo ao Professor’ (Teacher Incentive Fund TIF), que no seu primeiro ano, em 2006, repassou cerca de metade dos US$ 99 milhões da
reserva orçamentária feita em sua criação para 16 programas de remuneração variável em
14 estados americanos (Podgursky e Springer, 2006).
Uma meta-análise que tente agrupar todas as pesquisas sobre o impacto desses
programas, como já foi feito sobre o número de alunos em sala de aula, qualificação de
professores, ou investimento por aluno, não é recomendável nesse caso porque cada
programa de remuneração variável mencionado acima, apesar de todos de alguma forma
usarem o desempenho do aluno para calcular a remuneração do professor, difere dos outros
em desenho, de tal forma que eles não são, de fato, comparáveis. Não só os bônus são
calculados e oferecidos em formatos e com freqüências completamente diversas, mas são
diversas também as formas de medir o desempenho dos professores, com alguns
programas usando somente avaliações externas dos alunos (que nos EE.UU. variam de
estado para estado), outros usando modelos de valor-agregado (‘value-added model’) e
ainda outros usando um conjunto de medidas que incluem não só alguma medida do
desempenho dos alunos mas também avaliações dos diretores de escola, de algum conselho
ou comitê que exista na escola, ou dos pais dos alunos. Esses fatores nos impedem de
resumir o efeito do bônus por desempenho para professores como se fosse uma política
uniforme.
No entanto, é possível analisar as avaliações dos programas de remuneração
variável existentes e averiguar se seu saldo final é positivo, misto ou negativo, como
fizeram Podgursky e Springer (2006) em seu estudo. Com base em nove avaliações sobre
programas de bônus por desempenho realizados em cinco países e
três estados
americanos, estes autores puderam observar que os resultados, em termos de melhoria na
avaliação do desempenho dos alunos em diversas matérias, foi positivo em sete e misto em
dois deles (Podgursky e Springer, 2006). Destas nove avaliações, três foram pesquisas
experimentais, ou seja, utilizavam um grupo de controle escolhido de forma aleatória e
exógena ao tratamento (nestes casos definido como o bônus por desempenho), permitindo
que diferenças observadas ao longo do tempo no desempenho dos alunos desses dois
grupos pudessem ser atribuídas exclusivamente ao tratamento avaliado (duas destas
pesquisas, uma realizada na Índia e a outra no Quênia, serão apresentadas em maior
8
detalhe na terceira seção deste estudo). Enquanto que as outras sete avaliaram os
programas depois de já implementados, com base nos dados disponíveis, realizando
análises estatísticas com controles multivariados, às vezes identificando grupos de controle
ex-post, como no caso de Lavy (2002 e 2004), em Israel, para identificar associações
(positivas ou não) estatisticamente significativas entre o desempenho dos alunos e o
programa de remuneração variável avaliado. Uma destas sete pesquisas usando métodos de
controle estatístico, mencionadas por Podgursky e Springer (2006) foi realizada por Figlio
e Kenny (2006) usando os micro-dados de uma pesquisa nacional longitudinal da educação
(National Education Longitudinal Survey) realizada em 1993 e uma pesquisa realizada
pelos próprios autores em 2000. Eles criaram um índice para classificar os distritos
escolares quanto à magnitude das suas práticas de política de remuneração por desempenho
(com base na faixa salarial e na porcentagem dos professores que ganhavam ou bônus por
desempenho ou aumento por desempenho). Correlacionando as notas dos alunos com esses
índices de remuneração variável e ao mesmo tempo controlando pelas variáveis sócioeconômicas e observáveis disponíveis, Figlio e Kenny (2006) encontram associações
positivas e estatisticamente significativas entre políticas de remuneração por desempenho e
o desempenho dos alunos. Ou seja, na média, nas 502 escolas na base de dados analisada
por estes pesquisadores, as que adotam políticas de remuneração variável possuem alunos
com desempenho entre 1.6 e 3.2 pontos a mais nos testes do que as que não as adotam
(Figlio e Kenny, 2006). Embora esses valores sejam pequenos quando comparados com o
desvio padrão de 33 pontos nesses mesmos testes, eles equivalem em magnitude a
aumentar a educação da mãe em três anos (Ibid.). Uma conclusão interessante da pesquisa
destes autores é que a remuneração variável tem efeito positivo quando o benefício está
disponível para todos, mas somente poucos o recebem: “Nossa análise, que é única na
literatura sobre incentivos, sugere que existe uma relação entre desempenho de alunos em
avaliações externas e remuneração por desempenho que beneficia poucos professores, mas
nenhuma associação entre desempenho dos alunos e remuneração por desempenho que
beneficia a maioria deles” (Figlio e Kenny, 2006, p. 19, tradução minha). No entanto,
como na maioria das pesquisas realizadas ex-post que não contam com grupo de controle
aleatório, essa associação não pode ser conclusivamente atribuída à política de
remuneração variável. Como os próprios autores colocam: “Nós demonstramos que alunos
9
aprendem mais em escolas onde os professores recebem incentivos financeiros para
fazerem um bom trabalho, mas não podemos distinguir se esta associação resulta dos
incentivos ou do fato de que escolas que já são melhores decidiram implementar
programas de remuneração por desempenho” (Figlio e Kenny, 2006, p. 17-18, tradução
minha).
As experiências, avaliações e estudos com e sobre remuneração por desempenho
para professores dos EE.UU., em suma, apontam para uma associação positiva entre a
adoção desta política e o desempenho dos alunos. No entanto, ainda são poucas as
experiências e as avaliações realmente conclusivas sobre o efeito que a política de
remuneração variável, em suas quase que infinitas possíveis versões, pode ter no
desempenho dos alunos. Como concluem Figlio e Kenny (2006), “uma pesquisa
experimental controlada seria necessária para obter estimativas do efeito de incentivos
individuais para professores no desempenho dos alunos que poderia realmente ser
considerada causal” (p. 18, tradução minha). As duas pesquisas experimentais controladas
realizadas no Quênia e na Índia, que fazem contribuições valiosas para essa discussão,
serão discutidas em mais detalhe na terceira seção deste estudo.
Na América Latina, as experiências com este tipo de política são poucas, assim
como as pesquisas publicadas sobre elas. No livro que mais extensamente trata do assunto,
Incentives to Improve Teaching: Lessons from Latin America organizado por Emiliana
Vegas (2005) e publicado pelo Banco Mundial, as únicas experiências com remuneração
por desempenho citadas são as do Chile e do México.
A experiência mexicana se refere ao programa nacional Carrera Magisterial, que
criou um novo plano de carreira para os professores mexicanos que visava promover os
professores com base no seu desempenho. Este programa, iniciado em 1993, atribui pontos
aos professores em seis áreas, chegando à nota máxima de 100 pontos. As áreas avaliadas
são a) educação (10 pontos), b) anos de experiência (15 pontos), c) formação continuada
(17 pontos), d) avaliação do diretor (10 pontos), e) teste de conteúdo aplicado ao professor
(28 pontos), f) desempenho do aluno (20 pontos), medido por avaliação externa (McEwan
e Santibáñez, 2005). A partir do nono ano do programa, o governo federal impôs uma
pontuação mínima de 70 pontos para que o professor pudesse ser promovido dentro deste
novo plano de carreira. Embora a participação neste programa seja voluntária, a vasta
10
maioria dos professores participa do sistema de avaliação nas áreas acima enumeradas
(McEwan e Santibáñez, 2005). São cinco os níveis de promoção na Carrera Magisterial,
denominados A, B, C, D e E. Cada nível corresponde a um aumento permanente no salário
do professor (McEwan e Santibáñez, 2005). O aumento obtido em cada nível é substancial,
indo de 24,5 por cento no Nível A a 197 por cento do salário base do professor no nível E
(Ibid., p. 218).
Os pesquisadores McEwan e Santibáñez utilizaram o método estatístico de
descontinuidade de regressão (regression discontinuity design) para avaliar o efeito da
Carrera Magisterial no desempenho dos alunos, se valendo do fato de que os professores
cuja pontuação nas áreas a a e acima somava menos que 50 ou mais que 70 pontos tinham
um baixo incentivo para aumentar o desempenho dos seus alunos1, quesito responsável por
20 pontos na sua avaliação. Somente os professores cuja pontuação nos quesitos de a a e
somasse entre 50 e 70 teriam fortes incentivos para melhorar o desempenho de seus alunos
e assim passariam o limiar de 70 pontos que lhes permitiria serem promovidos. Usando
métodos estatísticos (descontinuidade de regressão e diferença em diferença), checando a
robustez de suas análises (robustness checks procurando interações e heterogeneidade dos
efeitos) e testando uma variedade de hipóteses alternativas (testando outros cortes na soma
dos quesitos de a a e), os autores concluíram que a promoção de professores na Carrera
Magisterial não está associada ao melhor desempenho de seus alunos (McEwan e
Santibáñez, 2005). Essa conclusão pode parecer surpreendente, mas quando se leva em
conta a complexidade do sistema de remuneração instaurado pelo programa, a participação
ativa do sindicato em seu desenho e a pequena proporção da pontuação dos professores que
é atribuída ao desempenho dos seus alunos, ela se torna compreensível. Os autores
McEwan e Santibáñez (2005) mostram em seu estudo que 85 por cento dos professores
não têm forte incentivo para melhorar o desempenho de seus alunos, seja por sua
pontuação estar abaixo de 50 nos outros quesitos, seja por já estar acima de 70. Isto sugere
que a capacidade que uma política de remuneração variável tem de incentivar o professor a
melhorar o desempenho dos seus alunos será influenciada pela fórmula utilizada para
quantificar e medir o desempenho do professor. A literatura sugere que, para ser efetiva,
1
Isto porque as notas nesses quesitos saíam dois meses antes da prova de desempenho dos alunos (quesito f)
e eram relativamente estáveis (McEwan e Santibáñez, 2005).
11
uma política de remuneração variável deve ser desenhada de modo a garantir que o maior
número possível de professores tenha a chance de ganhar o prêmio (ou seja, se sintam
motivados a melhorar o desempenho de seus alunos), que o prêmio seja distribuído
somente àqueles que realmente melhoram o desempenho de seus alunos (para tanto, tem
que haver uma forte relação entre o desempenho dos alunos e o do professor, nem sempre
fácil de determinar) e seja alto o suficiente para ser almejado por todos os professores
(Vegas e Umansky, 2005).
Duas das pesquisas mais citadas na literatura sobre remuneração variável vêm de
Israel, onde Lavy (2002 e 2004) identificou uma associação positiva entre o bônus por
desempenho para professores e o desempenho dos alunos em duas experiências com bônus
por desempenho, uma em 2002 e outra em 2004. Nas duas pesquisas, Lavy utilizou a
metodologia de descontinuidade de regressão para identificar se houve diferença no
desempenho dos alunos entre as escolas que receberam e aquelas que não receberam o
bônus (Podgursky e Springer, 2006). O uso desta metodologia foi possibilitado pelas
regras claras para a participação no programa que traçavam uma linha entre o grupo de
participantes e não-participantes, permitindo se comparar o desempenho daqueles logo
abaixo desta linha com o daqueles logo acima dela (o pressuposto é que as escolas logo
abaixo e logo acima desta linha não diferem de forma sistemática ou significativa e,
portanto, se alguma diferença significativa é encontrada entre o desempenho de seus
alunos após o programa, tal diferença pode ser atribuída ao programa).
O programa de bônus por desempenho avaliado por Lavy em 2002 era destinado à
escola e distribuído igualmente entre os professores, com uma parte reservada para
melhorias na infra-estrutura da escola. Já o programa de 2004 era uma bônus individual
para professores. Nos dois casos o desempenho dos professores e das escolas foi medido a
partir da melhora no desempenho de seus alunos em testes de conclusão do ensino médio
(comparável ao ENEM no Brasil, se ‘passar’ o ENEM fosse requisito para conclusão do
ensino médio) e nos dois casos a comparação entre as escolas mostrou que o desempenho
dos alunos daquelas que concorreram ao prêmio foi melhor do que os daquelas que não
concorreram (na pequena faixa de escolas comparáveis acima e abaixo da linha que divide
as escolas concorrentes das não-concorrentes) (Lavy, 2002 e 2004). Além do melhor
desempenho, Lavy (2004) também constatou que não houve piora no desempenho dos
12
alunos das escolas participantes nas matérias que não estavam atreladas ao prêmio, o que
rebate um argumento comum contra o bônus por desempenho, o de que este tira a atenção
dos professores das matérias não-testadas. Outro resultado importante de Lavy (2004) vem
da comparação entre o custo-eficácia do bônus coletivo (para toda a escola) e do bônus
individual (diretamente para os professores), na qual o bônus individual teve o maior
benefício pelo menor custo (Podgursky e Springer, 2006). Este resultado foi o mesmo
encontrado por Muralidharan e Sundararaman (2006 e 2008) em sua pesquisa no estado de
Andhra Pradesh na Índia, relatado na seção seguinte.
III - DUAS PESQUISAS EXPERIMENTAIS SOBRE REMUNERAÇÃO VARIÁVEL
Como mencionado na seção anterior, a maioria das avaliações sobre políticas de
remuneração variável tem a difícil tarefa de tirar conclusões causais sobre seu efeito no
desempenho dos alunos sem ter um grupo de controle contra o qual uma comparação
confiável possa ser feita. Toda a avaliação de impacto tem a difícil tarefa de responder à
pergunta: o que teria acontecido com os indivíduos afetados pelo programa (ou política)
sendo avaliado na ausência dele? (Duflo e Kremer, 2003). Simplesmente comparar os
resultados dos alunos depois da adoção da política com aqueles de antes de sua adoção é
insuficiente, pois não podemos isolar todos os outros possíveis fatores, internos e externos,
que podem ter influenciado o resultado concomitantemente. Uma cidade (ou estado) que
não adotou a mesma política não serve como um grupo de controle satisfatório, mesmo que
tenha características observáveis similares, porque não podemos eliminar a possibilidade
de que as mesmas razões endógenas e não-observáveis que fizeram aquela cidade adotar a
política, e não a política em si, é que explicam as diferenças encontradas entre os dois
grupos. Essas limitações são conhecidas como o problema de viés de seleção na literatura
sobre avaliações de impacto (Duflo e Kremer, 2003). A melhor maneira de eliminar o viés
de seleção é escolher aleatoriamente um grupo de controle e um de tratamento dentro de
uma população de possíveis participantes de uma programa. Neste caso, podemos garantir
que os dois grupos não são diferentes na média (todos são plausíveis participantes do
programa), e portanto qualquer diferença estatisticamente significativa encontrada entre os
dois grupos, no resultado que o programa esperava afetar, pode ser confiavelmente
atribuído a ele (Ibid.). Este é o método usado por pesquisas experimentais com controle
13
aleatório que são cada vez mais comuns no campo da economia do desenvolvimento e
inclusive na educação, como demonstra o trabalho de centros de pesquisa americanos
como o Abdul Latif Jameel Poverty Action Lab do Massachusetts Institute of Technology e
o Education Innovation Laboratory (Ed Labs) da Universidade de Harvard
2
(Duflo,
Glennerster e Kremer, 2007; Duflo e Kremer, 2003; Figlio e Kenny, 2006; Glewwe, Ilias e
Kremer, 2003; Muralidharan e Sundararaman, 2006 e 2008; Duflo, Dupas e Kremer,
2007).
Sobre o tema de remuneração por desempenho, já foram publicados os resultados
de duas pesquisas experimentais com controle aleatório, uma no Quênia e uma na Índia
(Glewwe, Ilias e Kremer, 2003; Muralidharan e Sundararaman, 2006 e 2008).
A) Bônus por desempenho no oeste do Quênia
Glewwe, Ilias e Kremer (2003) desenharam uma pesquisa experimental com
controle aleatório para avaliar o impacto de um programa de bônus por desempenho para
professores financiado pela International Christelijk Steunfonds (ICS), uma ONG
holandesa, nos distritos de Busia e Teso no oeste do Quênia. O programa oferecia às
escolas a oportunidade de premiar os professores de 4ª à 8ª séries se os alunos de sua
escola apresentassem bom desempenho na avaliação externa distrital. Escolas poderiam ser
premiadas em uma de duas categorias: melhor desempenho e maior progresso em relação
ao ano base. O valor anual do bônus chegava a 43% do salário-base mensal dos professores
(esta proporção bônus-salário equivale àquela utilizada nos bônus por desempenho
adotados em estados dos EE.UU.). O salário de professores no Quênia é relativamente alto,
chegando a $2.000 dólares por ano, o que representa cerca de cinco vezes o PIB per capita
(Glewwe, Ilias e Kremer, 2003). Como no caso do Brasil, o salário do professor queniano é
definido exclusivamente pelo seu tempo de serviço e qualificação educacional, e ele
usufrui de fortes proteções legislativas e sindicais como servidor público (Ibid.). Apesar de
sua situação salarial relativamente vantajosa, o levantamento dos pesquisadores indicou
que o professor queniano falta, na média, 20% dos dias letivos (Ibid.). Para evitar que as
escolas incentivassem os piores alunos a ficarem de fora da avaliação, os pesquisadores
2
Mais sobre o trabalho destes dois centros de pesquisa nos seus sítios de internet:
http://www.povertyactionlab.org/ e http://www.edlabs.harvard.edu/, respectivamente.
14
atribuíram notas baixas aos alunos que faltassem à prova. De um grupo de 100 escolas
identificadas pelo Ministério da Educação do Quênia como de baixo desempenho, mas que
haviam ficado de fora de um programa do Banco Mundial, 50 foram aleatoriamente
selecionadas para participar da premiação por desempenho para os professores de 4ª à 8ª
séries (grupo de tratamento), enquanto as outras 50 serviram como grupo de controle (estas
escolas se beneficiaram de outro programa direcionado à pré-escola). Como já
mencionado, a seleção aleatória das escolas entre grupos de tratamento e controle permite a
presunção de homogeneidade entre elas e a atribuição de diferenças identificadas na média
de um e de outro grupo ao programa sendo avaliado (Duflo, Glennerster e Kremer, 2007;
Duflo e Kremer, 2003).
Ao final de dois anos de programa, os pesquisadores constataram que as escolas
que faziam parte do grupo de tratamento tiveram desempenho nos testes distritais 0,14
desvios padrão maior que as escolas do grupo de controle, diferença estatisticamente
significativa para 5% (Glewwe, Ilias e Kremer, 2003). Os alunos das escolas de tratamento
também apresentaram maior probabilidade de fazer o teste distrital que os alunos das
escolas de controle (diferença estatisticamente significativa para 5%) (Ibid.). No entanto,
ao comparar os resultados dos alunos originalmente no grupo de controle com aqueles
originalmente no grupo de tratamento, um ano após o término do programa, a diferença
entre os grupos havia desaparecido, sugerindo que o efeito positivo encontrado resultou de
uma melhoria na habilidade de fazer provas a curto prazo e não no aprendizado a longo
prazo (Ibid.).
Como uma avaliação com grupo de controle aleatório pressupõe a participação dos
pesquisadores junto à implementação inicial do programa sob avaliação, isto permite o
acompanhamento do programa ao longo de sua duração, possibilitando que os mecanismos
que levaram aos resultados encontrados sejam identificados ao longo da avaliação. No caso
da pesquisa no Quênia, o comportamento dos professores em cada grupo foi comparado ao
longo do programa e a única diferença encontrada foi na freqüência de sessões
preparatórias para provas fora do horário escolar (Ibid.). Outros fatores, como a freqüência
dos professores na escola ou em sala de aula ou a freqüência com a qual os professores
passaram dever de casa para seus alunos, não diferiram entre o grupo de controle e o de
tratamento (Ibid.). Os autores usaram as notas dos alunos em outros testes, um nacional
15
(KCPE) e outro aplicado pela ONG (ICS) que financiou o programa, para comparar os
resultados. Durante a duração do programa, a nota média dos alunos no grupo de
tratamento foi significativamente maior no teste nacional mas não no teste da ICS, o que
reforçou a conclusão de que a diferença favorável no desempenho dos alunos encontrada
nas escolas de tratamento resultou da adoção de métodos que focaram na habilidade a curto
prazo de responder provas padrão e não no seu aprendizado real (Ibid.).
B) Bônus por desempenho no estado de Andhra Pradesh na Índia
Mais recentemente, no estado de Andhra Pradesh (AP) na Índia, o Estudo
Avaliativo de Andhra Pradesh (o Andhra Pradesh Randomized Evaluation Study-AP
RESt), uma parceria entre o governo de AP, a fundação indiana Azim Premji e o Banco
Mundial, utilizou o desenho de pesquisa experimental com controle aleatório para avaliar
quatro políticas educacionais alternativas: 1) contratar um professor para a escola através
de contrato temporário (sem concurso), 2) repassar uma verba para ser gasta de acordo
com critérios pré-estabelecidos, 3) bônus por desempenho para a escola distribuir
igualmente entre os professores, 4) bônus por desempenho para professores (Muralidharan
e Sundararaman, 2006 e 2008). O valor orçamentário de cada programa foi idêntico, para
permitir uma comparação da relação custo-eficácia de cada alternativa. Além dos quatro
grupos, de 100 escolas cada, onde as políticas foram implementadas, houve um quinto
grupo de 100 escolas que serviu como grupo de controle. Todas as escolas foram
monitoradas igualmente. O presente estudo irá se ater às duas políticas de bônus por
desempenho avaliadas, e as outras duas serão utilizadas somente para fins comparativos.
O desempenho dos alunos de 1ª à 5ª séries para fins comparativos e para definição
do bônus foi medido através de provas de linguagem e de matemática. As primeiras provas
foram aplicadas antes do início do programa para servir como base de referência. As
provas foram desenvolvidas por uma empresa especializada e aplicadas pela Fundação
Azim Premji. O bônus por desempenho equivaleu a cerca de $500 rúpias para cada ponto
percentual de melhora acima de 5% na média das notas dos alunos. Esse bônus foi
calculado de modo a totalizar mais ou menos 3% do salário anual do professor (Ibid.).
Os alunos das escolas que receberam o bônus individual ou coletivo tiveram
desempenho significativamente melhor do que aqueles do grupo de controle. A magnitude
16
da melhora foi de 0,22 desvios padrão depois de dois anos do programa, o que equivale a
cerca de nove pontos percentuais na média da distribuição (diferença estatisticamente
significativa p<0,05), não havendo diferença significativa na freqüência nos testes entre os
alunos dos grupos de tratamento e controle (Ibid.). Adicionalmente, esta melhora foi
encontrada em todos os subgrupos e tipos de participantes: em todas as cinco séries (1ª à
5ª), nos cinco distritos de Andhra Pradesh, para todos os níveis de dificuldade de perguntas
avaliadas, entre todos os níveis sócio-econômicos, para os alunos com notas altas e baixas
no teste inicial de referência (Ibid.). O melhor desempenho também ocorreu nos alunos de
diferentes subgrupos de professores: mais velho e mais novo, mulher e homem, mais
qualificado e menos qualificado (Ibid.). Ou seja, não houve heterogeneidade no efeito do
tratamento. Além disso, os ganhos das escolas tratadas foram maiores em todos os pontos
da curva de distribuição, o que significa que ninguém teve desempenho pior após o
tratamento (Ibid.).
Para averiguar se a melhora encontrada adveio simplesmente da aquisição de
habilidades referentes à prática de responder testes-padrão e não do aprendizado real e
duradouro, os testes foram especificamente desenvolvidos para testar tanto conhecimentos
‘mecânicos’ como ‘conceituais’ (Ibid.). De fato, os alunos das escolas que adotaram o
bônus por desempenho (seja ele coletivo ou individual) tiveram desempenho
estatisticamente significativamente3 melhor do que os alunos das escolas de controle nos
dois tipos de pergunta (Ibid.). Para averiguar se o bônus desviou a atenção das matérias
cujo desempenho em testes não estava atrelada a seu recebimento, um teste surpresa em
ciências e estudos sociais foi aplicado aos alunos. O desempenho dos alunos das escolas
que adotaram qualquer tipo de bônus por desempenho, mesmo nesses testes, foi
estatisticamente significativamente maior que o dos alunos das escolas do grupo de
controle (Ibid.). Estes resultados sugerem que a melhora nas notas representam ganhos
reais em aprendizagem e não simplesmente uma melhor capacidade de fazer provas.
A ocorrência de práticas desonestas foi limitada pois a Fundação Azim Premji se
dedicou ao controle e monitoramento das avaliações de modo a garantir sua legitimidade.
Somente um caso de tentativa de manipulação de resultados foi detectado no segundo ano
3
Neste estudo a expressão ‘estatisticamente significativa’ se refere a um valor de p menor que 0,05. Em
outras palavras, p<0,05 nos permite rejeitar a hipótese nula de que não há diferença entre os grupos sendo
comparados.
17
do programa, resultando na desqualificação desta escola.
Já na comparação entre as escolas onde foi implementado o bônus individual e
aquelas onde o bônus foi para a escola como um todo, a análise dos dados revelou que ao
final do primeiro ano, as escolas com bônus coletivo tiveram resultados praticamente
idênticos àquelas com bônus individuais. As duas tiveram desempenho cerca de 0,15
desvio padrão acima do grupo de controle (p<0,05) (Ibid). Já ao fim do segundo ano, as
escolas com bônus individual tiveram desempenho 0,27 desvios padrão maior que o grupo
de controle, enquanto que as escolas com bônus coletivo tiveram desempenho 0,16 desvio
padrão maior que o controle (Ibid.) Esta diferença entre o desempenho das escolas com
bônus individual e o das escolas com bônus coletivo é estatisticamente significante a favor
do primeiro grupo, ou seja as escolas com bônus individual tiveram desempenho melhor
que as escolas com bônus coletivo (Ibid.). No entanto, quando as quatro políticas
educacionais sendo avaliadas são comparadas, os dois programas de bônus tiveram
resultados significativamente melhores do que as outras duas intervenções que ofereceram
mais recursos humanos ou financeiros para as escolas pelo mesmo custo. Enquanto a
melhora foi de 0,22 desvios padrão para os programas de bônus, os programas de aumento
de recursos mostraram desempenho 0,08 desvio padrão maior quando comparados às
escolas do grupo de controle depois de dois anos de programa (Ibid.).
O desenho do estudo AP RESt vai além de determinar se a política sendo avaliada
tem efeito positivo no desempenho dos alunos mas pretende explicitar, através de
observações presenciais e pesquisas qualitativas, os mecanismos através dos quais esta
melhoria ocorreu.
No caso do bônus por desempenho, o que este monitoramento
identificou foi que não houve melhora na freqüência dos professores, mas que a quantidade
de dever de casa aplicado aumentou, assim como a quantidade de tarefas realizadas dentro
da sala de aula, a freqüência das aulas extras de preparo para o teste, a prática com testes
simulados, e a atenção dada aos piores alunos (Ibid.).4 Estas foram as principais mudanças
de comportamento identificadas pela pesquisa nas escolas onde o bônus por desempenho
foi implementado.
4
Estas conclusões foram tiradas a partir da comparação estatística entre as respostas de questionários
aplicados aos professores das escolas com bônus e das escolas controle.
18
C) Lições das pesquisas experimentais sobre remuneração por desempenho
Apesar de terem resultados mistos, as duas pesquisas experimentais com controle
aleatório apresentadas aqui sugerem que a política de remuneração por desempenho tem o
potencial para efetivamente alcançar melhorarias no desempenho dos alunos. No caso de
Andhra Pradesh, dois anos de dados sugerem que o impacto positivo não resultou somente
do fato de a política ter sido uma novidade. Os ganhos continuados em componentes
mecânicos e conceituais, assim como em matérias que não participaram do bônus, sugerem
que o problema de se direcionar o ensino somente para a prática de testes (teaching to the
test), argumento comum contra políticas de remuneração por resultado, é menos comum
em contextos onde o nível de aprendizado é muito baixo (como na Índia e no Brasil),
apesar de os resultados do Quênia apontarem na direção oposta. A ausência de evidências
definitivas e incontestáveis sobre a efetividade da adoção de bônus por desempenho na
melhoria da qualidade do ensino reforça a necessidade de se avaliar cuidadosa e
rigorosamente, com definição de grupos de controle aleatório quando possível, a adoção
desta política por sistemas de ensino nos diversos contextos internacionais.
As pesquisas experimentais com controle aleatório são recomendáveis por
eliminarem o problema de viés de seleção, comum em avaliações de impacto, de forma
definitiva. Além disso, este método nos permite entrar na ‘caixa preta’ dos programas
explicitando os mecanismos através dos quais os resultados encontrados foram alcançados,
informação essencial para o desenho de políticas públicas efetivas. No entanto, as
dificuldades de se aplicar este método à avaliação de políticas públicas são muitas. Muitas
vezes há problemas éticos quando um serviço é negado a um grupo que poderia se
beneficiar dele, por exemplo. No entanto, na medicina, campo de onde pesquisas com
grupo de controle aleatório originam e onde a conseqüência desta exclusão pode ser até
fatal, este tipo de pesquisa continua a predominar, pois seu benefício supera o custo. Não é
possível lançar uma nova droga no mercado sem provas científicas suficientes que
comprovem sua efetividade no combate de determinada doença. Num contexto de recursos
escassos e de baixíssima qualidade do ensino, como vivemos no Brasil, pesquisas
experimentais com controle aleatório
nos permitiriam economizar
recursos e
simultaneamente gastá-los da forma mais efetiva possível, já que somente os programas
que efetivamente levassem ao aumento do desempenho, em avaliações capazes de medir
19
habilidades e competências, seriam adotados como políticas por toda uma rede. É claro
que, se fosse tão simples, outros sistemas de ensino já o teriam feito e talvez já teríamos a
receita perfeita do que precisamos para melhorar o desempenho dos alunos, sejam eles
quem forem e venham de onde vierem. Este tipo de pesquisa não pode responder a todas as
perguntas, nem todos os resultados desejados são necessariamente mensuráveis, e
dificilmente uma pesquisa experimental possa indicar as possíveis combinações de
políticas que levem ao resultado ótimo. No entanto, diante das inúmeras incertezas que
ainda reinam no campo da educação e da ‘caixa preta’ que é a sala de aula, pesquisas
experimentais podem fornecer respostas valiosas que ajudem a obter melhores resultados
dos investimentos financeiros neste campo, que são significativos.
Nos EE.UU., um país onde a educação pública é altamente descentralizada, o
governo federal tomou para si a tarefa de financiar exatamente este tipo de avaliação
através de órgãos independentes de pesquisa, para que estes resultados sirvam de subsídio
para as decisões dos sistemas de educação locais (Figlio e Kenny, 2006). Este mesmo
modelo poderia ser adotado pelo Ministério da Educação brasileiro, que pode se valer da
expertise encontrada em nossas universidades, empresas de consultoria e órgãos
multilaterais, como o Banco Mundial, aqui presentes para a realização de tais pesquisas. A
posição financeira e política do MEC é indubitavelmente preferível à dos estados e
municípios para o cumprimento deste papel. A tendência de se basear a adoção e o desenho
de políticas públicas em evidências obtidas através de pesquisas rigorosas deve ser
promovida e financiada não só pelo setor público, mas também pelo terceiro setor, que
deveria reconhecer neste nicho sua vantagem comparativa. Governos enfrentam pressões
políticas que facilmente prejudicariam a isenção, objetividade, continuidade e
comprometimento exigidos de pesquisas experimentais avaliativas desta natureza, mesmo
quando o seu papel é de contratantes de serviços e não de realizadores da pesquisa.
Fundações, institutos de responsabilidade social e outras entidades do terceiro setor estão
certamente melhor posicionados para liderarem este movimento pela avaliação rigorosa de
programas a serem adotados como políticas, para que estas passem a representar de fato o
melhor investimento possível do orçamento público em termos dos resultados almejados.
IV - EXPERIÊNCIAS COM REMUNERAÇÃO VARIÁVEL NO BRASIL
20
As experiências mais recentes no Brasil que serão relatadas abaixo contribuem para
a discussão sobre remuneração variável na região e nos permitem entender suas
implicações no contexto de um país com a dimensão e a diversidade do Brasil. Com a
implantação do Sistema de Avaliação da Educação Básica (SAEB) pelo Ministério da
Educação, que existe no seu formato atual desde 1995, surgiu a possibilidade de um
diagnóstico da qualidade da educação no Brasil e da comparação entre os estados, assim
como entre os diferentes sistemas de ensino, federal, estaduais, municipais e privados. O
SAEB, por ser uma prova amostral que avalia as competências e habilidades adquiridas
pelos alunos nas séries finais do 1º e do 2º segmento do Ensino Fundamental e 3ª série do
Ensino Médio a cada dois anos, não permite a comparação entre escolas, nem mesmo
municípios. Tal comparação se torna possível a partir do advento de avaliações censitárias
como é o caso da Prova Brasil, também bianual, implantada pelo Ministério da Educação a
partir 2005, e da maioria das avaliações de desempenho estaduais, que em 2006 já existiam
em 13 dos 26 estados brasileiros (Brooke, 2008). As provas de avaliação externa, tanto
nacionais quanto estaduais, são desenvolvidas utilizando técnicas estatísticas rigorosas
para garantir sua validade e confiabilidade por um número crescente de institutos e centros
de pesquisa especializados. O Banco Nacional de Itens disponibilizado pelo Ministério da
Educação permite que os resultados das avaliações estaduais que façam uso destes itens
sejam comparáveis aos do SAEB e da Prova Brasil ao longo dos anos. A proliferação
destes sistemas de avaliação educacional de larga escala possibilitou a adoção de políticas
de responsabilização como a remuneração variável em território nacional, não só por
possibilitarem a identificação das escolas de melhor e pior desempenho (dentro do
contexto fornecido pelos questionários respondidos por diretores, professores e alunos que
acompanham as avaliações), mas também por diagnosticarem como crítico o nível de
desempenho da maior parte dos alunos brasileiros, tornando urgente a busca por políticas
efetivas de melhoria da qualidade do ensino.
Os resultados do SAEB demonstram que o desempenho dos alunos brasileiros em
2005 piorou em comparação com 1995: “Os resultados das provas do SAEB aplicadas em
2005 mostram uma melhora fracionária em relação aos anos anteriores no desempenho dos
alunos de 4ª série, mas os resultados da 8ª série e da 3ª série do Ensino Médio continuaram
a cair tanto em Português quanto em Matemática, e agora estão entre 3,8% e 11,2%
21
menores do que em 1995 (MEC, 2007)” (Brooke, 2008, p. 95). Vale lembrar que este
declínio ocorreu junto a um aumento significativo das taxas de escolarização no ensino
fundamental e médio. No entanto, o que os resultados do SAEB demonstram claramente é
que o aumento na oferta do ensino não veio acompanhado de uma melhora no desempenho
dos alunos. Melhora esta que ainda apresenta um grande desafio para as redes públicas de
ensino no Brasil.
A remuneração docente no Brasil, como em muitos países do mundo, é atrelada
essencialmente aos anos de experiência e às qualificações acadêmicas do profissional e não
possui relação alguma com o seu desempenho. O professor da rede pública possui ainda as
proteções associadas ao seu status de funcionário público e de suas conquistas sindicais.
Um estudo recente de Barbosa Filho e Pessôa (2008) sobre a carreira dos professores
estaduais de São Paulo e do Rio Grande do Sul afirma que a carreira do professor da rede
pública no Brasil possui um grande atrativo: a aposentadoria recebida em valor integral,
conquistada em tempo “cinco anos inferior ao [...] necessário nas demais profissões da
economia” (p. 23). Estes incentivos são duplamente perversos: oneram os cofres públicos,
e não alinham os interesses dos professores aos dos alunos. É esta discrepância entre os
interesses dos professores e dos alunos que a remuneração por desempenho pretende
estreitar, sem onerar de forma esmagadora o orçamento público por não se incorporar ao
salário base dos professores e não contemplar os inativos. Uma política de remuneração
variável de sucesso pretende ainda atrair melhores professores para a rede e portanto tornar
mais eficaz o gasto público com pessoal, percentual significativo do orçamento da
educação. Como colocam Barbosa Filho e Pessôa (2008): “Um sistema onde o profissional
não é avaliado e/ou não recebe uma remuneração compatível com a qualidade do seu
trabalho não contém os estímulos corretos para atrair os melhores profissionais e extrair o
máximo dos profissionais pois costuma comprimir os salários em torno da média” (p. 2).
Diante do contexto de baixo desempenho dos alunos e incentivos perversos
presentes na carreira do professor da rede pública, a política de remuneração variável por
desempenho tem o potencial de melhorar a qualidade do ensino, motivando os professores
a se esforçarem mais em sala de aula, reconhecendo os bons professores e atraindo
professores mais efetivos para a rede. Muitas das pesquisas relatadas acima mostram que
estes efeitos são possíveis. O essencial é que a implementação de políticas de remuneração
22
variável no Brasil seja acompanhada de monitoramento e avaliação assíduos para que seus
resultados sejam identificados e medidos, e os devidos ajustes sejam feitos para que os
efeitos positivos sejam otimizados.
As experiências com remuneração variável no Brasil que serão relatadas aqui
aconteceram ou estão acontecendo nos estados do Rio de Janeiro, São Paulo, Minas
Gerais, Ceará, Pernambuco e na cidade de Sobral, PE.
A) A remuneração variável no Rio de Janeiro: o programa Nova Escola
O programa Nova Escola foi criado pelo Decreto nº 25.959 de 12 de janeiro de
2000, assinado pelo Governador Anthony Garotinho, que instituiu a gratificação das
escolas por grau de desempenho e o Sistema Permanente de Avaliação das Escolas da
Rede Pública Estadual de Educação. Até 2007, o decreto inicial de 2000 foi alterado por
oito decretos executivos posteriores, e foi objeto de 10 resoluções da Secretaria de Estado
da Educação (SEE) algumas em conjunto com a Secretaria de Estado de Administração e
Reestruturação (SARE).5 Como coloca Brooke (2008) em sua análise sobre o Nova Escola:
“A longa lista de mudanças desde a criação do programa dá uma idéia da dificuldade em se
estabelecer um consenso em relação ao propósito e os métodos para comparar o
desempenho das escolas” (p. 97).
A avaliação externa das escolas foi realizada pela Fundação Cesgranrio nos anos de
2000, 2001 e 2003, enquanto o Centro de Políticas Públicas e Avaliação da Educação
(CAEd) ficou responsável pelas avaliações de 2004 a 2006, retomando esta função em
2008. No ano de 2002, com a saída do Governador Anthony Garotinho para concorrer à
presidência e a entrada de sua Vice-Governadora Benedita da Silva, não houve avaliação
externa das escolas e portanto a gratificação por desempenho foi suspensa para o ano de
2003 pela Resolução Conjunta SEE/SARE nº 74 de 2003. Com a posse da Governadora
5
Decreto nº 25.959 de 12 de janeiro de 2000, Decreto nº 26.458 de 7 de junho de 2000, Resolução SEE nº
2.311 de 30 de maio de 2000, Decreto nº 28.168 de 19 de abril de 2001, Resolução Conjunta SEE/SARE nº
40 de julho de 2001, Decreto nº 30.836 de 11 de março de 2002, Resolução Conjunta SEE/SARE nº 67 de 19
de março de 2002, Resolução Conjunta SEE/SARE nº 74 de 08 de janeiro de 2003, Resolução Conjunta
SEE/SARE nº 89 de 11 de março de 2004, Resolução SEE nº 2652 de 17 de março de 2004, Decreto nº
35.240 de 19 de abril de 2004, Decreto nº 35.292 de 29 de abril de 2004, Resolução SEE nº 2.806 de 15 de
março de 2005, Decreto nº 37.706 de 30 de maio de 2005, Resolução SEE nº 2.910 de 08 de julho de 2005,
Decreto nº 39.130 de 10 de abril de 2006, Resolução SEE nº 3.020 de 19 de abril de 2006, Decreto nº 41.028
de 23 de novembro de 2007.
23
Rosinha Garotinho, foi reinstituído o programa Nova Escola e sua gratificação para o ano
de 2004 pela Resolução Conjunta SEE/SARE nº 89 de 2004. Em 2005, a partir do Decreto
nº 35.292 de 2004, ficou determinado que metade da gratificação seria definida pelo
desempenho absoluto da escola e a outra metade pelo seu progresso em relação ao ano
anterior (levando em consideração somente o desempenho dos alunos). O desempenho
absoluto da escola foi definido a partir de um novo sistema de pontuação, onde dentro de
um total de 25 pontos, 10 seriam definidos pelo fluxo escolar, 10 pelo desempenho escolar
e 5 pela gestão escolar, onde fluxo escolar se refere à aprovação e retenção dos alunos na
escola, e desempenho escolar à proporção de alunos na escola que alcançam proficiência
recomendável na prova de avaliação externa estadual. O progresso da escola depende da
comparação entre o nível de desempenho escolar alcançado, no ano sendo avaliado, em
relação ao ano anterior, e todas as escolas avaliadas foram distribuídas em quintos pelo
grau de melhora entre um ano e outro. A partir desta pontuação e da pontuação obtida no
progresso de um ano para o outro, as escolas seriam classificadas em níveis de I a V com
gratificações mensais definidas para diretores, professores e auxiliares das escolas
classificadas em cada um desses níveis. Em 2004, “58.008 professores e 19.443
funcionários auxiliares” da rede pública estadual foram beneficiados pelo programa
(Brooke, 2008, p. 98). Outros decretos e resoluções a respeito do Nova Escola desde 2004
modificaram não só os critérios para a definição da pontuação das escolas nos quesitos
fluxo, desempenho e gestão escolar, mas também o valor da remuneração.
O Governador Sérgio Cabral, eleito em 2005, anunciou durante sua campanha que
incorporaria a gratificação do Nova Escola ao salário do docente do Rio de Janeiro. No
entanto, até a presente data, o estado continua pagando as gratificações definidas pelo
programa no ano de 2005, e incorporando aos poucos aqueles docentes que haviam ficado
de fora, ou porque entraram desde 2006, ou porque não cumpriram os requisitos definidos
pelos decretos vigentes antes de 2006. A incorporação da gratificação ao salário do docente
continua sendo estudada pelo Governo do Estado do Rio de Janeiro e cobrada pelo
magistério estadual. Mesmo sem sua vinculação à gratificação do Nova Escola, a avaliação
externa em português e matemática ocorreu novamente em 2006, foi suspensa em 2007 e
agora volta a acontecer em 2008 (sem vinculação à remuneração do docente). As inúmeras
mudanças pelas quais o programa Nova Escola passou, de 2000 para cá, refletem não só a
24
dificuldade de se estabelecer propósitos e métodos claros para comparar o desempenho das
escolas, como Brooke (2008) colocou, mas também a dificuldade inerente em garantir a
continuidade de uma política instituída por decreto executivo num contexto onde as
mudanças eleitorais e de secretariado ocorrem com relativa freqüência (de 2000 a 2007, o
Rio de Janeiro teve quatro Secretários de Estado de Educação e quatro Governadores).
Talvez por ser a política de remuneração variável de mais longa duração no Brasil,
o programa Nova Escola é o único sobre o qual há uma pesquisa de caráter avaliativo
publicada (Brooke, 2008). Rodrigues (2007) comparou o desempenho dos alunos e as
taxas de fluxo do Rio de Janeiro no período do programa com os demais estados da região
sudeste. Sua pesquisa concluiu que “o programa não foi capaz de dar sustentabilidade aos
resultados positivos obtidos inicialmente em Matemática e nos indicadores de Fluxo em
meio à implantação do programa, mais do que isso, as taxas de abandono, por exemplo,
apresentaram os piores resultados justamente durante o período de responsabilização” (p.
76). No entanto, a proposta do estudo de Rodrigues (2007) não foi de uma avaliação
rigorosa do impacto do programa Nova Escola e sim o de apresentar o desenrolar desta
política em suas inúmeras iterações e identificar se houve melhoras observáveis nos
resultados do SAEB e indicadores de fluxo durante o mesmo período. Como já
mencionado, uma simples comparação ao longo dos anos entre indicadores advindos de
realidades distintas, não nos permite atribuir qualquer diferença identificada a um ou outro
programa que se pretende avaliar, pois estes indicadores estarão ‘contaminados’ pelos
efeitos das mudanças econômicas e das várias políticas e programas adotados nos locais
sendo comparados (um fator que se agrava quanto mais longo o período de observação),
além de não conseguir controlar as diferenças não-observáveis existentes entre quaisquer
grupos (de motivação, valores, preferências, etc.). Qualquer política de remuneração
variável que o Estado do Rio de Janeiro quiser adotar daqui para frente terá que levar em
consideração a herança deixada pelo Nova Escola, que sofreu resistência por parte do
corpo docente (em 2005 o sindicato dos professores moveu três ações legais contra o então
governador a respeito no Nova Escola6), que com as mudanças ao longo dos anos gerou
desgaste e confusão entre o corpo docente estadual e ainda assim não gerou melhoras
significativas observáveis no desempenho dos alunos da rede estadual do Rio de Janeiro
6
Brooke, 2008, p. 98.
25
nas avaliações externas nacionais (Prova Brasil e SAEB). No ano de 2007, as médias do
Rio de Janeiro em língua portuguesa e matemática em todos os anos avaliados (5º e 9º anos
do Ensino Fundamental e 3ª série do Ensino Médio) ficaram abaixo das médias da Região
Sudeste e do Brasil (MEC/INEP).
B) A remuneração variável em Minas Gerais: Prêmio por Produtividade
O Governador do Estado de Minas Gerais Aécio Neves promulgou a Lei nº 17.600
de julho de 2008 que estabeleceu o Acordo de Resultados e o Prêmio por Produtividade no
âmbito do Poder Executivo do Estado, posteriormente regulamentada pelo Decreto nº
44.873 de agosto de 2008, trazendo mais autonomia e responsabilização para os órgãos do
Estado. O Acordo de Resultados é formalizado em duas etapas: a primeira pactua a
estratégia do Governo definida no Plano Mineiro de Desenvolvimento Integrado - PMDI e
a segunda pactua o desdobramento desta estratégia em um conjunto de ações e indicadores
representativos do papel de cada órgão. Na Secretaria de Estado de Educação de Minas
Gerais foram definidas metas para os indicadores prioritários: percentual de alunos na faixa
de proficiência recomendável no 3º ano do Ensino Fundamental, médias de proficiência
em português e matemática para os 5º e 9º anos do Ensino Fundamental e 3º ano do Ensino
Médio, taxa de distorção e taxa de conclusão para o Estado e para a Região Grande Norte.7
As metas traçadas para a Secretaria foram desdobradas para cada uma das 46
Superintendências Regionais de Ensino e 3.920 escolas estaduais através de um caderno de
metas. O valor do prêmio anual destinado às escolas é proporcional à execução das metas
estabelecidas. No entanto, a nota da escola é calculada da seguinte maneira: 50% pelas
metas alcançadas pela Secretaria de Estado de Educação, 10% pelas metas alcançadas pela
Superintendência Regional de Ensino onde a escola é lotada e 40% pelas metas alcançadas
pela escola, seguindo uma filosofia de gestão e responsabilização compartilhada. No
entanto, a intenção é que o percentual da escola nesta nota aumente progressivamente. A
lei também prevê que o servidor, neste caso o integrante da equipe escolar, receberia o
prêmio de acordo com os dias efetivamente trabalhados pelo mesmo. A Lei prevê ainda
que o prêmio disponível para os servidores públicos será proporcional ao total de recursos
7
Apresentação do Secretário Adjunto de Educação da Secretaria de Estato de Educação de Minas Gerais,
Professor João Filocre, realizada no Seminário ‘Remuneração por mérito e a qualidade do ensino’ organizado
pela Fundação Lemann e pelo Instituto Fernand Braudel em 17 de setembro de 2008.
26
disponíveis no orçamento, deixando em aberto a possibilidade de que não haja premiação
todos os anos.
Neste primeiro ano, de acordo com o Secretário Adjunto João Filocre, todas as
metas traçadas para a Secretaria de Estado de Educação foram alcançadas e todos os
servidores receberam um salário (o 14º salário) como prêmio por desempenho. No ano que
vem estão previstas mudanças que garantiriam que o bônus seja realmente proporcional ao
alcance das metas e não igual para todos. Como o Estado de Minas têm um dos mais
antigos sistemas estaduais de avaliação educacional, portanto bastante consolidado, está
bem situado para conseguir implementar uma política de remuneração por desempenho
eficaz. Seria fundamental a realização de uma avaliação rigorosa dos resultados de tal
política para o Estado já que a fórmula atualmente pensada por Minas de compartilhar a
nota da escola com outros âmbitos administrativos como a Superintendência Regional e a
própria Secretaria é inédita, se não no mundo, ao menos no Brasil, e poderá trazer
contribuições inovadoras ao desenho de tais políticas.
C) A remuneração variável em Pernambuco: Bônus de Desempenho Educacional - BDE
O Bônus por Desempenho Educacional (BDE) foi implantado pelo Governador do
Estado de Pernambuco Eduardo Henrique Accioly Campos através da Lei nº 13.486 de
julho de 2008 e regulamentada através do Decreto nº 32.300 de setembro de 2008. A
Secretaria de Educação do Estado de Pernambuco contou com a consultoria do Instituto de
Desenvolvimento Gerencial, INDG, para elaborar a política de remuneração variável
adotada. O BDE é definido a partir do desempenho dos alunos em leitura e matemática
aferidos pelo Sistema de Avaliação Educacional de Pernambuco (SAEPE), nas taxas de
aprovação e na meta específica traçada para cada unidade escolar e fixada através do
Termo de Compromisso em Gestão Escolar entre a escola e a Secretaria. Juntos, as médias
no SAEPE e as taxas de fluxo compõem o IDEPE (Índice de Desenvolvimento da
Educação de Pernambuco), que equivale ao IDEB nacional. O cálculo do bônus é feito a
partir da média ponderada dos IDEPE’s calculados para cada série avaliada na escola. O
BDE é anual e equivale a, no máximo, um salário do servidor. A equipe escolar só passa a
ter direito ao bônus a partir do alcance de 50% da meta da escola. De acordo com o
Decreto que o regulamenta, “o Bônus será devido a partir da realização de 50% (cinqüenta
27
por cento) das metas estabelecidas, com valor proporcional ao percentual realizado da
meta, até atingir o valor máximo de 100% (cem por cento)” (Decreto nº 32.300 de 08 de
setembro de 2008).
A política de remuneração variável de Pernambuco foi desenvolvida este ano e
portanto ainda se encontra em fase de implementação, não havendo resultados para
avaliação. No entanto, o Banco Mundial, através do grupo Poverty Net, que realiza
avaliações de impacto em todo o mundo, irá avaliar o impacto da política de remuneração
variável nos estados de Pernambuco e São Paulo. Em Pernambuco será utilizada a
metodologia de descontinuidade de regressão e diferença em diferença, aproveitando que o
estímulo para se alcançar 50% da meta traçada varia dependendo do nível de desempenho
da escola. Quando muito baixo, a meta traçada é modesta e portanto alcançá-la é viável;
quando o nível é médio a meta é mais ambiciosa e portanto de mais difícil alcance; e
quando o nível é elevado a meta é novamente modesta e portanto com alta probabilidade
de ser alcançada. Essa variação entre o incentivo oferecido pelo bônus, dependendo do
ponto de partida da escola e da meta traçada, permite que seja identificado um grupo de
escolas para os quais o bônus oferece um incentivo maior que para outras; ao longo desse
limiar entre as que quase chegam a 50% da meta e as que não chegam é onde surgem os
grupos comparáveis. Esta foi a metodologia adotada também pelos pesquisadores McEwan
e Santibáñez (2005) ao avaliar o programa Carrera Magisterial no México. Em casos em
que a definição aleatória ex-ante de um grupo de tratamento e de controle é impossível,
como quando o objeto da avaliação é uma política de estado onde todos são beneficiados, a
metodologia de descontinuidade de regressão é a que mais se aproxima de uma pesquisa
experimental com controle aleatório, tanto assim que pesquisas realizadas com esta
metodologia são conhecidas como ‘quase-experimentais’. Os resultados das avaliações das
políticas de remuneração variável de Pernambuco e São Paulo realizadas pelo Banco
Mundial certamente trarão contribuições valiosas aos estados que buscam soluções para o
desafio do baixo desempenho nas redes públicas de ensino.
D) A remuneração variável em São Paulo: Bonificação por Resultado - BR
O Governador do Estado de São Paulo José Serra pretende instituir, através de um
Projeto de Lei Complementar enviado por ele ao presidente da Assembléia Legislativa em
28
agosto de 2008, a Bonificação por Resultados nas Secretarias de Educação e da Fazendo
do Estado. No âmbito da Secretaria de Educação, já definiu o mecanismo deste bônus.
Como Pernambuco, São Paulo conta com seu próprio sistema de avaliação, o SARESP, e o
Índice de Desenvolvimento da Educação do Estado de São Paulo, IDESP, que é o
indicador utilizado no cálculo das metas vinculadas ao bônus. O IDESP, no entanto, difere
do IDEPE e do IDEB por levar em consideração, não a média da escola nas avaliações de
leitura e matemática, e sim a distribuição dos alunos entre quatro níveis de proficiência:
Abaixo do Básico, Básico, Adequado e Avançado.8 As metas do IDESP são traçadas
individualmente por escola. O cálculo do bônus tem como base três vezes o salário-base do
servidor e leva em contra três fatores: o número de instituições onde o servidor atua, a
parcela da meta que estas instituições cumpriram naquele ano, e o número de dias
efetivamente trabalhados em cada instituição.9 O bônus de cada escola é definido a partir
do percentual de alcance da meta, podendo chegar até um máximo de 120% e não sendo
estabelecido um mínimo. Desta forma, espera-se que todas as escolas participem do bônus,
mesmo as que acreditam que sua meta é inatingível, pois qualquer percentual alcançado
será remunerado, assim como as que estão próximas ou já alcançaram sua meta, pois até
20% de alcance além da meta se reverterá em bônus. Como em todos os casos brasileiros
mencionados até agora, o bônus é para toda a equipe escolar, não só para os regentes em
sala de aula. Os servidores ligados à supervisão e administração recebem bônus pela média
da região em que atuam. 10
A Bonificação por Resultados proposta em São Paulo enfrenta a resistência do
magistério paulista, cujo sindicato é forte e atuante. A demora de sua aprovação na
Assembléia possivelmente reflete esta influência. Não há dúvidas, no entanto, quanto ao
comprometimento do Governador do Estado de São Paulo, José Serra, e da Secretária de
Estado da Educação, Maria Helena Guimarães de Castro, com a política de
responsabilização no âmbito da escola. Está previsto um gasto de R$ 6 milhões com o
8
Programa de Qualidade das Escolas: Sumário Executivo, Governo do Estado de São Paulo, Secretaria de
Estado da Educação, maio de 2008.
9
“Nota Técnica - Lei do Bônus por Desempenho - Escolas Estaduais Paulistas”. Documento cedido pela
Secretaria de Estado da Educação de São Paulo em agosto de 2008.
10
Apresentação da Secretária da Educação do Estado de São Paulo, Maria Helena Guimarães de Castro,
realizada no Seminário ‘Remuneração por mérito e a qualidade do ensino’ organizado pela Fundação
Lemann e pelo Instituto Fernand Braudel em 17 de setembro de 2008.
29
bônus por desempenho para o ano de 2009.11 Além da Bonificação por Desempenho, a
Secretaria de Estado da Educação instituiu o Programa de Qualidade da Escola e pretende
oferecer suporte especial às escolas que ficaram no grupo das cinco por cento piores, na
distribuição dos resultados do IDESP.12
Assim como em Pernambuco, o acompanhamento e a avaliação do Banco Mundial
desde o início da implantação desta política em São Paulo poderão fornecer dados e
subsídios indispensáveis para o aprimoramento de políticas de remuneração variável, não
só nos estados avaliados, como em outros que pretendem adotar suas próprias políticas de
remuneração por mérito na educação.
E) A remuneração variável no Brasil: outros exemplos
O artigo “Responsabilização Educacional no Brasil” de Nigel Brooke (2008) relata
alguns outros exemplos com remuneração variável no Brasil, como as experiências do
Estado do Ceará e do Município de Sobral (CE). No Estado do Ceará foi estabelecido, em
2001, o prêmio “Escola do Novo Milênio”, que premiou as 150 primeiras colocadas no
Sistema Permanente de Avaliação da Educação no Ceará (SPAECE). O valor do prêmio
variava entre R$300 e R$800 para os membros da equipe das 100 melhores escolas,
dependendo da função exercida, e cerca de metade deste valor para os membros da equipe
das 50 escolas seguintes (Brooke, 2008). Em 2003, no entanto, o desempenho dos alunos
no SPAECE demonstrou queda acentuada, não sendo possível aferir a influência do
Prêmio neste resultado. Entre 2004 e 2005, o prêmio foi reformulado e substituído pelo
“Prêmio Escola Destaque do Ano”. Mais indicadores foram incluídos na análise do
desempenho, com os resultados do SPAECE representando 60% do total (Brooke, 2008).
As escolas passaram a ser comparadas somente com outras que oferecem os mesmos
segmentos, Fundamental, Fundamental e Médio, e Médio e os prêmios foram atribuídos
não só para as escolas de melhor desempenho, mas também para as que apresentaram
melhor progresso (Brooke, 2008). Atualmente, a Secretaria da Educação do Estado do
Ceará (Seduc) premia 50 escolas, 25 por Melhor Desempenho e 25 por Maior
11
12
Ibid.
Ibid.
30
Crescimento, com base nos resultados do SPAECE e nas taxas de aprovação e abandono.13
A premiação consiste em pagar um 14º salário para todos os professores, funcionários e
núcleo gestor de cada uma dessas escolas. 14
A cidade de Sobral criou, em 2001, o “Prêmio Escola Alfabetizadora” que incluiu,
em um primeiro momento, um prêmio mensal de R$100,00 para professores que
alcançassem as metas traçadas para as suas turmas nas séries atuantes (Brooke, 2008).
Desde 2003, o Prêmio passou a ser anual e contempla os diretores, vice-diretores,
coordenadores pedagógicos e professores da escola. 15 Em 2003, 17 das 38 escolas de
Ensino Fundamental de Sobral foram premiadas por terem alcançado as metas para a
alfabetização dos seus alunos, e em 2004, o número subiu para 20 (“Vencendo o Desafio
de Aprendizagem nas Séries Iniciais: A Experiência de Sobral”, 2005). O documento do
INEP ora citado cita ainda que “[u]m dos efeitos observáveis do Prêmio é a lotação dos
melhores professores das escolas nas turmas com os piores resultados, na busca de inverter
o quadro” (Ibid., p. 57). Apesar de não haver uma avaliação rigorosa do impacto do
programa na qualidade da educação, esta última observação, acompanhada do aumento do
número de escolas que alcança suas metas ano a ano (esperando-se que a tendência
positiva entre 2003 e 2004 tenha continuado), sugere um impacto positivo do programa de
remuneração variável nesta cidade.
Seguindo o impulso criado principalmente pela adoção de políticas de remuneração
variável dos Governos de Minas Gerais e São Paulo, o então primeiro-secretário e futuro
presidente da Assembléia Legislativa de Mato Grosso, Deputado José Riva, enviou um
projeto de lei complementar instituindo a bonificação por resultados para os servidores da
educação que atingirem metas previamente estabelecidas com a Secretaria de Estado de
Educação (“Riva propõem bonificação por resultados na Seduc/MT”, Redação
24HorasNews, 02/09/08). Como esta, inúmeras outras leis de conteúdo semelhante podem
estar tramitando silenciosamente nas Assembléias Estaduais do país. É exatamente por sua
popularidade e visibilidade crescentes que as políticas de remuneração variáveis precisam
ser rigorosamente avaliadas, para que atendam à promessa de melhoria da qualidade de
13
Informação obtida no sítio da Secretaria da Educação do Estado do Ceará:
http://www.seduc.ce.gov.br/educacao/escola_destaque.asp.
14
Ibid.
15
Informação obtida no sítio da Secretaria Municipal de Educação de Sobral:
http://www.sobral.ce.gov.br/sec/educacao/ensino_fundamental/index.php
31
ensino clamada por seus defensores, trazendo o retorno desejado de um gasto que, por se
tratar de uma quantidade normalmente grande de servidores, não será baixo.
V - CONCLUSÕES, REFLEXÕES E PROPOSIÇÕES
Como pode ser constatado pelo relato das experiências embrionárias (MG, SP e
PE), em fase final (RJ), e com algum histórico (Sobral e CE) aqui no Brasil, assim como
das experiências internacionais anteriormente mencionadas, políticas de remuneração
variável por desempenho podem ter desenhos dos mais variados. Mudam as formas de
medir o desempenho seja do professor ou da escola: leva-se em consideração somente o
desempenho dos alunos nas avaliações estaduais, ou outros indicadores da escola, como as
taxas de rendimento; compara-se a escola com ela própria, com todas da rede ou com
grupos definidos como similares; aloca-se o bônus, seja para o indivíduo ou para a escola,
para todos da equipe ou excluindo o pessoal de apoio, o que pode gerar cooperação ou
competição dentro da escola ou entre elas; no cálculo do valor do bônus, desconta-se as
faltas não previstas legalmente, paga-se anualmente ou mensalmente, utiliza-se algum
percentual do salário do servidor como base de cálculo para o prêmio. Até a nomenclatura
utilizada varia, de estado para estado, de experiência para experiência: bônus, bonificação,
prêmio, gratificação, incentivo, por mérito, por desempenho, por resultado. Cada uma das
características que acabo de citar afeta de alguma forma os resultados e o impacto de uma
política de remuneração variável. Portanto, precisam ser cuidadosamente avaliadas por
cada estado que a adota, para que possa ser aprimorada, minimizando o desgaste do
servidor afetado, do órgão gestor e do governante eleito, para gerar a melhoria esperada no
desempenho de todos os alunos.
Os fatores que compõe o desenho das políticas de remuneração variável
mencionados acima omitem alguns elementos fundamentais, que o escopo deste estudo
não abrangeu, mas que merecem menção. São eles: os participantes do desenho de uma
política como esta, e a forma como ela é apresentada e implementada. Uma política de
remuneração variável afeta diretamente o bolso dos servidores da educação, além de ser
para muitos deles uma mudança radical de paradigma. Uma reclamação comum e
compreensível dos professores contra a política de remuneração variável é a de que os
governos não podem cobrar melhores resultados sem antes melhorar as condições de
32
trabalho. Dentro de um contexto nacional no qual muitas escolas não contam com um
mínimo de segurança ou de infra-estrutura e onde o professor cumpre jornada dupla ou até
tripla para se manter ou obter uma qualidade de vida melhor, é pertinente o
questionamento. No entanto, pode-se argumentar também que, no campo da educação,
onde não existem respostas objetivas para os inúmeros desafios que nos cercam, políticas
promissoras não devem ser descartadas e sim elaboradas com os desafios específicos de
cada contexto em mente para que haja um olhar diferenciado a escolas com dificuldades
singulares dentro de uma política de remuneração variável (quando é esse um dos
caminhos escolhidos pelos gestores e suas redes na busca da melhoria na qualidade do
ensino).
Muitos autores já atentaram para o papel fundamental do professor no desenho e na
implementação de políticas educacionais (Villegas-Reimers e Reimers, 1996). Sem sua
adesão, sem a modificação de sua prática, nenhuma política educacional, por mais bem
elaborada que seja, melhorará o desempenho dos alunos em sala de aula (Ibid.). No
entanto, pela reação hostil dos sindicatos de professores à maioria das políticas de
remuneração variável que vem sendo pensadas e implementadas no Estados brasileiros, é
provável que estes profissionais não estejam participando das discussões que antecedem as
leis e os decretos. Se confirmado, este seria um fato a lamentar, já que limitaria a
possibilidade de sucesso mesmo da mais bem desenhada política de remuneração por
desempenho. Vegas e Umansky (2005) alertam que no caso do programa de Carrera
Magisterial, no México, os professores colaboraram no desenho dos programas, o que
permitiu sua aceitação e continuidade. As autoras declaram que a “melhoria do ensino e da
aprendizagem através de incentivos efetivos vai requerer esse tipo de colaboração” (Vegas
e Umansky, 2005, p. 13, tradução minha). Além de ser fundamental para o sucesso da
política de remuneração variável, a inclusão dos docentes e sindicatos que os representam
na mesa de discussão garantiria que esta política fosse pensada em conjunto com uma
política mais ampla de valorização da carreira do magistério.
Existem inúmeras recomendações para o desenho de uma política de remuneração
por desempenho efetiva, muitas delas já mencionadas ao longo deste estudo. Falarei aqui
do bônus coletivo, não do individual, já que este é o único modelo presente nos casos
brasileiros e o que supostamente evitaria a criação de um ambiente competitivo e hostil
33
entre os professores de uma mesma escola, cuja colaboração mútua é fundamental para
garantir o aprendizado de seu corpo discente. As avaliações de políticas de remuneração
variável em contextos diversos aqui apresentadas sugerem as seguintes características para
seu desenho: 1) abrangência do maior número de professores possível para que todos se
sintam incentivados a melhorar o desempenho dos alunos com base num bônus que
reconheça o esforço da escola, 2) avaliação do desempenho do corpo docente de uma
escola que realmente reflita sua contribuição para o alcance do objetivo posto pela política
(geralmente o desempenho dos alunos em avaliações externas e alguma medida de fluxo
escolar), 3) que a medida de desempenho da escola seja compreendida e vista como justa
pelo seu corpo gestor e docente, o que presume que estes tenham as ferramentas
necessárias para provocar a melhora do resultado sendo cobrado, e 4) que o bônus seja
substancial o suficiente para realmente justificar a mobilização e o esforço adicional
requerido do corpo docente para mudar suas práticas de forma a melhorar
significativamente o desempenho de seus alunos. Cada um desses elementos apresenta
desafios próprios, mas talvez o mais difícil tecnicamente seja o segundo, especialmente no
contexto brasileiro. Isto porque as avaliações externas estaduais existentes no Brasil são na
sua maioria das séries finais do 1º e 2º segmentos do Ensino Fundamental e do Ensino
Médio, e portanto não longitudinais, o que ajudaria na identificação do efeito daquela
escola em particular no desenvolvimento do aprendizado do aluno. Como coloca Brooke
(2006) “[s]omente a gratificação com base na progressão da escola de um ano para o outro
ficaria livre de contaminação pelo nível socioeconômico dos alunos e possibilitaria algum
otimismo quanto à assimilação dos resultados pela escola” (p. 393). Mesmo que a maioria
das avaliações venham acompanhadas de questionários do aluno, do professor e do diretor,
esses ainda são pouco utilizados para contextualizar a escola através de controles
estatísticos das variáveis observáveis identificadas pelos questionários e tentar isolar seu
efeito no desempenho do aluno. Portanto, apesar de observarmos o desempenho e a
progressão acadêmica dos alunos de uma escola, ainda não utilizamos as técnicas e
metodologias à nossa disposição para identificar que parte deste desempenho e progressão
é atribuível ao papel da escola, pelo menos não para fins de uma política de gratificação
por mérito.
Além da advertência acima, qualquer política de remuneração por desempenho tem
34
que atentar para as conseqüências negativas encontradas pelas avaliações já realizadas
sobre seu impacto em outros contextos: redução da colaboração entre professores;
desvalorização da motivação intrínseca do professor; exclusão dos piores alunos das
avaliações; foco somente nos alunos que os professores crêem têm potencial de melhora
em detrimento dos outros; manipulação dos dados e resultados usados para atribuir a
gratificação; desvio do foco pedagógico da escola majoritariamente para as matérias
testadas nas avaliações em detrimento das demais; excesso de foco no teste e estratégias de
sucesso para fazê-lo em detrimento da aquisição de outras competências e habilidades
(Vegas e Umansky, 2005; Umansky, 2005). Qualquer desenho de política de remuneração
variável terá que pesar os benefícios desejados contra a possibilidade de que algumas
dessas conseqüências negativas ocorra.
O potencial positivo de políticas de remuneração por desempenho também é
substancial e promissor, como mostram algumas das pesquisas apresentadas aqui. Sua
adoção pode levar ao aumento real e significativo do aprendizado do aluno, como no caso
de Andhra Pradesh, na Índia (Muralidharan e Sundararaman, 2006 e 2008). Neste caso, o
efeito positivo facilmente se sobreporia a outros efeitos não tão desejados que pudessem
ocorrer. O que a pesquisa de Andhra Pradesh também revela é que esse ganho em
aprendizagem pode vir a um custo não tão alto em casos onde restrições orçamentárias
permitem a substituição de aumentos salariais por mecanismos de gratificação por
desempenho (o contexto brasileiro, a princípio, não parece receptivo a essa possibilidade,
como mostram as reivindicações de incorporação salarial das gratificações do Nova Escola
para que os aposentados fiquem excluídos do benefício). Além disso, como nos alerta
Brooke (2008), “[n]o Brasil, fontes legítimas de pressão pelo melhoramento de resultados
escolares, sejam essas fontes os pais, os alunos ou os próprios professores, são quase
inexistentes. Sem essas fontes primárias de pressão para o melhoramento do padrão
educacional há boas razões para os governos estaduais e municipais continuarem a
experimentar com o uso de políticas de responsabilização que oferecem a possibilidade de
melhores resultados” (p. 107). Diante da possibilidade da adoção e implantação de
políticas de remuneração variável que tenham esse impacto positivo na aprendizagem dos
alunos, é recomendável que esta prática seja disseminada e divulgada pelo terceiro setor e
sociedade civil de forma a ser apropriada por eles e pelos próprios servidores públicos
35
concursados, deixe de ser um ‘programa de governo’ e se transforme ao longo do tempo
em ‘política de estado’, garantindo sua perenidade (Crouch, 2005).
Os diversos e muitas vezes contraditórios resultados das pesquisas e avaliações
apresentadas neste estudo sugerem que os efeitos de políticas educacionais como a de
remuneração por desempenho diferem de um contexto para outro. Diante desta
constatação, talvez a recomendação mais importante e urgente seja a da inclusão de uma
avaliação de impacto desde o início do desenho de uma política de remuneração por
desempenho, “para que se torne prática comum aprender da experiência própria (e de
outros)” (Vegas e Umansky, 2005, p. 16, tradução minha). As avaliações, que estão sendo
planejadas e conduzidas pelo Banco Mundial, das políticas de bônus por desempenho de
São Paulo e de Pernambuco, são um importante passo nessa direção e na acumulação de
evidências sobre o desenho e a implementação de políticas que efetivamente melhorem a
qualidade de ensino em diferentes contextos do nosso país. Outra opção seria a de começar
uma política tão promissora e dispendiosa (dependendo da generosidade do bônus) como a
de remuneração por desempenho com projetos pilotos que podem ser avaliados através de
uma pesquisa experimental com controle aleatório. Tal metodologia de avaliação
permitiria uma análise mais detalhada dos mecanismos através dos quais os resultados
seriam alcançados permitindo que ajustes valiosos sejam feitos antes que o ‘projeto’ seja
adotado como política e fique difícil voltar atrás, como aconteceu com o Nova Escola no
Estado do Rio. Como mencionado anteriormente, fundações e instituições do terceiro setor
ou órgãos multilaterais estão melhor posicionados do que governos para financiar e
viabilizar a implementação de tais ‘projetos pilotos’ que exigem a exclusão de grupos do
benefício oferecido, o que, para um governo, é politicamente inviável. No entanto, o
benefício de tal pesquisa seria inestimável, pois as evidências geradas permitiriam que a
política finalmente adotada tivesse a maior probabilidade possível de alcançar seu objetivo
de melhorar a aprendizagem dos alunos.
36
BIBLIOGRAFIA
Barbosa Filho, F. de H. e Pessôa, S. de A. (2008) “A Carreira de Professor Estadual no
Brasil: os casos de São Paulo e Rio Grande do Sul”. Centro de Crescimento
Econômico do Instituto Brasileiro de Economia da FGV-RJ. Janeiro 2008.
Brooke, N. (2006) “O Futuro das Políticas de Responsabilização no Brasil”. Faculdade de
Educação da Universidade Federal de Minas Gerais, Cadernos de Pesquisa, v. 36,
n. 128, p. 377-401, maio/ago. 2006.
Brooke, N. (2008) “Responsabilização Educacional no Brasil”. Revista Iberoamericana de
Evaluación Educativa 2008 - Volumen 1, Número 1.
Crouch, L. (2005) “Political Economy, Incentives, and Teachers’ Unions: Case Studies in
Chile and Peru” em Incentives to Improve Teaching; Lessons from Latin America,
ed. Emiliana Vegas. The World Bank: Washington, DC.
Duflo, E., Dupas, P. e Kremer, M. (2007) “Peer Effects, Pupil-Teacher Ratios, e Teacher
Incentives: Evidence from a Randomized Evaluation in Kenya”.
Duflo, E., Glennerster, R. e Kremer, M. (2007) “Using Randomization in Development
Economics Research: a Toolkit”. Centre for Economic Policy Research, Discussion
Paper Series No. 6059. January 2007.
Duflo, E., e Kremer, M. (2003) “Use of Randomization in the Evaluation of Development
Effectiveness”, Paper prepared for the World Bank Operations Evaluation
Department (OED) Conference on Evaluation and Development Effectiveness 1516 July, 2003, Massachusetts Institute of Technology : Cambridge, MA.
Figlio, D. e Kenny, L. (2006) “Individual Teacher Incentives and Student Performance”.
National Bureau of Economic Research, Working Paper 12627: Cambridge, MA.
37
Glewwe, P., Ilias, N. e Kremer, M. (2003) “Teacher Incentives”. National Bureau of
Economic Research, Working Paper 9671: Cambridge, MA.
Gordon, R., Kane, T., e Staiger, D. (2006) “Identifying Effective Teachers Using
Performance on the Job”. The Hamilton Project at The Brookings Institution.
Lavy, V. (2002) “Evaluating the effect of teachers’ group performance incentives on pupil
achievement”. Journal of Political Economy, 110(6), 1286–1317.
Lavy, V. (2004) “Performance pay and teachers’ effort, productivity and grading ethics”.
National Bureau for Economic Research Working Paper 10622. Cambridge:
NBER.
McEwan, P. e Santibánez, L. (2005) “Teacher and Principal Incetives in Mexico” em
Incentives to Improve Teaching; Lessons from Latin America, ed. Emiliana Vegas.
The World Bank: Washington, DC.
Muralidharan, K. e Sundararaman, V. (2006) “Teacher Incentives in Developing
Countries: Experimental Evidence from India”.
Muralidharan, K. e Sundararaman, V. (2008) “Teacher Performance Pay: Experimental
Evidence from India”.
Murnane, R. and D. Cohen. (1986) “Merit Pay and the Evaluation Problem: Why Most
Merit Pay Plans Fail and a Few Survive”.
Harvard Educational Review, 56
February 1986, p. 1-17.
Podgursky, M. e Springer, M. (2006) “Teacher Performance Pay: A Review”. National
Center Performance Incentives, Working Paper 2006-01: November 2006.
38
______ (2008) “Riva propõem bonificação por resultados na Seduc/MT”, Redação
24HorasNews, 02 de setembro de 2008.
Rodrigues, J. R. da S. (2007) “Resultados Escolares e Responsabilização no Rio de
Janeiro”. PUC-Rio, Dissertação de Mestrado, Orientador: Professor Creso Franco.
Vegas, E. e Umansky, I. (2005) “Improving Teaching and Learning through Effective
Incentives: Lessons from Education Reforms in Latin American” em Incentives to
Improve Teaching; Lessons from Latin America, ed. Emiliana Vegas. The World
Bank: Washington, DC.
______ (2005) “Vencendo o Desafio de Aprendizagem nas Séries Iniciais: A Experiência
de Sobral”. Série Projeto Boas Práticas na Educação no 1. MEC/INEP: Brasília.
Villegas-Reimers, E. e F. Reimers (1996) “Where are 60 Million Teachers? The Missing
Voice in Educational Reforms Around the World”. Prospects, Vol. XXVI. No. 3.
September 1996. p. 469-492.
Umansky, I. (2005) “A Literature Review of Teacher Quality and Incentives: Theory and
Evidence” em Incentives to Improve Teaching; Lessons from Latin America, ed.
Emiliana Vegas. The World Bank: Washington, DC.
39