Nigel Brooke GAME/FAE/UFMG

Nigel Brooke
GAME/FAE/UFMG
A Fundação Victor Civita, que tem por
missão contribuir para a melhoria da
qualidade da Educação Básica no
Brasil, produzindo publicações, sites,
material pedagógico, pesquisas e
projetos que auxiliem na capacitação
dos professores, gestores e demais
responsáveis pelo processo
educacional, implantou uma área de
estudos com objetivo de levantar
dados e informações que auxiliem as
discussões sobre práticas,
metodologias e políticas públicas de
Educação. Para acompanhar outros
trabalhos, visite o nosso site
www.fvc.org.br/estudos.
EQUIPE DA FUNDAÇÃO VICTOR CIVITA
DIRETORIA EXECUTIVA
Angela Cristina Dannemann
COORDENAÇÃO PEDAGÓGICA
Regina Scarpa
REVISTA NOVA ESCOLA/REVISTA GESTÃO ESCOLAR
Gabriel Grossi
Paola Gentile
ESTUDOS, PESQUISAS E PROJETOS
Mauro Morellato
Adriana Deróbio
© 2011 Fundação Victor Civita. Todos os direitos reservados
DEFINIÇÕES
Avaliação externa – Avaliação padronizada; avaliação
de sistemas; avaliação em larga escala
Gestão educacional – As políticas das Secretarias
Estaduais de Educação (SEE) que usam como critério
os resultados dos sistemas próprios de avaliação
(sistemas estaduais e os das grandes capitais)
Para quais políticas os gestores estão usando os
resultados dos sistemas de avaliação?
Pesquisa FVC
© 2011 Fundação Victor Civita. Todos os direitos reservados
RESUMO
Sistema classificatório para os usos da avaliação
Achados principais da pesquisa
Política de bonificação ou incentivo salarial
Alcance
Características técnicas
Seus impactos
Pesquisa no Brasil
Pesquisa nos Estados Unidos e outros países
Especulações sobre consequências
© 2011 Fundação Victor Civita. Todos os direitos reservados
NÚMERO DE ESTADOS COM SISTEMAS
PRÓPRIOS DE AVALIAÇÃO EDUCACIONAL
1992-2011
© 2011 Fundação Victor Civita. Todos os direitos reservados
SISTEMAS ESTADUAIS DE AVALIAÇÃO
Tendência – Aumento gradual mesmo inconsistente
Hiatos
Transição para TRI
Momentos de mudança política
Recuos
Dados imperfeitos
Nenhum órgão para coletar esse tipo de informação
De que consiste um sistema estadual? Abrangência
© 2011 Fundação Victor Civita. Todos os direitos reservados
EXPANSÃO E DIVERSIFICAÇÃO
Crescimento no uso dos resultados pelas SEE
Reformas da Educação década 1990 calcadas na avaliação da
qualidade (Brasil só um exemplo: 13 países da América Latina
adotam sistemas de avaliação entre 1990 e 1998)
Reforma da gestão pública: ênfase na produtividade e
eficiência do aparato governamental; melhoria na qualidade
dos serviços públicos; metas e controle a posteriori dos
resultados. Educação na linha de frente
Incorporação de modelos de accountability –
responsabilização dos atores públicos via consequências
Para dar conta da expansão e diversificação dos usos, um
novo sistema classificatório bidimensional
© 2011 Fundação Victor Civita. Todos os direitos reservados
USO DOS RESULTADOS
SISTEMA CLASSIFICATÓRIO
© 2011 Fundação Victor Civita. Todos os direitos reservados
© 2011 Fundação Victor Civita. Todos os direitos reservados
FOCO
Vou me concentrar no uso da avaliação para políticas
de incentivo/bonificação salarial
Política veio para ficar
Sete estados já têm experiência: Amazonas, Ceará,
Pernambuco, Rio de Janeiro, Minas Gerais, Espírito
Santo e São Paulo
Distrito Federal já estabeleceu os procedimentos
Duas capitais – uma conseguiu (São Paulo) e outra não
(Belo Horizonte)
© 2011 Fundação Victor Civita. Todos os direitos reservados
Até os municípios menores estão
embarcando (usando o Ideb) segundo
reportagem UOL Educação 02/09/2011
Em Trairão, pequena cidade no sudoeste do Pará, a secretária de
Educação fala do projeto que dá mais dinheiro aos professores e às
escolas que apresentam desempenho melhor. “Com o projeto
Professor por Excelência, a gente espera que dê uma alavancada no
município. Para quem mais se destacar, o professor vai ganhar um
valor de R$ 1 mil cada um e a escola, R$ 500. Mesmo não sendo um
valor alto, a gente espera motivar os envolvidos”, explica Maria
Regina
No município de Careiro (AM), o secretário Paulo de Andrade conta
que estipulou uma meta mais “ousada” para estimular seus
profissionais a trabalhar com mais afinco. Na escola, que tira nota 5,1
no Ideb, os professores recebem 14º e 15º salários
© 2011 Fundação Victor Civita. Todos os direitos reservados
QUE POLÍTICA É ESSA?
Não é nova. Uso de avaliações externas para
responsabilizar professores, escolas e sistemas pela
aprendizagem dos alunos tem longa história:
Em 1863, Parlamento britânico criou sistema de
financiamento de escolas de acordo com os resultados
dos alunos
Nova fase dessa política começa com o movimento de
padrões mínimos na década de 1970 nos EUA. A lei
Nenhuma Criança Deixada para Trás (2001) é um
exemplo recente
© 2011 Fundação Victor Civita. Todos os direitos reservados
CARACTERÍSTICAS
geração
(por exemplo, Ceará 2001 – Prêmio Educacional Escola do Novo
Milênio; Rio de Janeiro 2000 – Programa Nova Escola):
Prêmio para a média de desempenho mais alto (ou % alunos com
desempenho satisfatório)
Ou evolução maior na média de desempenho
Outros critérios (gestão)
geração
Distribuição por faixa de desempenho
Medida do nível socioeconômico e/ou esforço da escola
Uso de metas
Valorização da permanência
Avaliações múltiplas (matérias, anos)
geração(?)
Critérios múltiplos
Valor agregado
© 2011 Fundação Victor Civita. Todos os direitos reservados
QUAIS SÃO OS IMPACTOS?
Do ponto de visto do gestor:
Que há ganhos na aprendizagem pelos efeitos sobre o
professor – Motivação e competência
Que há custos também – Custo/benefício
Do ponto de vista dos críticos, os efeitos colaterais dos
testes high stakes (alto impacto) são severos:
Reduzem o ensino à preparação para os testes/estreitam o
currículo
Falseiam os dados das avaliações (inflação)
Induzem à desonestidade
Desestruturam métodos colaborativos (quando individualizada)
© 2011 Fundação Victor Civita. Todos os direitos reservados
COMO AVALIAR?
A pesquisa no Brasil é escassa
Pesquisa descritiva (terminologia: bônus, bonificação, prêmio,
gratificação, incentivo por mérito, por desempenho, por resultado)
Pesquisas de impacto
Sobre a política Nova Escola – Rio de Janeiro (Rodrigues, 2007;
ganhos em Língua Portuguesa, perdas em Matemática)
Uma em andamento – C. Ferraz, Pernambuco
Nem pesquisas mais qualitativas sobre os efeitos colaterais
negativos. (?) Uma sobre os efeitos do Acordo de Resultados
em MG (Soares, 2011) (resultados no Simave/Proeb; bônus
até 100% vencimento mensal); “pressão” sobre professores
de Português e Matemática para ensinar de acordo com a
matriz de referência
© 2011 Fundação Victor Civita. Todos os direitos reservados
PESQUISA NOS EUA
Precisa fazer distinções: incentivos salariais versus outros tipos
de incentivo/accountability (por exemplo: Nenhuma Criança
Deixada para Trás (NCLB); exames de saída Ensino Médio)
Professor versus aluno (Nova York, Ohio)
Programas não são comparáveis – Diferentes no
formato/cálculo dos bônus, na forma de medir desempenho
dos professores (testes, VA, critérios múltiplos)
Mesmo assim, volume enorme de estudos e nem todos com a
mesma qualidade. Problema para as meta-avaliações (por
exemplo: Teresa Cozetti Pontual, Remuneração por Mérito,
Fundação Lemann, 2008)
© 2011 Fundação Victor Civita. Todos os direitos reservados
FONTE CONFIÁVEL
National Research Council. Committee on Incentives
and Test-Based Accountability in Public Education. 2011.
Estudos precisam ter grupo de controle
Precisa de testes low-stakes como medida de ganho
real (controlar por distorção/inflação)
Excluir estudos transversais que comparam resultados
com e sem programas de incentivos mas sem controlar
pelos critérios de inclusão nos programas
Precisa olhar outros países
© 2011 Fundação Victor Civita. Todos os direitos reservados
ESTADOS UNIDOS
Nashville (Springer et al. 2010): experimento de 3 anos; professor de
matemática/ginasial; bônus individual de US$5 a US$15 mil; medida VA (valor
agregado), teste estadual; critério 85% na distribuição distrital. Efeitos
positivos para anos 5 (só um ano) e 6, negativos para 7 e 8
Chicago (Glazerman et al. 2009): 2 anos; ensino fundamental; VA de ganhos
teste estadual + observações; até US$12 mil; das 10 combinações matéria/ano,
8 negativos, nenhum significativo; efeito positivo sobre retenção de
professores
Texas (Jackson, 2010); desde 1996; professores e alunos ensino médio; US$500
a US$1000 para alunos com pontuação de 3 ou mais em testes de advanced
placement; aumento de 1 a 2%/ano na proporção de alunos; e de 5,3% em
alunos indo para faculdade
Escolas do Teacher Advancement Program (Springer, 2008): 2 estados; 1,2 mil
escolas; 4 anos; dados de painel; matemática anos 2 a 5 ganhos significativos
de 0,2 d.p. (desvio padrão de 7 a 8 pontos) (; anos 7 a 10 sem ganho ou
decréscimo. De 18 combinações, ganho médio 0,01 d.p.
© 2011 Fundação Victor Civita. Todos os direitos reservados
OUTROS PAÍSES
Índia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos;
ensino fundamental; incentivos individuais e coletivo; 100 escolas cada
grupo; ganhos em Matemática e Língua; testes específicos; bônus de 3%
salário; ganho médio de 0,19 d.p. (significativo); ganho maior em
matemática. (Escolas com incentivos individuais 0,22 d.p., escolas
coletivos 0,15 d.p.)
Israel (Lavy, 2002): incentivos coletivos; ensino médio; de US$250 a US$
1000 (salário médio 30 mil); 1/3 melhores escolas; medidas diversas inc.
% com diploma; aprox. 62- 1/3 das escolas de ensino médio do pais;
proporção com diploma não mudou; efeito médio nos testes 0,12 d.p.;
efeitos maiores entre alunos de desempenho mais baixo
Israel (Lavy 2009): incentivos individuais; bônus de US$ 1750 a US$ 7,5
mil para professores de inglês e matemática se turmas superaram
expectativas; 49 escolas; número passando e a média nos testes
melhoraram; efeitos significativos; principalmente para alunos de
desempenho mais baixo
© 2011 Fundação Victor Civita. Todos os direitos reservados
CONCLUSÕES NATIONAL RESEARCH COUNCIL
Estados Unidos; efeito médio -0,02 a 0,06 desvios padrão
Programas de incentivos não têm influenciado níveis de desempenho
de forma significativa. Muitos programas próximo de zero quando usa
testes low-stakes de controle
Outros países: os efeitos são maiores mas continuam
relativamente baixos. Média 0,08 d.p. Efeitos mais pronunciados
para Matemática, Ensino Fundamental.
Benefícios pequenos. Porém:
Muitos desenhos ainda não testados (tipos de incentivo, individual
versus coletivo, medidas de desempenho, outros tipos de
accountability, etc)
Custos altos. Não deve substituir investimento em outras políticas
de melhoria
© 2011 Fundação Victor Civita. Todos os direitos reservados
ALGUMAS ESPECULAÇÕES
O ambiente de responsabilização muito mais intenso nos
Estados Unidos, por exemplo, Ensino Médio – expectativas
dos pais e efeito NCLB.
Nesse contexto de preocupação com os resultados dos
alunos, o impacto de incentivos salariais é próximo do zero.
Será que é por esse motivo que os impactos são sempre
maiores nos outros países?
Qual o impacto no Brasil, onde os incentivos salariais são a
opção escolhida para transmitir a importância associada aos
resultados?
© 2011 Fundação Victor Civita. Todos os direitos reservados
CONSIDERAÇÕES FINAIS
Ainda não temos a pesquisa necessária nem para falar dos
efeitos negativos nem dos possíveis benefícios
Extrair conclusões da pesquisa norte-americana é
extremamente difícil. Além da falta de comparabilidade dos
programas, há a questão do contexto de responsabilização
Talvez a ausência de pesquisa e de comprovação dos efeitos
colaterais, mesmo no Ceará, seja a indicação que os impactos
não seriam tão negativos no Brasil
Os programas de bônus podem ser inócuos em relação à
aprendizagem (EUA) ou podem render benefícios parecidos
com os de outros países (Índia, Israel)
© 2011 Fundação Victor Civita. Todos os direitos reservados