titulo aqui

A Evolução dos Estudos Sobre Avaliação
Educacional na Revista Ensaio: 1993-2013
VII Reunião da ABAVE
Avaliação e Currículo:
um diálogo necessário
ANAIS
Alberto de Mello e Souza
Pós-Doutorado em Educação, International Institute for
Educational Planning;
Doutor em Economia, University of Michigan, UMICH,
Estados Unidos;
Editor Associado da Revista Ensaio: avaliação e
políticas públicas em educação, Fundação Cesgranrio.
E-mail: [email protected]
Fátima Cunha Ferreira Pinto
Pós-Doutora em Educação, UNED, Madri, Espanha;
Doutora em Filosofia, UGF;
Mestrado em Educação, UFF.
Fundação Cesgranrio
E-mail: [email protected]
Sara Rozinda Martins Moura Sá dos Passos
Doutoranda em Educação, UCP;
Mestrado em Educação, UNESA e UNIG.
Assistente Editorial da Revista Ensaio: avaliação e
políticas públicas em educação, Fundação Cesgranrio.
E-mail: [email protected]
Correspondência/Contato
Rua Santa Alexandrina, nº 1011 - Rio Comprido
CEP 20261-903 - Rio de Janeiro - RJ
[email protected]
Artigo Original
Recebido em: 19/05/2013
Avaliado em: 24/06/2013
Resumo
As pessoas que formulam e implementam as políticas públicas de educação no
Brasil vêm dando ênfase à questão avaliativa. Essa centralidade transparece no
avanço do sistema de avaliação educacional, em todos os níveis e modalidades
de ensino, consolidando uma política de estado refletida na continuidade das
ações. O objetivo deste trabalho é o de refletir sobre a produção acadêmica que
contempla estudos sobre as políticas de avaliação educacional, apontando a
evolução da temática, a relevância da avaliação em larga escala e as lacunas
existentes. Nesse contexto, destaca-se a produção acadêmica da revista Ensaio:
Avaliação e Políticas Públicas em Educação, cuja missão é ser um veículo de
divulgação de pesquisas, levantamentos, estudos, discussões e outros trabalhos
críticos. Sua tiragem de 3000 exemplares é distribuída para as universidades
públicas e privadas, secretarias de educação, conselhos de educação e
pesquisadores da área. Em 2013, a Revista Ensaio completa 20 anos de
publicação ininterrupta.
Palavras-Chave: Produção acadêmica. Políticas Públicas. Avaliação
Educacional.
Evolution of Educational Evaluation Studies in
the Ensaio Journal: 1993-2013
Abstract
Emphasis is lately being placed on the issue of evaluation by those who
formulate and implement public education policy in Brazil. The centrality of
the issue is transparent in the advances made in the educational evaluation
system on all levels and across teaching modalities, to reinforce a state policy
that is to be sustained through continuity of actions. The objective of this work
is to reflect on academic production which undertakes studies about
educational evaluation policies, and to point out the evolution of the topic in
academia, the relevance of large scale evaluation and gaps that exist. Within
this context lies the academic production of the Ensaio journal: Evaluation and
Public Policy in Education, with its mission to disseminate research, surveys,
studies, discussions and other critical work. Its release of 3000 copies is
distributed to public and private universities, secretariats of education, councils
of education and reseachers in the area. In 2013, the Ensaio journal completes
20 years of uninterrupted publishing).
Keywords: Evaluation. Large scale evaluation. Accountability. Item Response
Theory.
516
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
1.
Introdução
Nos últimos vinte anos, no Brasil, as pessoas que formulam e implementam as
políticas públicas de educação vêm dando ênfase à questão avaliativa. Essa centralidade
transparece no avanço do sistema de avaliação educacional, em todos os níveis e modalidades
de ensino, consolidando uma política de estado refletida na continuidade das ações.
O objetivo deste trabalho é o de refletir sobre a produção acadêmica que
contempla estudos sobre as políticas de avaliação educacional. Tal como expressa na
revista Ensaio: Avaliação e Políticas Públicas em Educação, cuja missão é ser um veículo
de divulgação de pesquisas, levantamentos, estudos, discussões e outros trabalhos
críticos. Sua tiragem de 3000 exemplares é distribuída para as universidades públicas e
privadas, secretarias de educação, conselhos de educação e pesquisadores da área.
Este texto se desdobra em três seções, além desta. Na segunda seção faz-se um
breve relato sobre a evolução do conceito de avaliação a partir do início do século XX até o
presente e são apresentadas as características da referida revista. Na terceira seção
delineia-se como o estudo investigativo foi realizado e são apresentadas as classificações
utilizadas e indicado o número de estudos existentes em cada categoria. São discutidas
também as razões que impulsionaram o uso do sistema de avaliação em larga escala, bem
como uma perspectiva sobre a evolução desta temática. Nas Considerações Finais, são
destacados os resultados mais importantes deste estudo.
A avaliação educacional, ao longo do tempo, vem evoluindo quanto ao seu
significado. Nesse sentido, Souza (1994) relata diferentes variações sobre este tema.
Concretamente, Guba e Lincoln (1989) sintetizam a evolução conceitual da avaliação em
quatro gerações: a mensuração (ênfase em medidas e testes), a descrição (centrada nos
resultados relativos aos objetivos), o julgamento de valor (o avaliador tem papel de juiz
formulando juízo de valor a partir de critérios) e a negociação (onde o consenso é buscado
entre pessoas de valores diferentes). Contemporaneamente, no século XXI, a avaliação é
um processo que enfatiza a interação e a flexibilidade, na prestação de contas
(accountability) à sociedade em geral.
Para Werle (2011), com a adoção da avaliação em larga escala em níveis federal,
estadual e municipal, operando desde os segmentos iniciais da Educação Básica até a Pósgraduação, a avaliação passa de um nível de diagnóstico para o de significados, pautados
pelo pragmatismo e pela operacionalização. Sendo assim, a avaliação em larga escala
legitima o ranqueamento de instituições, escolas, redes municipais e estaduais; a
valorização da informação para a sociedade e a necessidade de qualificação da educação;
como também promove a criação de novos índices e sistemas de seleção que valorizam os
resultados de outras avaliações.
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
517
A publicação de análises críticas sobre avaliação e políticas públicas em
educação, na revista Ensaio, iniciou-se em 1993. Segundo Barreto (2001), no Brasil, até os
anos de 1950, a avaliação se referia apenas ao processo de ensino-aprendizagem, fazendo
parte do cotidiano escolar. Ela estava associada a provas e à atribuição de médias parciais
e notas finais para, enfim, aprovar ou reprovar os alunos, de acordo com o desempenho
escolar evidenciado. Assim, a avaliação se caracterizava pela simples mensuração da
capacidade individual.
Nos anos 60 e 70, segundo a referido autora, surge a influência das teorias do capital
humano e do tecnicismo, visando à eficiência e à eficácia. O foco da avaliação foi então
direcionado para as questões referentes a planejamento educacional. Nos anos 80, entram no
contexto as teorias crítico-reprodutivistas – a escola enquanto aparelho ideológico do Estado –
em que são reveladas as implicações políticas da avaliação, na reprodução das condições de
dominação da sociedade. A avaliação deixa de priorizar apenas o resultado; sua finalidade se
amplia e passa a abranger a dimensão diagnóstica e prognóstica. O foco se direciona para os
métodos quantitativos, ou seja, um modelo bem mais complexo.
Os sites oficiais informam que, no final dos anos de 1980 e início de 1990, o
Ministério de Educação (MEC) e órgãos afins, incentivados por agências financiadoras,
mobilizaram-se para o desenvolvimento de estratégias de avaliação em larga escala, como
política pública (BRASIL, 2011, 2013). Naquela época, o país iniciava a busca pela
universalização da educação e, assim, paulatinamente, implantou-se a cultura da
avaliação educacional, acompanhando uma tendência mundial e incluindo todos os
Estados e a maioria dos municípios.
Nesse sentido, foram implantadas as seguintes políticas de avaliação de larga
escala como política de Estado, apresentadas em continuação.
O Sistema de Avaliação da Educação Primária – SAEP (1987), criado para avaliar
o Projeto Edurural (1987), programa direcionado às escolas da área rural do nordeste
brasileiro, com o objetivo de se avaliar o desempenho dos alunos beneficiados pelo
projeto e compará-lo com o dos alunos não beneficiados. Mais tarde, o SAEP passou a
chamar-se Sistema Nacional de Avaliação da Educação Básica – SAEB (1990), com o
objetivo de oferecer subsídios para formulação, reformulação e monitoramento de
políticas públicas, visando à melhoria da qualidade do ensino brasileiro.
A partir de 1992, a aplicação do SAEB ficou a cargo do Instituto Nacional de
Estudos e Pesquisas Educacionais Anísio Teixeira – INEP que, em 1995, adotou a
metodologia de construção do teste e análise de resultados, conhecida como a Teoria de
Resposta ao Item (TRI).
O Programa de Avaliação Institucional – PAIUB (1993), surgiu como um
programa de avaliação da educação superior, respondendo ao desafio de implantar um
sistema de avaliação para a graduação, já que a pós-graduação vinha sendo avaliada
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
518
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
desde 1976 – Avaliação da Pós-Graduação da CAPES – o mais antigo sistema de avaliação
do país no setor educacional.
O Exame Nacional de Cursos (o ENC), mais conhecido como Provão (1996-2003),
foi criado com o objetivo de avaliar o processo de ensino-aprendizagem dos cursos de
graduação da educação superior.
Já o Exame Nacional do Ensino Médio – o ENEM (1998), avalia o desempenho
do estudante ao final da escolaridade básica, sendo utilizado também, para certificado
de conclusão.
O Exame Nacional de Desempenho do Ensino Superior – o Enade (2004),
substituiu o Provão e integra o Sistema Nacional de Avaliação do Ensino Superior – o
Sinaes (2004) é formado por três componentes: a avaliação da instituição, dos cursos e do
desempenho dos estudantes, avaliando o ensino, a pesquisa, a extensão, a
responsabilidade social, a gestão institucional, as instalações, o corpo docente e o corpo
discente entre vários outros aspectos.
O Exame Nacional de Certificação de Competências de Jovens e Adultos – o
Encceja (2006) – uma avaliação voluntária e gratuita para pessoas que não tiveram a
oportunidade de concluir o Ensino Fundamental em idade apropriada, afere competências,
habilidades e saberes adquiridos tanto no processo escolar quanto no extra-escolar.
A Prova Brasil e o Índice de Desenvolvimento da Educação Básica – o IDEB
(2007), foi criado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio
Teixeira (INEP) em 2007, para medir a qualidade de cada escola e de cada rede de ensino,
em uma escala de zero a dez, sintetizando dois conceitos para a qualidade da educação:
taxa de aprovação (Censo Escolar) e média de desempenho dos estudantes em língua
portuguesa e matemática (SAEB e Prova Brasil).
Da avaliação interna e individual para medir o desempenho de cada aluno às
avaliações externas padronizadas para um grande número de pessoas com tecnologia e
metodologia específicas, surgiu a ideia de se apresentar na VII Reunião Geral da
Associação Brasileira de Avaliação Educacional – ABAVE, a evolução dos estudos sobre
avaliação educacional no Brasil, tal como registrados pela Revista Ensaio, que no ano de
2013 completa 20 anos de publicação ininterrupta.
A revista Ensaio: Avaliação e Políticas Públicas em Educação foi criada para ser
um veículo de divulgação trimestral da Fundação Cesgranrio, no Rio de Janeiro. Ela é um
periódico de incentivo à pesquisa, que busca contribuir, de maneira significativa, nos
debates atuais que contemplem as questões de avaliação e políticas públicas no campo da
educação. Para tal, a referida revista recebe trabalhos de pesquisas, levantamentos,
estudos avaliativos, discussões e outros trabalhos críticos nacionais e internacionais,
abordando uma ampla diversidade de temas procurando assim, oferecer elementos que
sirvam de referência para futuros estudos. Na avaliação de periódicos da CAPES, a Ensaio
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
519
recebeu a nota máxima A1, em Educação. Segundo Vianna, Enssli e Giffhorn (2011, p.
339), que pesquisaram o tema “avaliação” em 25 artigos e 33 teses, a importância da
revista Ensaio, no cenário acadêmico nacional, aparece no Gráfico 1, que representa os
periódicos mais produtivos, indexados na base Scielo.
Gráfico 1 – Métrica Periódicos SciELO
Amostra Periódicos SCIELO
Ensaio:
aval.pol.
públ.Educ.
13%
Série1;
Avaliação
(Campinas);
7; 29%
Série1; Cad.
Pesqui.; 4;
17%
Fonte: Vianna; Enssli; Giffhorn (2010).
2.
Dimensionando o Problema
Uma revista acadêmica com o foco na avaliação e nas políticas públicas, mais do
que publicar ideias sobre diferentes tendências e modelos, deve ampliar o debate, discutir
temas críticos e polêmicos, bem como trazer inovação para a pesquisa educacional. Por
isso, buscou-se responder às seguintes questões: A partir dos trabalhos publicados, que
percepções temos a respeito das abordagens possíveis sobre avaliação em educação? Qual
a relevância da avaliação em larga escala?
Inspirados em Moreira (2002), utilizou-se o conceito de campo de Bourdieu1
como um método ou instrumento de análise, para desenvolver uma reflexão sobre a
evolução dos estudos em avaliação educacional, publicados na revista Ensaio. Vale dizer
que não se trata de uma pesquisa empírica, mas de um estudo que reúne, de maneira
sistemática, dados empíricos.
Para delinear o corpus do presente estudo, foram buscadas informações no banco
de dados da própria revista. Inicialmente, listou-se via word os artigos publicados pela
Ensaio, nacionais e estrangeiros, no período de 1993 até março de 2013. Foram
selecionadas seis categorias, a saber: avaliação de larga escala, avaliação institucional,
avaliação docente, avaliação em geral, políticas públicas e outros. E, a partir do título,
palavras-chave ou do próprio artigo procedeu-se à categorização.
Ao ser elaborada a Tabela 1, tomou-se o cuidado de, nas categorias avaliação
docente, avaliação em geral, políticas públicas e outros, discriminar o que estaria sendo
considerado na categorização em pauta.
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
520
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
Tabela 1 – Relação numérica e percentual entre os artigos publicados e a temática da revista Ensaio
Temas abordados
Número de
artigos
%
Sistemas de Avaliação
20
3,30
SAEB – Sistema de Avaliação da Educação Básica
05
0,83
ENEM – Exame Nacional do Ensino Médio
05
0,83
Avaliação
SINAES – Sistema Nacional de Avaliação do Ensino Superior
02
0,33
em larga
Provão – Exame nacional de Cursos
06
0,99
ENADE – Exame Nacional de Desempenho de Estudantes
01
0,16
IDEB – Índice de Desenvolvimento da Educação Básica
01
0,16
Teoria de Resposta ao Item (TRI)
05
0,83
PISA – Programme for International Student Assesssment
01
0,16
46
7,59
Avaliação Educacional
170
28,1
Avaliação de Cursos
27
4,45
Avaliação do Ensino Superior
64
10,6
Avaliação da Educação Básica
14
2,31
Avaliação da Educação Infantil
12
1,98
Avaliação do Ensino Médio
21
3,46
Avaliação da Educação Profissional e Tecnológica
10
1,65
Avaliação da Pós-Graduação
10
1,65
Avaliação da Educação Especial
04
0,66
Avaliação da Educação a Distância – E@D
04
0,66
Avaliação da Educação de Jovens e Adultos – EJA
03
0,49
ProUni - Programa Universidade para Todos
02
0,33
REUNI - Programa de Apoio ao Plano de Reestruturação e Expansão das
Universidades Federais
01
0,16
342
56,44
55
9,07
40
6,60
92
15,18
31
5,12
218
35,97
606
100,0
escala
Sub- total
Avaliação
Institucional
Sub-total
Avaliação
Docente
Avaliação
em geral
Políticas
Públicas
Outros
formação de professores, prática avaliativa, experiência com alunos, prática
pedagógica, seleção de docentes, período probatório, desenvolvimento
profissional, desempenho docente.
análise educacional comparativa, avaliação psicossocial, planejamento
estratégico, software educacional, salário docente, sustentabilidade e
educação, estado da arte, animação cultural, tecnologia, educação não
formal, violência escolar, direitos humanos.
legislação educacional, currículos,
gestão educacional, TICs,
financiamento, educação ambiental, programas sociais, salário educação,
instrução pública, promoção automática, programas de governo, eleição
para diretores.
homenagem a Sérgio Costa Ribeiro, relatórios, documentos e
documentários, filosofia política, representações sociais, psicologia escolar,
qualidade de serviços, hospitais universitários, cultura e tecnocultura,
recursos humanos, SUS, bibliografia, história da educação, crianças e
jovens em circunstâncias especialmente difíceis.
Sub-total
TOTAL
Fonte: Banco de Dados da revista Ensaio: Avaliação e Políticas Públicas em Educação.
No levantamento de dados, percebe-se que a produção acadêmico-científica está
concentrada em instituições no eixo Rio-São Paulo-Minas, embora numericamente se
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
521
destaquem autores vinculados a instituições de Brasília (Universidade Federal de Brasília –
UnB), Rio Grande do Sul (Universidade Federal do Rio Grande do Sul – UFRGS) e Ceará
(Universidade Federal do Ceará – UFC). Não foram detectados autores relacionados aos
seguintes Estados: Acre, Amapá, Amazonas, Pará, Maranhão, Alagoas, Sergipe e Tocantins.
Muitos dos articulistas estão vinculados a instituições fora do Brasil, destacando-se Estados Unidos,
Portugal e Espanha. Algumas dessas observações também foram destacadas por Borges (2011).
A revista Ensaio está centrada em dois eixos: avaliação e políticas públicas educacionais.
Na tabela 1, fica bem evidente que é a avaliação (79,70%), seja ela em larga escala, institucional,
docente ou em geral, o principal viés da Ensaio, o outro fica a cargo das políticas públicas
(15,18%), adicionado a outras diversas temáticas já publicadas (5,12%). Nesse sentido, os títulos,
as palavras-chave e/ou os resumos dos artigos sobre avaliação educacional revelaram as
transformações ocorridas no final do século XX, início do século XXI e o avanço do
conhecimento produzido.
A avaliação institucional constitui o ponto mais forte da Revista, uma vez que do total
de 606 artigos, 56,44% abordaram essa temática, destacando-se, especialmente, a avaliação
educacional que foi tema de 170 artigos (28,08%). Para exemplificar os tipos de artigos que
foram grupados nessa categoria, são aqui citados dois trabalhos muito utilizados nos programas
de pós-graduação:

Barreto (1993), “Avaliação: mitos e armadilhas”. Resumo: Considerando o interesse que o

Penna Firme (1994), “Mitos na Avaliação: diz-se que...”. Resumo: Há muitas décadas, falsas verdades têm impregnado o sistema educacional, com fundamentos que justificam a
reprovação dos alunos na educação escolar a que têm direito. É urgente, portanto, provocar junto a educadores, famílias e sociedade em geral, uma substancial reflexão, no
sentido de substituir a repetência e a evasão por uma avaliação que promova o aperfeiçoamento contínuo das crianças e dos jovens.
tema Avaliação vem ganhando, este estudo retoma a discussão do conceito como julgamento do valor das ações desenvolvidas, a partir da comparação entre o pretendido e
o alcançado. Ocupa-se também dos critérios de validade e precisão. Trata das dificuldades que podem comprometer um programa de avaliação, classificando-as em mitos (facilidade e impossibilidade) e armadilhas (instrumental, individual e corporativista).
Vale agora salientar os 64 trabalhos que abordaram especificamente a avaliação
do ensino superior. São artigos que abordam estratégias e metodologias no campo da
avaliação institucional, discutindo metodologias e estratégias válidas no campo da
avaliação e, assim, contribuindo para novos debates a partir dos resultados apresentados.
Como ilustração, cita-se o artigo de Tavares, Oliveira e Seiffert (2011) cujo
resumo expressa as ênfases e tendências dos textos publicados pela revista Ensaio:
avaliação e políticas públicas em educação, tomando como referência a política de
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
522
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
avaliação para a educação superior. O artigo reconstitui o cenário brasileiro da avaliação
nos governos de Fernando Henrique Cardoso (FHC) (1995-1998 / 1999-2002) e Luiz Inácio
Lula da Silva (2003-2006 / 2007-2010); relaciona as temáticas dos artigos em cada período
histórico e aponta as concepções de avaliação presentes nas análises e finaliza com
reflexões acerca da importância do periódico, enquanto espaço de socialização dos
estudos sobre avaliação da educação, especialmente da educação superior, destacando
que a ênfase/tendência dos textos publicados está na ideia da avaliação como
desempenho e avaliação associada à qualidade da educação.
Ainda dentro do contexto da avaliação institucional observa-se que as
abordagens pós-Lei de Diretrizes e Bases/1996 e programas de governo, como, por
exemplo, educação especial, educação a distância, EJA, ProUni e REUNI não atingem a
marca de 1% dos trabalhos publicados.
A categoria avaliação docente, aqui colocada em uma abordagem bem ampla,
considerando desde a contribuição para a melhoria do ensino até a progressão na carreira,
apesar de sua importância, na Ensaio, não atingiu a 10% dos trabalhos publicados. São
também, poucos os escores no que tange à avaliação em larga escala (7,59%), o que
corresponde a 46 artigos. Destes, 20 artigos (3,30%) são relativos aos sistemas de avaliação
como um todo. Artigos sobre o SAEB, ENEM, ENADE e Teoria de Resposta ao Item (TRI)
não chegam a 1%.
A Tabela 2, a seguir, estabelece uma relação semelhante à que se observa na
Ensaio, pois, as dissertações/teses do Banco de Teses da CAPES que abordam o assunto
“avaliação em larga escala” também são em número reduzido, considerando o total de
trabalhos com foco em avaliação.
Tabela 2 – Distribuição de dissertações/teses relacionadas à
avaliação em larga escala, por tipo de curso: 1999-2011
Ano
Profissional
Mestrado
Doutorado
TOTAL
1999-2001
0
02
01
03
2002-2004
01
07
04
12
2005-2007
01
09
02
12
2008-2010
0
14
09
23
2011
04
12
01
17
TOTAL
06
44
17
67
Fonte: Banco de Dados da CAPES (2013).
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
523
Apesar da multiplicidade de avaliações que abarcam as várias modalidades de
ensino com seus diferentes níveis, a avaliação ainda não é utilizada de modo a produzir
impactos reformistas notórios nas políticas públicas.
Assim, a avaliação em larga escala, entre outros fatores, pode dar contribuições
relevantes às políticas educacionais, tratando-se de assunto de grande interesse
educacional. Entretanto, como foi revelado nas Tabelas 1 e 2, a avaliação em larga escala é
um assunto recente e pouco investigado no Brasil.
É importante destacar que, em janeiro/março de 1994, a Ensaio publicou o artigo
“ATeoria de Resposta ao Item: medidas invariantes do desempenho escolar”, de Philip R.
Fletcher, pesquisador da Fundação Carlos Chagas que, naquela época, fez uma reflexão
sobre as novas técnicas de avaliação em psicometria, as quais permitem aferir o estado
cognitivo da população com nova objetividade e precisão, relacionadas a objetivos fixos
bem definidos, ano a ano. A sociedade democrática, ao ser informada se a escola vai bem
ou mal, consegue definir posições e cobrar ações que contribuem para o aperfeiçoamento
do sistema. (FLETCHER, 1994, p. 27).
Em outubro/dezembro desse mesmo ano, Orlando Pilati, coordenou o texto
“Sistema Nacional de Avaliação da Educação Básica – SAEB”, que apresenta, entre outros, os
seguintes resultados a partir dos dados do SAEB: consolidação do banco de dados do
INEP; consolidação da avaliação do ensino nas secretarias estaduais /municipais de
educação e a incorporação dos resultados na formulação de políticas e no planejamento
do ensino e, estruturação de núcleos regionais (ligados a instituições universitárias e de
pesquisa) para desenvolvimento teórico e metodológico da avaliação e treinamento de
recursos humanos, em nível de Pós-Graduação, na área de avaliação (PILATI, 1994, p. 27).
Em 2000, Fontanive e Klein retomam o tema com o artigo “Uma Visão sobre o
Sistema de Avaliação da Educação Básica no Brasil – SAEB”, em que descrevem a abrangência
e os procedimentos metodológicos utilizados para a aplicação dos instrumentos e a
análise dos resultados do SAEB, em 1997 e discutem os resultados da aplicação de
regressões hierárquicas ou multiníveis indicando variáveis intra e extraescolares,
significativas para explicar o desempenho dos alunos.
Em 2003, Klein, com o artigo “Utilização da Teoria da Resposta ao Item no sistema
nacional de avaliação da educação básica (SAEB)” explica a utilização da TRI no Sistema
Nacional de Avaliação da Educação Básica (SAEB) e a modificação introduzida em 1999,
mantida até os dias atuais. Essa modificação foi a de selecionar os pontos da escala de 100
a 425, em intervalos de 25, o que inclui o ponto 250, média arbitrada da distribuição de
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
524
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
proficiências da então 8ª série, nas disciplinas de língua portuguesa e matemática. Para
cada um destes pontos ou níveis, foi considerado um intervalo de comprimento 25 e
centrado no ponto. Para cada item foi estimado o percentual de acertos dos alunos em
cada nível, calculando-se esse percentual com proficiência no intervalo que contém o
nível. Nesta nova abordagem, um item é dito "âncora" em um nível se: a) o número de
alunos no nível que respondeu ao item é maior que 50; b) o percentual de acertos do item
nos níveis anteriores é menor que 65%; c) o percentual de acertos do item no nível
considerado e nos níveis acima é maior que 65%; e d) o ajuste da curva é bom. Desta
maneira, todo item considerado bom é utilizado, pois vai ser "âncora" em algum nível, a
não ser que seja muito difícil e dá flexibilidade para o painel de especialistas escolher
alguns níveis para resumir a interpretação da escala. De acordo com o segundo
procedimento, a análise dos itens âncoras, visando buscar a explicação do significado das
respostas dadas pelos alunos, foi realizada por Painéis de Especialistas.
Em 2013, a Ensaio, atenta à evolução da avaliação em larga escala, abriu espaço
para um número especial2 que contempla diferentes abordagens, de autores nacionais e
internacionais, sob a coordenação de Ruben Klein, pontuando-se duas realidades: 1) a
avaliação educacional acontece no contexto político; 2) o processo de avaliação conduz à
ideia de melhoria educacional.
Pelo exposto, é possível afirmar que a avaliação em larga escala é um assunto
atual e relevante, porque é tão pouco investigado? As mudanças introduzidas a partir dos
anos de 1990 promoveram o desenvolvimento de saberes para analisar os sofisticados
dados estatísticos levantados? O que dificulta o desenvolvimento de teses/dissertações
sobre essa temática?
3.
Avaliação e Reformas Educacionais
Nesta seção são discutidas as razões que impulsionaram o uso do sistema de
avaliação em larga escala, considerando que a necessidade de maior transparência dos
serviços públicos, a ênfase na qualidade do ensino e as políticas de descentralização da
educação originaram, em diversos países do mundo, o desenvolvimento de sistemas
nacionais de avaliação do desempenho escolar.
Dentro desse esquema de avaliações amplas, recorrentes e periódicas, destacamse, na América Latina, os países: Chile, Costa Rica, México e Brasil, que implementaram
modelos diferenciados, mas com finalidade idêntica ou seja, monitoramento do
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
525
desempenho escolar para informar ao público, às escolas e às autoridades sobre os
avanços e problemas no âmbito da educação básica.
No Brasil, na década inicial do século XXI ocorreu uma interação pouco comum
entre modelos de avaliação e propostas profundas de reforma educacional. No plano da
avaliação, a cobertura crescente de séries e de modalidades de ensino permitiu conhecer
os resultados descritos e separar o efeito familiar do efeito escola sobre os resultados dos
alunos. Na questão das reformas, a referida temática contemplou uma série de medidas
ligadas ao financiamento e, como consequência, ampliar a escolha de escolas pelos alunos
(e seus pais). Assim, buscou-se a melhoria da qualidade do ensino através de incentivos
que influenciassem o peso da burocracia atuante na escola3.
Talvez o traço mais marcante da avaliação de larga escala no Brasil seja a sua
introdução de cima para baixo, isto é, cobrindo todas as escolas a nível nacional. Desta
forma, evitou-se conflitos entre as autoridades nacionais e determinados sistemas de
ensino, ao mesmo que era assegurada a comparabilidade nacional. Uma das vantagens
dessa comparabilidade é o ranqueamento de escolas e turmas pertencentes a sistemas
educacionais distintos. Outros elementos que asseguram essa igualdade são a
uniformidade da construção amostral, a terminologia e os conceitos usados, bem como a
metodologia do trabalho. Entretanto, o uso que é feito da avaliação de larga escala na
formulação da política educacional poderia considerar outros aspectos, especialmente a
questão da responsabilização (accountability). Os desvios que ocorrem com frequência
nos gastos educacionais poderiam ser combatidos de forma mais sistemática.
É de certo modo possível afirmar que os esforços de compreensão dos problemas
educacionais no Brasil têm crescido expressivamente, em boa parte devido às pesquisas
decorrentes de análise quantitativa e dos estudos de avaliação educacional. Primeiro, os
aspectos cognitivos foram tratados com rigor analítico, através de reformas curriculares e
do tratamento estatístico, conhecido como Teste de Resposta ao Item (TRI). Segundo, a
comparabilidade dos resultados permitiu identificar condições de funcionamento das
escolas inaceitáveis e mobilizar recursos, como as reformas no FUNDEF (Fundo de
Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do Magistério).
Terceiro, não somente houve uma universalização dos resultados das avaliações de larga
escala, como vários Estados e, mesmo Municípios, também utilizaram esses modelos,
tendo os resultados confluídos para análises semelhantes. Quarto, a utilização do ENEM4,
como exame de acesso aos cursos de graduação nas universidades federais, sublinha a
importância dos conhecimentos que estão sendo ensinados e medidos em exames, e cria
mecanismos de cobrança. Estes mecanismos também servem para reforçar as alterações
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
526
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
curriculares no ensino médio, por haver uma pressão dos candidatos cotistas e não
cotistas interessados em aumentarem suas chances no exame vestibular.
Contudo, seria talvez oportuno questionar se a incorporação do ENEM para ser
utilizado nos vestibulares, com fins de classificação no ensino superior, poderia ter
consequências indesejáveis, por introduzir uma padronização excessiva dos conteúdos.
A grande vantagem da avaliação de larga escala é a comparabilidade, mediante
planejamento específico, quando os dados são sujeitos às mesmas definições e à mesma
construção amostral. A comparabilidade porém entre os resultados de diversos países e o
Brasil pode ficar prejudicada. Por exemplo, mesmo comparações feitas com países
participantes do Programme for International Student Assesssment – PISA podem não ser
adequadas. Neste caso, diferenças importantes na idade com a qual o aluno faz o teste e a
data de aplicação da prova, que varia em relação à data do calendário escolar provocam
diferenças nessas comparações. Em outra dimensão, é possível desagregar ou agregar os
níveis e séries. Como o IDEB mostra, é possível também multiplicar dois índices
provenientes de uma amostra de larga escala.
Assim, um dos importantes fenômenos que incluem a medida educacional é a
avaliação em larga escala, por dimensionar, ao longo dos anos, uma série de variáveis
relativas à escola, ao aluno e à sua família. Além da disseminação dos modelos em larga
escala, existem avanços importantes, sendo um deles a utilização da TRI (Teoria de
Resposta ao Item), que permite comparações entre o desempenho dos alunos.
Outros dois desenvolvimentos permitiram avanços importantes. O primeiro
deles expressa de forma mais adequada a medida do impacto do professor sobre a
aprendizagem, ao considerar o trabalho dos professores anteriores, permitindo
igualmente identificar o impacto das instalações sobre a aprendizagem. Dessa forma,
pode-se obter a efetividade do professor ao se separar o impacto do professor do impacto
dos professores anteriores, bem como de possíveis efeitos das instalações sobre essa
mesma aprendizagem. Os procedimentos estatísticos, que permitem esta separação de
efeitos, são conhecidos como modelo do valor adicionado.
O segundo desenvolvimento está ligado à accountability ou responsabilização,
cujo objetivo é o de responsabilizar os executores, buscando ganhos de eficiência
compatíveis com os gastos. Deve-se reconhecer que sistemas educacionais têm gastos per
capita que apresentam grande flutuação, sendo possível haver ganhos expressivos de
eficiência, comparando-se os gastos unitários de diferentes sistemas. Estas preocupações
estão ligadas à massificação educacional. Em outras palavras, a expansão das matrículas
requer ganhos de eficiência, através de responsabilização.
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
527
Em outro plano, o tópico reformas educacionais aparece com destaque. A
centralidade das reformas se expressa no objetivo da equidade. Para tal, é preciso
estimular decisões que favorecem a qualidade do ensino. A partir desse ponto de
concordância, existe pouca convergência. Para serem compreendidas as possibilidades de
reforma, é necessário reconhecer que a melhoria do ensino pode ocorrer atuando nos
incentivos internos à escola, ou seja, ampliando a autonomia da direção, proporcionando
incentivos salariais e definindo metas a serem atingidas pela escola.
Reconhecer que a hierarquia e a burocracia são inerentes ao sistema político e que
elementos corporativos estão fortemente presentes na direção da escola chama a atenção
para a necessidade de ampliar a competitividade externa, ou seja, de favorecer um
ambiente de estímulos gerado por fatores externos. Nesse caso, a ideia é favorecer a
mobilidade dos alunos. Para estimular as escolhas da escola sem haver restrições
monetárias, pode-se distribuir vouchers, que correspondem a um ticket escola e podem
ser gastos em escolas públicas e privadas.
Em resumo, incentivos insuficientes contrabalançados por certas regras
burocráticas indesejáveis, principalmente no plano interno da escola e na baixa
competitividade entre escolas na disputa de recursos, sejam bolsas de estudos ou
vouchers, favorecem um ambiente que restringe as mudanças. O papel da avaliação, nesse
contexto, é de apontar prioridades, especialmente quando se desenha uma política focada
na solução das deficiências de aprendizagem..
Considerações Finais
As áreas de estudo que contemplam a avaliação e as políticas públicas
educacionais têm-se ampliado e diversificado, como é possível observar pela evolução dos
artigos publicados na revista Ensaio, no período de 1993-2013. Pode-se encontrar no
discurso de diferentes autores, nacionais e estrangeiros, as lacunas, os avanços, os
retrocessos, os desafios, e sobretudo, a possibilidade de intervenção nas práticas e nas
políticas educacionais.
Outro ponto para ser destacado é que, inicialmente, os autores dos artigos eram
nomes reconhecidos no cenário acadêmico nacional, que externaram opiniões sobre o
campo teórico da avaliação e das políticas públicas educacionais, gerando, às vezes,
polêmicas e discussões acaloradas. É o caso do artigo de Pedro Demo, “Aula não é
necessariamente aprendizagem”, publicado na Ensaio em 2004, em que o autor afirma que
“a aula reprodutiva não é, por vezes, mania de professor ou seu trambique, mas resultado
quase inevitável de sua miséria: não tendo aprendido bem, não sabe fazer o aluno
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
528
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
aprender bem.” (DEMO, 2004, p. 692).
Faz falta os debates que provocavam,
instigavam e faziam dar asas ao pensamento.
Com o aumento do número dos programas de pós-graduação (que no Brasil
ocorreu no final dos anos 90) e com a exigência da CAPES para que professores e alunos
oriundos desses programas publicassem seus trabalhos, a Ensaio abriu espaço para teses e
dissertações, o que concorreu para trazer a público novos mestres e doutores com novas
discussões, abordagens e pensamentos, contribuindo, assim, para a difusão do avanço
teórico no campo da avaliação e das políticas públicas em educação.
No que tange à evolução dos estudos sobre avaliação educacional, observa-se
que novas perspectivas vêm surgindo sobre o uso da avaliação educacional de larga
escala em função do lado da oferta, de menores custos de utilização e disseminação dos
dados e dos menores custos da tecnologia utilizada na computação e no banco de dados.
Do lado da demanda de informações percebe-se que a organização política e social deve
atender ao que foi aqui chamado de demanda de cidadania. Fica claro que a
transformação dos direitos universais do homem em acesso a bens e serviços requer uma
dimensão da necessidade de recursos e da definição de políticas que possam,
paulatinamente, suprir essas necessidades. No caso da educação, é indispensável que a
participação do governo assegure a transformação das necessidades em recursos e políticas.
Existem dois exemplos em que é possível encontrar formulação de políticas
associadas à existência de modelos de larga escala. Primeiro, as políticas de accountability
(responsabilização) que objetivam uma gestão mais eficiente dos recursos empregados nas
escolas. Segundo, quando a preocupação se restringe aos incentivos dados aos
professores, a questão se transforma em verificar se os incentivos resultaram em melhoria
de aprendizagem dos alunos. Esta questão é conhecida como efetividade do professor.
Nesse caso, existe um método conhecido como valor adicionado, antes nomeado, que é
capaz de separar a contribuição de professores anteriores nos resultados de uma turma e,
assim, identificar a contribuição líquida desse professor para a aprendizagem dos alunos.
Incentivos de vários tipos são a forma dominante de introduzir mudanças e obter
uma melhoria da atuação da escola. Neste sentido, a avaliação de larga escala facilita a
introdução de reformas devido à comparabilidade e à abrangência. A palavra chave é
competitividade, que, como vimos pode-se dividir em competitividade externa e interna.
Existem razões para colocar em dúvida vários aspectos dos temas tratados aqui. Mesmo
assim, o tema dominante das reformas será, por muito tempo, como propor incentivos
aceitáveis politicamente e capazes de melhorar a aprendizagem.
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
Alberto de Mello e Souza, Fátima Cunha Ferreira Pinto e Sara Rozinda Martins Moura Sá dos Passos
529
Sobre as questões levantadas, é possível afirmar de certo modo que a avaliação
em larga escala é pouco investigada porque requer domínio de técnicas estatísticas e
econométricas. As mudanças introduzidas a partir de 1990 não promoveram de forma
suficiente o desenvolvimento de saberes para analisar os sofisticados dados levantados,
porque são saberes restritos a grupos fechados, que dificultam o manuseio dos dados
estatísticos.
Assim,
todos
esses
aspectos
restringem
o
desenvolvimento
de
teses/dissertações sobre a temática.
Ao finalizar, vale reiterar o significado da avaliação no processo educacional e
sua importância para universalizar a educação básica no Brasil sempre que seus
resultados sejam utilizados para o aperfeiçoamento do desempenho educacional e a
formulação de políticas para o desenvolvimento pleno do indivíduo e da sociedade.
Referências
BRASIL. Secretaria de Educação Básica. PDE/SAEB – Plano Nacional de
Desenvolvimento. Brasília : SEB : INEP, 2011.
BRASIL. INEP. Disponível em: < http://portal.inep.gov.br/>. Acesso em 22 de mar 2013.
BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Banco de teses. Disponível em: <http://capesdw.capes.gov.br/capesdw/Teses.do>. Acesso em 22 de mar 2013.
BARRETO, Elba Siqueira de Sá. A avaliação na educação básica entre dois modelos. Educação e Sociedade, São Paulo, v. 22, n. 75, p. 48-66, 2001.
BARRETO, José de Anchieta Esmeraldo. Avaliação: mitos e armadilhas. Ensaio: Avaliação
e Políticas Públicas em Educação, Rio de Janeiro, v. 1, n. 1, p. 45-54, out./dez. 1993.
BORGES, Regilson Maciel. Avaliação educacional: o estado do conhecimento da Ensaio:
Avaliação e Políticas Públicas em Educação (1993-2008). Ensaio:Avaliação e Políticas
Públicas em Educação, Rio de Janeiro, v.19, n. 70, p. 43-56. jan./mar. 2011.
DEMO, Pedro. Aula não é necessariamente aprendizagem. Ensaio: Avaliação e Políticas
Públicas em Educação, Rio de Janeiro, v. 12, n. 43, p. 669-695, abr./jun. 2004.
FLETCHER, Philip R. A T’eoria de Resposta ao Item: medidas invariantes do desempenho
escolar. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 1, n. 2, p.
21-27, jan./mar. 1994.
FONTANIVE, Nilma; KLEIN, Ruben. Uma visão sobre o sistema de avaliação da
educação básica do Brasil – SAEB. Ensaio: Avaliação e Políticas Públicas em Educação,
Rio de Janeiro, v. 8, n. 29, p. 409-442, out./dez. 2000.
GOLDSTEIN, Harvey. Evaluating educational changes: a statistical perspective. Ensaio:
Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, jan./mar. 2013. No prelo.
GUBA, Egon G.; Lincoln, Yvonna. S. Fourth Generation Evaluation. Newbury Park: Safe
Publications, 1989.
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530
530
A Evolução dos Estudos Sobre Avaliação Educacional na Revista Ensaio: 1993-2013
KLEIN, Ruben. Utilização da Teoria da Resposta ao Item no Sistema Nacional de
Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em
Educação, Rio de Janeiro, v. 11, n. 40, p. 283-296, jul./set. 2003.
MOREIRA, Antonio Flavio Barbosa. O campo do currículo no Brasil: construção no
contexto da ANPEd. Cadernos de Pesquisa, São Paulo, n. 117, p. 81-101, nov. 2002.
PENNA FIRME, Tereza. Mitos na avaliação: diz-se que... Ensaio: Avaliação e Políticas
Públicas em Educação, Rio de Janeiro, v. 2, n. 1, p. 57-62, out./dez. 1994.
PILATI, Orlando (Coord.). Sistema Nacional de Avaliação da Educação Básica – SAEB.
Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 2, n. 1, p. 11-30,
out./dez. 1994.
SOUZA, Vera Tavares de. Avaliação da aprendizagem. Ensaio: Avaliação e Políticas
Públicas em Educação, Rio de Janeiro, v. 1, n. 3, p. 13-20, abr./jun. 1994.
TAVARES, Maria das Graças Medeiros; OLIVEIRA, Maria Antonieta Albuquerque de;
SEIFFERT, Otília Maria Lucia Barbosa. Avaliação da educação superior na revista Ensaio
Políticas Públicas em Educação: ênfases e tendências. Ensaio: Avaliação e Políticas
Públicas em Educação, Rio de Janeiro, v. 19, n. 71, p. 233-258, abr./jun. 2011.
VIANNA, William Barbosa; ENSSLIN, Leonardo; GIFFHORN, Edílson. A integração
sistêmica entre pós-graduação e educação básica no Brasil: contribuição teórica para um
“estado da arte”. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.
19, n. 71, p. 327-344, abr./jun. 2011.
WERLE, Flavia Obino Corrêa. Políticas de avaliação em larga escala na educação básica:
do controle de resultados à intervenção nos processos de operacionalização do ensino.
Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 17, n. 73, p. 769-792,
out./dez. 2011.
ANAIS  VII Reunião da ABAVE  Avaliação e Currículo: um diálogo necessário  Nº 1, Ano 2013  p. 515-530