Avaliação de políticas públicas: conceitos básicos: o caso do ProInfo

Transcrição

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Avaliação de políticas públicas : conceitos básicos, o caso
do ProInfo e a experiência brasileira1
Antonio NILSON Craveiro HOLANDA
(da Universidade de Brasília)
O presente texto faz parte de um conjunto de três documentos que explora o tema da
avaliação de políticas públicas do Brasil, tendo como referência a experiência de avaliação
do ProInfo – Programa Nacional de Informática na Educação do Ministério da Educação
(MEC) do Brasil. O primeiro documento (este) define conceitos básicos de avaliação e
analisa a experiência brasileira de avaliação “ex post” de programas e projetos. O segundo
documento (de responsabilidade de Waldyr Viegas) expõe os procedimentos metodológicos
e o processo de execução da avaliação do ProInfo e o terceiro (escrito por Gileno Marcelino)
apresenta os resultados e conclusões básicas dos estudos.
Este documento se divide em duas partes. Na primeira parte são apresentados alguns
conceitos básicos de avaliação “ex post” e apresentadas as características do ProInfo –
programa do governo brasileiro que busca introduzir na escola fundamental e no ensino
médio as modernas tecnologias da informática e da comunicação e cujos resultados se vem
tentando avaliar, á luz desses conceitos. Na segunda parte é feita uma sumária revisão da
experiência brasileira de avaliação “ex post”, no contexto do sistema de planejamento do
país e da sua prática de implementação do programas e projetos sociais.
PRIMEIRA PARTE:
CONCEITOS BÁSICOS DE AVALIAÇÃO
E SUA APLICAÇÃO AO PROINFO
1. Antecedentes
O ProInfo começou a ser implantado pelo Ministério da Educação (MEC) do Brasil a
partir de 19972 e tem por objetivo introduzir a telemática3 nas escolas públicas, como
ferramenta de apoio ao processo de ensino-aprendizagem. É, portanto, em essência e
concepção, um programa de educação, antes que um projeto de modernização tecnológica.
Até abril de 2002 o programa já havia sido implantado em 2.881 escolas em todo o Brasil,
com a aquisição de 55.000 computadores e periféricos (servidores, impressores, scanners),
a estruturação de 263 Núcleos de Tecnologia Educacional – NTE (unidades vinculadas às
Secretarias Estaduais ou Municipais de Educação que foram criadas para dar suporte ao
ProInfo, com capacitação, assistência técnica e apoio pedagógico), além da capacitação de
302 técnicos, 1.409 professores-multiplicadores dos NTE e 20.905 professores das escolas
beneficiadas pelo Programa.
1
O Resumo deste texto foi incluído ao seu final.
O Programa foi criado pela Portaria no. 522 de 9 de abril de 1997
3
Essa palavra tem sido utilizada para designar a reunião das tecnologias de informática e telecomunicações Esse conjunto
de técnicas é também referido, freqüentemente, como Tecnologias de Informação, Educação e Comunicação (ou IECTs –
Information, Education and Communication Technologies) ou ainda TIC – Tecnologia de Informação e Comunicação
2
Ao final de 2001, o MEC julgou conveniente promover uma primeira avaliação do
programa, de natureza qualitativa, “ad hoc” e externa, e compreendendo a) uma pesquisa
amostral (“survey”) do universo de escolas beneficiadas e b) um conjunto de 40 estudos de
casos (sendo 20 do ProInfo propriamente dito e 20 do projeto Integrar, que busca avaliar a
integração entre o ProInfo e a TV Escola, um programa de televisão educativa também
mantido pelo MEC).
Essas pesquisas e estudos tinham em vista responder a três questões fundamentais:
1) Qual a situação da infra-estrutura que foi montada? 2) Como ela está sendo utilizada? e
3) Que resultados ou impactos produziu? Os trabalhos de avaliação externa foram
contratados com equipe da Universidade de Brasília, que desenvolveu todas as pesquisas
entre o final de 2002 e o primeiro semestre de 20034.
2. Conceito básicos sobre avaliação
Em um sentido lato, avaliar significa julgar, estimar, medir, classificar, ordenar,
ponderar, aferir ou analisar criticamente o mérito, o valor, a importância, a relevância ou a
utilidade5 de algo ou alguém.
Em um sentido estrito – como é o caso da abordagem adotada neste documento –
avaliar é determinar o mérito e a prioridade de um projeto de investimento ou de uma
programa social, geralmente financiado com recursos públicos e voltado para resolver um
determinado problema econômico ou social. Por isso aquilo que chamamos avaliação é
geralmente caracterizado, na literatura especializada, como avaliação de programas
(“program evaluation”) 6.
Para Rossi a avaliação de programas corresponde à
“utilização de metodologias de pesquisa social para investigar, de forma sistemática,
a efetividade de programas de intervenção social que foram adaptados ao seu
ambiente político e organizacional e planejados para conformar a ação social numa
maneira que contribua para a melhoria das condições sociais” 7
Essa avaliação pode abarcar os mais variados aspectos do projeto ou programa, que
vão de sua concepção original e do seu planejamento ao seu processo de implementação e
à aferição dos seus efeitos e resultados de curto, médio e longo prazo. Quando todos esses
aspectos são considerados de forma integrada diz-se que a avaliação é compreensiva ou
abrangente,
4
Ver MEC/SEED/UnB, ProInfo: Perspectivas e Desafios, Relatório de Avaliação, Universidade de Brasília, 2003
Em inglês, os termos mais usados são os verbos “evaluate”, “assess”, “appraise” e “judge” e os substantivos correlatos –
“evaluation”, “assessment”, “appraisal” e “judgment”.
6
Alguns autores fazem um distinção entre pesquisa de avaliação (“evaluation research”) e avaliação de programas
(“program evaluation”). A primeira seria de natureza predominantemente acadêmica, caracterizada pela aplicação de
métodos científicos mais rigorosos com objetivo de desenvolver ou testar teorias e hipóteses. A segunda seria de natureza
mais empírica, limitando-se à simples prática de avaliação, a partir de teorias e métodos conhecidos, sem maiores
pretensões inovadoras. Uma seria assemelhada à chamada pesquisa básica; outra, à pesquisa aplicada
7
Rossi, Peter, Freeman, Howard e Lipsey, Mark, in Evaluation: a systematic approach, 6ª ed. Sage Publications,
Thousand Oaks, California, 1999, p.2
5
2
Para Carol Weiss,
“avaliação é uma análise ponderada e sistemática (“sistematic assessment”) da
operação e/ou dos resultados de uma política ou um programa, em confronto com um
conjunto de padrões implícitos ou explícitos, tendo como objetivo contribuir para o
aperfeiçoamento desse programa ou política” 8 .
Muitos autores enfatizam o processo de avaliação (levantamento sistemático de dados
e sua comparação com padrões predefinidos), enquanto outros se concentram nos usos da
avaliação (auxiliar o processo decisório). Mas em geral todos reconhecem que a avaliação é
basicamente um instrumento para maximizar a eficácia (em termos de fins alcançados) e a
eficiência (do ponto de vista da economicidade dos meios) dos programas governamentais,
numa conjuntura de recursos cada vez mais escassos.
Para os propósitos deste trabalho, adotou-se uma definição operacional de avaliação,
entendendo-a como um procedimento sistemático de levantamento e análise de dados
visando a identificar os resultados, efeitos ou impactos de um programa ou projeto e a aferir
a sua relevância, sustentabilidade, eficiência e eficácia, em confronto com os objetivos
estabelecidos quando de sua concepção ou formulação.
O objetivo básico de qualquer avaliação é obter informações úteis e críveis sobre o
desempenho desses programas, identificando problemas e limitações, potencialidades e
alternativas, levantando práticas mais eficientes (“best practices”) e recolhendo lições e
subsídios que possam ser retroalimentados no processo de planejamento e formulação de
políticas públicas, de modo a aumentar a sua efetividade, eficiência e eficácia 9.
O objeto da avaliação, pode ser identificado a partir da lista dos 5 Ps: 1) produto, 2)
pessoal, 3) performance ou desempenho, 4) projeto ou proposta , 5) programa (ou plano) e
6) política.
Os dois primeiros constituem práticas muito antigas – a avaliação de produto, no setor
empresarial, e a avaliação de pessoal nos setores público e privado. Alguns entendem que a
avaliação de produto remonta ao homem pré-histórico, desde que ele chegou ao estágio de
homo habilis e passou a selecionar armas e ferramentas, a partir das alternativas
disponíveis. Com a formação dos primeiros grupos sociais, algum tipo de avaliação de
pessoal certamente começou a ser praticada. E o sistema do mérito que ainda hoje estamos
tentando implantar em nossos governos remonta, na realidade, aos ensinamentos de
Confúcio (552-479 a. c.), que começaram a ser incorporados à administração chinesa
durante a dinastia Han (206 a.c. – 220 d.c.) 10. Esses dois tipos de avaliação não serão
considerados neste documento, onde o nosso objeto de avaliação será um programa social.
8
In Evaluation, 2nd. edition, Prentice-Hall, New Jersey, 1998, p. 4. Itálicos no original
Cf. Holanda, Nilson, Monitoramento e Avaliação: Conceitos Básicos, Universidade de Brasília, 2002
10
Cf. Wren, Daniel A ., The Evolution of Management Thought, 2nd edition, p.17. John Wiley and Sons, New York,
1979
9
3
Parafraseando Rossi11, podemos caracterizar um programa social ou intervenção
social como um esforço planejado e organizado que tem em vista a atenuação ou melhora de
condições sociais julgadas insatisfatórias. Parte-se do pressuposto de que o programa já
existe e está em andamento (o que exclui a avaliação “ex ante”). Daí porque a avaliação de
que tratamos aqui é a chamada avaliação “ex post”.
Os programas sociais aqui considerados são aqueles voltados para a melhoria da
condição humana, nas áreas de saúde, educação e assistência social, além de segurança
pública e apoio a atividades econômicas das classes de baixa renda, executados pelo
governo ou por organizações do terceiro setor, que não tem fim de lucro. Esses programas
são os mais variados possíveis, envolvendo alimentação e nutrição, formação de mão de
obra, geração de emprego e renda, habitação popular, melhoria de condições sanitárias de
áreas periféricas aos grandes centros urbanos, renovação de áreas urbanas degradadas,
reforma educacional, vacinação em massa, assistência médica, preventiva ou curativa, apoio
a clínicas de saúde mental, de tratamento de excepcionais, assistência para a preservação
das famílias, proteção à criança e ao adolescente, apoio a menores abandonados ou
delinquentes, tratamento de viciados em drogas etc.
Os instrumentos utilizados para viabilizar as intervenções também são os mais
variados possíveis, como a entrega direta de alimentos (cestas básicas) e medicamentos, os
programas de “renda mínima” (um tipo de imposto de renda negativo), a venda subsidiada de
alimentos ou insumos considerados básicos para as populações pobres (como aconteceu no
passado, no Brasil, com pão, leite e gás de cozinha), os “tíquetes” para refeições e os
“vouchers” para matrículas em escolas privadas, a capacitação profissional, o
aconselhamento especializado, o micro-crédito, a reforma agrária, a construção de infraestrutura de saneamento e drenagem, o apoio a programas de irrigação para pequenos
agricultores e assim por diante.
O Proinfo é um programa social da área de educação, voltado para a melhoria da
qualidade do ensino fundamental e médio e para a inclusão digital, utilizando como
instrumentos a montagem de uma infra-estrutura tecnológica e a criação de condições para
sua adequada utilização, via capacitação de pessoal e apoio técnico-pedagógico.
3. O modelo de avaliação
O processo de avaliação pode ser desenvolvido em diversos níveis e sob diferentes
enfoques mas sempre pressupõe a explicitação de um modelo de avaliação, ou seja, de
um quadro de referência que busca resgatar a lógica interna ou a teoria que está subjacente
à intervenção, programa ou projeto que é objeto da avaliação.
Os modelos ou enfoques de avaliação são variados. Combinando as opiniões de
diversos autores como John BULMETTIS e Phyllis DUTWIN12 , Joan L. Herman et alii 13 e
Blaine Worthen et alii 14 podemos identificar, pelo menos, seis modelos15;
11
Rossi, Peter, Freeman, Howard e Lipsey, Mark, op. cit. p. 2
In The ABCs of Evaluation, Jossey-Bass Publishers, San Francisco, 2000, p. 71
13
In Evaluator´s Handbook, Sage Publications, 1987, Newbury Park, p. 10
14
In Program Evaluation, Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New York,
1997, p.78
12
4
1) o modelo baseado em objetivos, quando estes estão claramente definidos e
constituem parâmetros explícitos para o trabalho de avaliação;
2) O modelo voltado para a tomada de decisão (ou orientado para a gestão) ou
seja, para obter informações que permitam a tomada de decisões em relação
ao futuro do programa ;
3) O modelo livre de objetivos (“goal free model) quando o avaliador se debruça
sobre os resultados efetivamente alcançados, independentemente do que
estabeleciam os objetivos iniciais;
4) O modelo transacional ou orientado para os participantes, dentro do qual o
avaliador é um observador participante e se estabelece uma interação entre
avaliador e avaliados; esse modelo é usado principalmente em monitoramento
e avaliação de processo;
5) O modelo do contraditório (“adversary oriented” ou “advocacy oriented)”,
quando deliberadamente se pretende chegar à avaliação contrastando pontos
de vistas divergentes, como em um júri;
6) O modelo de discrepâncias, utilizado em programas e projetos que se realizam
em ambientes complexos, quando não se pode estabelecer previamente
relações de causa e efeito entre variáveis; neste caso a avaliação tem por
objetivo exatamente definir essas relações, comparando os resultados obtidos
com os padrões temporários e tentativos estabelecidos inicialmente.
O modelo utilizado para avaliação do ProInfo foi aquele voltados para os objetivos. Por
isso a equipe de avaliação tentou resgatar a teoria subjacente ao programa, a partir dos seus
objetivos e da lógica interna que define as inter-relações entre os diferentes fatores que
podem ser considerados essenciais para a realização desses objetivos.
Esse arcabouço conceitual está apresentado na Figura 1, adiante, onde, estão
ressaltados os elementos mais importantes do sistema ProInfo: infra-estrutura, uso da infraestrutura e resultados esperados desse uso, além do papel estratégico que se espera seja
desempenhado pelos NTE.
Esse resgate da lógica interna do programa implica a adoção de uma abordagem
sistêmica, O ProInfo é caracterizado como um conjunto de elementos dinamicamente interrelacionados de modo a constituir um todo orgânico, cujos elementos constitutivos podem ser
agrupados em insumos, processos e saídas. Para efeito de avaliação, são considerados
insumos ou entradas: o projeto pedagógico, a infra-estrutura física e os recursos humanos. O
processamento se dá com as ações gerenciais, consideradas do ponto de vista do
desempenho dos atores. As saídas são os efeitos e impactos na escola, aqui materializados
15
Excluindo o modelo voltado para a utilização (“utilization focused”) associado à contribuição de Michael Patton em seu
livro Utilization Focused Evaluation, Newbbury Park, CA, Sage Publications, 1986, por considerarmos que isso se
confunde com os modelos 1 e 2 ou ainda porque a utilidade da avaliação é um requisito comum a qualquer enfoque
avaliativo.
5
na sala de aula, na comunidade escolar, que compreende professores e alunos
FIGURA 1
PROINFO: TEORIA SUBJACENTE
E INDICAÇÕES PARA AVALIAÇÃO
UNIDADES DE
AVALIAÇÃO
Critérios
Referências para
a avaliação
1 NTE
Qualidade do
planejamento inicial
1.1Atividades de apoio
pedagógico
1.2 Desempenho
dos
multiplicadores
1.3 Cursos para
professores
1.4 Suporte técnico
Forma de
implementação
2 ESCOLA
EFICIÊNCIA
EFICÁCIA
2.1 Infra-estrutura física
e de computação e
comunicação
2.2 Uso da infraestrutura
Objetivos: ensino,
pesquisa e gestão
Intensidade de uso
SUSTENTABILID
ADE
QUALIDADE
Resultados e impactos
Melhoria do processo
de ensino
aprendizagem
Equidade: acesso à
informação
EFEITOS
Capacitação do
ALUNO
Capacitação do
PROFESSOR
IMPACTOS
(mudança social)
Mudança
na gestão
da escola
Mudança de currículos,
da estrutura e da
qualidade do ensino
6
Mudança nas
relações com a
comunidade
Alfabetização
tecnológica (ecologia
cognitiva)
Cidadania
O objetivo instrumental do programa é colocar à disposição da escola uma infraestrutura moderna de informática e comunicações e criar todas as condições – técnicas,
pedagógicas e organizacionais - para que essa infra-estrutura seja utilizada de forma
adequada, eficiente e eficaz.
O objetivo final é a melhoria do processo de ensinoaprendizado, pelo aproveitamento do potencial da telemática como um instrumento  ou,
como alguns preferem, um instrumental, conjunto de instrumentos ou caixa de ferramentas
(“toolbox”)16  para a melhoria da qualidade da educação. Essa melhoria pode ser obtida a
partir dos efeitos ou impactos positivos sobre:
melhoria do aprendizado dos estudantes;
desenvolvimento profissional dos professores.
gestão da escola;
organização do trabalho pedagógico;
formação de parcerias com a comunidade;
fortalecimento dos movimentos de reforma do sistema educacional17.
16
17
Eric Rusten, Learnlink, AED – Academy for Educational Development, Computers in School, p. 6
Cfr. Rusten, op. cit., p. 8/9
7
A Figura 2 busca tornar mais objetiva a imagem dos efeitos e impactos que se poderia
esperar do Programa
FIGURA 2 :EFEITOS E IMPACTOS DO PROINFO
Articulação com NTE
Modernização de
currículos
AVANÇOS
PEDAGÓGICOS
Projeto Pedagógico
OBJETIVO
INTERMEDIÁRIO
Integração com outros
programas do MEC
como TV Escola
MELHORIA DO
ENSINO
APRENDIZADO
OBJETIVO FINAL
HABILIDADES
COMPETÊNCIAS
COGNITIVAS
DESENVOLVIMENTO
HUMANO E SOCIAL
Aprender a aprender
Domínio de códigos
culturais básicos
Valores e Ética
Aprendizagem
autônoma
Raciocínio matemático
Responsabilidade
Criatividade e
flexibilidade
Auto-expressão e
interlocução
Auto-estima
solução de problemas
Manejo de signos e
representações
Interatividade e
Solidariedade
Questionamento,
criticidade
MEIOS DE VERIFICAÇÃO
Uso de processador
de texto
Trabalhos em equipe
Uso da internet
Uso e planilha
eletrônica
Projetos
interdisciplinares e
transversais
Uso de softwares
educativos
Utilização do power
point
Projetos e cooperação
Uso de outros
com outras escolas
softwares de desenho,
projeto etc. (não
educativos)
8
4. Estudos de Casos
Além de uma pesquisa amostral, de natureza qualitativa, o ProInfo patrocinou também
a elaboração de 40 estudos de casos de escolas beneficiados com o programa. Os detalhes
sobre os procedimentos metodológicos da avaliação são apresentados no segundo
documento deste Painel (de Waldyr Viegas), Neste tópico analisaremos apenas os aspectos
conceituais.
O estudo de caso é uma pesquisa empírica que utiliza múltiplas fontes de
informações (o que se define como triangulação) e uma variedade de processos de
investigação (pesquisa documental, entrevistas formais e informais etc.) com o objetivo de
identificar a estrutura e a dinâmica de um sistema complexo cujas fronteiras e elementos
integrantes não estão perfeitamente definidos. Ele implica uma visão holística e busca
identificar as inter-relações entre fatores técnicos, organizacionais, humanos e culturais que
explicam o funcionamento do sistema. Dessa forma tenta captar informações que nem
sempre podem ser coletadas através de metodologias quantitativas.
Na definição de Robert K. YIN, o estudo de caso tem por objetivo “investigar um
fenômeno contemporâneo, no contexto da vida real, especialmente quando as fronteiras
entre o fenômeno e o contexto não estão perfeitamente delimitadas”18. YIN acrescenta duas
outras condições:
a) consideradas as clássicas questões de o que, quem, por que, como, quando e quanto,
o estudo de caso é mais apropriado para responder perguntas por que ? e como ? e
b) nos estudos de casos são tratadas questões contemporâneas e não há controle sobre
os eventos. Assim ele se diferencia da história (que trata de fenômenos passados), do
experimento (quando há controle sobre os eventos) e do “survey” (que raramente
pode levar em conta o contexto)
O estudo de caso permite uma análise abrangente e em profundidade, ao invés de
limitar-se a aspectos muito restritos ou selecionados como ocorre com avaliações
quantitativas. Um conjunto de estudos de casos permite estabelecer padrões de
similaridades e diferenças que propiciam um entendimento mais completo dos fenômenos
observados.
Os estudos de casos podem ser descritivos, exploratórios ou explanatórios (ou
explicativos, ou, ainda, avaliativos). Em termos gerais podemos dizer que os estudos
descritivos são aqueles que não tem por objetivo formular ou testar uma teoria, mas
basicamente descrever a natureza, ocorrência
ou seqüência dos fenômenos que
caracterizam uma realidade social, na plenitude de suas múltiplas e complexas
manifestações. Os estudos exploratórios vão mais adiante, buscando levantar hipóteses e
proposições relevantes que possam orientar futuros esforços de pesquisa. Já os estudos
explanatórios ou explicativos (ou avaliativos) procuram identificar aquelas hipóteses – dentre
diferentes teorias alternativas – que melhor explicam a realidade ou conjunto de eventos
pesquisados. Em síntese, um descreve, outro teoriza e o terceiro testa a teoria. Se
considerado nesta última alternativa o estudo de caso
se assemelha à pesquisa
18
Op. cit. p. 13
9
experimental, mas dela se diferencia porque mais indicado para a análise de situações em
que a complexidade dos fenômenos e de suas relações causais dificilmente pode ser
captada por uma pesquisa experimental 19.
Para definir a natureza e os objetivos dos estudos de casos, precisamos adotar uma
estratégia de aproximações sucessivas que leva em conta, primeiro, o quadro de referência
(“theoretical framework”) teórico ou conceptual da pesquisa, depois o enunciado do
problema central (“problem statement”) a ser investigado e, finalmente, o objetivo específico,
exato ou preciso do estudo, em termos de suas questões prioritárias, como sugerido na
Figura 3.
FIGURA 3
ETAPAS PARA DEFINIÇÃO DOS OBJETIVOS DOS ESTUDOS DE CASOS
QUADRO DE REFERÊNCIA
ENUNCIADO DO
PROBLEMA CENTRAL
OBJETIVO DO ESTUDO
Questões
prioritárias
O QUADRO DE REFERÊNCIA CONCEITUAL corresponde à base teórica que define
a natureza do estudo e sua orientação disciplinar e filosófica, identifica o problema central a
ser investigado, especifica os conceitos a serem utilizados como ferramentas da pesquisa e
condiciona a forma como será conduzida a pesquisa. Corresponde ao Modelo de Avaliação
do ProInfo, que se tentou definir no tópicos precedentes.
Do ponto de vista de sua orientação disciplinar, por exemplo, os estudos de casos
podem ser etnográficos, psicológicos, sociológicos, históricos, educacionais etc. No que diz
respeito ao ProInfo, os estudos de casos são predominantemente de natureza educacional,
mas incluem também um forte componente de avaliação de políticas públicas. Vale dizer:
procura analisar o impacto da introdução de inovações tecnológicas no processo educacional
e, ao mesmo tempo, busca identificar os aspectos de formulação e implementação de
políticas que podem ampliar ou neutralizar esse impacto.
19
10
No que diz respeito à sua base filosófica, os estudos de casos de educação, segundo
Carr e Kemmis20, podem seguir três orientações:
a) positivista, quando se identifica a educação como o fenômeno ou objeto a ser
pesquisado, de preferência utilizando métodos dedutivos ou quantitativos e
pesquisas experimentais;
b) interpretativa, que considera a educação um processo complexo que precisa ser
entendido, na sua estrutura e na sua dinâmica, utilizando métodos indutivos para
levantar hipóteses e construir teorias;
c) de pesquisa crítica, que parte do pressuposto que a educação é uma instituição
social, concebida para a reprodução e transformação social e cultural. Esse é um
enfoque que tem fortes raízes marxistas ou radicais (esquerdismo, feminismo,
black power etc.)
Na avaliação do ProInfo os estudos de casos do ProInfo se enquadram na categoria
de pesquisas interpretativas (com um forte conteúdo descritivo)
O PROBLEMA CENTRAL do estudo sintetiza a dúvida ou questão principal que nos
preocupa ou que é objeto de nossa curiosidade. Identifica o ganho de conhecimento que se
pretende obter com a realização da pesquisa. No caso do ProInfo podemos caracterizar
como problema principal a busca de meios e processos para obter a melhoria da eficiência
e da qualidade do ensino, particularmente mediante a introdução de uma inovação
tecnológica (o uso da informática). O conceito de eficiência – relação entre insumos e
resultados – é conhecido mas a noção de qualidade se presta a muitas interpretações. Numa
primeira aproximação podemos definir como qualidade – no caso vertente - a progressiva
construção dos quatro pilares da educação identificados pela Unesco em seu Relatório da
Comissão Internacional da Educação para o Século XXI ,a saber21 :
•
•
•
•
aprender a conhecer (que pressupõe o aprender a aprender)
aprender a fazer
aprender a conviver (ou, como diz a Unesco, aprender a viver juntos)
aprender a ser (que integra todas as demais aprendizagens)
Como assinala o relatório referido:
“Dado que oferecerá meios, nunca antes disponíveis, para a circulação e o
armazenamento de informações e para a comunicação, o próximo [atual] século
submeterá a educação a uma dura obrigação que pode parecer, à primeira vista,
quase contraditória. A educação deve transmitir, de forma maciça e eficaz, cada vez
mais saberes, e saber-fazer evolutivos, adaptados à civilização cognitiva, pois são as
bases das competências do futuro. Simultaneamente compete-lhe encontrar e
20
Carr, W. and Kemmis, S. Becoming Critical:Education, Knowledge and Action Research, London, Falmer Press,
1986, apud Merriam, Sharan, Qualitative Research and Case Study Applications in Education, San Francisco, Jossey-Bass
Publishers. 1998, p. 4
21
Delors, Jacques, Coordenador, Educação – Um Tesouro a Descobrir, Unesco, MEC, Cortez Editora, 6ª edição, São
Paulo, 2001
11
assinalar as referências que impeçam as pessoas de ficarem submergidas nas ondas
de informações, mais ou menos efêmeras, que invadem os espaços públicos e
privados e as levem a orientar-se para projetos de desenvolvimento individuais e
coletivos. À educação cabe fornecer, de algum modo, os mapas de um mundo
complexo e constantemente agitado e, ao mesmo tempo, a bússola que permita
navegar através dele. Nesta visão prospectiva, uma resposta puramente quantitativa à
necessidade insaciável de educação já não é possível nem mesmo adequada ...”22 .
Para atingir esse objetivo de qualidade três aspectos são cruciais, na opinião de
Amagi: 1) a competência, qualificação e desempenho dos professores, 2) o nível e a
natureza dos programas e métodos de ensino e 3) a gestão da escola23. Poderíamos incluir
ainda um quarto aspecto ou elemento: 4) a infra-estrutura física e tecnológica posta à
disposição da escola.
José Libâneo propõe substituir a concepção economicista, empresarial e pragmática
da qualidade – e em particular a visão neoliberal de qualidade total que, supostamente,
pretender-se-ia transpor do chão das fábricas para o ambiente das escolas - pela noção de
qualidade social, assim entendida a educação para todos24. A educação com qualidade
social teria como atributos principais “promover, para todos [grifo no original], o domínio de
conhecimentos e o desenvolvimento de capacidades cognitivas, operativas e sociais
necessárias: ao atendimento das necessidades individuais e sociais dos alunos; à inserção
no mercado ou no mundo do trabalho e à constituição da cidadania”. O objetivo seria
sempre a “construção de uma sociedade mais justa e igualitária”, caracterizando-se a
educação por seu “alto grau de inclusividade” e pela “interrelação entre qualidade formal e
qualidade política”25.
No caso da avaliação do ProInfo a equipe de avaliação adotou uma postura menos
ambiciosa, definindo-se como educação de qualidade aquela que efetivamente propicia o
desenvolvimento de habilidades cognitivas, operativas e sociais que asseguram aos alunos a
plena realização de suas potencialidades, como indivíduos, trabalhadores e cidadãos.
Com esse objetivo, ela deve prover adequado domínio de conteúdos escolares
(conceitos, procedimentos, valores) e harmoniosa integração das varias dimensões da
cultura moderna (ciência, técnica, linguagem, estética e ética). Nesse sentido muitos
aspectos precisam ser considerados – infra-estrutura, organização, gestão, capacitação de
professores etc. - mas o eixo central da avaliação é o currículo e os processos de ensino e
aprendizagem. Como diz Libâneo, “o centro de referência dos critérios e estratégias de
qualidade é o que os estudantes aprendem, como aprendem e em que grau são capazes de
pensar e atuar com o que aprendem” [grifo no original] 26
A partir desse problema central podemos tentar identificar o OBJETIVO da pesquisa,
22
UNESCO, op. cit. p. 89
Amagi, Isao, Melhorar a Qualidade do Ensino Escolar, in Unesco, op. cit. p. 218
24
Libâneo, José Carlos, Organização e Gestão da Escola – Teoria e Prática, 4ª edição, Editora Alternativa, Goiânia,
2001, p.54.
25
Idem, ibidem, p. 54
26
Op. Cit. p. 57
23
12
que seria o de avaliar se, como e por que o ProInfo contribui ou poderia contribuir para a
consecução de uma educação de qualidade. E desse objetivo foram derivadas as duas
QUESTÕES PRIORITÁRIAS a serem respondidas pelos estudos de casos:
a) Qual o efeito ou resultado da incorporação de novas tecnologias ao processo
de ensino-aprendizado das escolas beneficiadas com o ProInfo e quais as
condições que asseguram a obtenção desses resultados ?
b) Que situações e evidências importantes foram identificadas (ou não o foram) no
“survey” de modo a suscitar questões que podem e devem ser aprofundadas no
estudo de caso ?
Obviamente essas questões suscitam muitas outras, desdobrando-se em múltiplas
abordagens e dimensões que podem tornar a pesquisa excessivamente longa, complexa e
difícil de administrar. Por isso, para ordenar o processo de investigação precisamos ter
presente a tentativa de conceptualização do modelo de avaliação do ProInfo, que foi
indicado na Figura 1, anterior.
Todos esses aspectos conceituais foram incorporados a um Protocolo dos Estudos
de Casos27, preparado para orientar o treinamento e as ações dos pesquisadores que
seriam envolvidos nesses estudos
SEGUNDA PARTE:
A EXPERIÊNCIA BRASILEIRA DE AVALIAÇÃO
Observa-se no Brasil uma grande variedade de conceitos e abordagens em relação ao
que se entende por acompanhamento e avaliação, no contexto de sua experiência de
planejamento e gestão governamental. A experiência brasileira nesse campo é ampla e
diversificada, mas ainda não está consolidada. As tentativas de avaliar programas de
governo nesse país tem-se caracterizado pela dispersão e descontinuidade e as evidências
e resultados dessas experiências raramente foram documentadas e sistematizadas.
Isso se deve em parte ao fato de que, no prática do planejamento governamental
brasileiro se, de um lado, sempre se deu muita ênfase ao processo de formulação de planos
e elaboração de projetos, de outro, freqüentemente foram negligenciadas as etapas de
acompanhamento e avaliação.
Ainda assim podem ser identificadas muitas experiências dispersas, heterogêneas e
freqüentemente descontinuadas de acompanhamento e avaliação da ação do governo, nos
mais diversos níveis da administração pública 28.
27
Protocolo e não Manual porque os especialistas no assunto entendem que os estudos de casos, por sua própria natureza,
não comportam a definição prévia de procedimentos detalhados, a exemplo de outras pesquisas experimentais ou não
experimentais. Cada caso é um caso e o pesquisador é que define o rumo e a orientação de sua investigação. Ver UnB,
Projeto de Avaliação Externa do ProInfo, Protocolo dos Estudos de Casos. Documento Técnico para Orientação dos
Pesquisadores, (1ª versão/janeiro de 2002; 2a versão: julho de 2002)
28
Ver Holanda, Nilson, IPEA/BID, Projeto de Fortalecimento da Função Avaliação na América Latina, Relatório sobre a
Experiência Brasileira e o Caso do “Brasil em Ação”, Brasília, outubro de 1999. A é apresentada uma sumária análise da
experiência brasileira, desdobrada em cinco níveis de planejamento: 1) planos nacionais; 2) planos e programas regionais;
3) programas setoriais; 4) projetos financiados por bancos de desenvolvimento e 5) planos estaduais.
13
5. Planejamento global e nacional
Desde os anos 70 buscou-se aperfeiçoar e integrar os mecanismos de planejamento,
orçamentação, monitoramento e avaliação referenciados aos
Planos Nacionais de
Desenvolvimento. Para dar uma idéia das dificuldades enfrentadas basta mencionar que até
o final dos anos 80, a programação financeira do governo federal estava dividida em quatro
orçamentos: o orçamento fiscal, o orçamento da previdência, o orçamento monetário e o
orçamento das estatais.
A nova Constituição de 1988 definiu um sistema renovado de elaboração de Planos
Plurianuais (PPA), integrado com uma programação orçamentária unificada. A Constituição
estabeleceu também a obrigatoriedade de encaminhamento ao Congresso de relatórios
sobre a execução dos planos de governo (art. 49, inciso IX) e de manutenção, de forma
integrada, pelos diferentes poderes da República, de “sistema de controle interno com a
finalidade de: “avaliar o cumprimento das metas previstas no plano plurianual e a execução
dos programas de governo e dos orçamentos da União” (art. 74).
Para viabilizar o acompanhamento, o Ministério do Planejamento estavam tentando
implantar, no final de 1998, o SIAPPA - Sistema Integrado de Acompanhamento do PPA,
conectando todos os órgãos da administração federal que fornecem as informações para o
relatório de acompanhamento
O Decreto no. 2.829, de 29 de outubro de 1998, estabeleceu normas para a
elaboração do PPA que foi preparado em 1999 para cobrir o período de 2000 a 2003. Aí
foram especificados os requisitos básicos para a definição e redefinição dos programas a
serem incluídos no PPA e as fases mais importantes do processo de planejamento.
O art.5O. do Decreto estabelece que
“será realizada avaliação anual da consecução dos objetivos estratégicos do Governo
Federal e do resultado dos Programas, para subsidiar a elaboração da lei de diretrizes
orçamentárias de cada exercício”.
O art. 6o. , por sua vez, diz que
“a avaliação física e financeira dos Programas e dos projetos e atividades que os
constituem é inerente às responsabilidades da unidade responsável (sic) e tem por
finalidade:
I – aferir o seu resultado, tendo como referência os objetivos e metas fixadas;
II – subsidiar o processo de alocação de recursos públicos, a política de gastos
públicos e a coordenação das ações do governo;
III – evitar a dispersão e o desperdício de recursos públicos”.
Especifica-se, ainda, no art. 7o. que
“para fins de gestão de qualidade, as unidades responsáveis pela execução dos
programas manterão, quando couber, sistema de avaliação do grau de satisfação da
14
sociedade quanto aos bens e serviços ofertados pelo poder público”
Posteriormente, 42 projetos do PPA foram selecionados para integrar o chamado
Brasil em Ação. O objetivo era dar a esses projetos – considerados os mais importantes e
prioritários, no contexto da nova estratégia de desenvolvimento do governo, particularmente
em termos de reforma do estado, inserção internacional e melhoria da competitividade e
desenvolvimento social - um tratamento especial em termos de acompanhamento e
gerenciamento, de modo a:
a)
orientar o processo orçamentário, sinalizando claramente as prioridades de
investimento do governo;
b)
detectar, de forma tempestiva, eventuais problemas de implementação e induzir
a adoção imediata de medidas corretivas, de modo a garantir que os projetos
selecionados serão efetivamente executados;
c) criar uma base de dados e informações para atrair investidores nacionais e
estrangeiros e facilitar a formação de parcerias entre o governo e o setor privado.
Para cada projeto foi designado um gerente que, juntamente o com seu executor,
tinha à sua disposição um poderoso instrumento de gestão, sob a forma de um sistema
informatizado de informações que torna possível:
a)
acompanhar e avaliar a execução dos projetos;
b)
atualizar e revisar o planejamento inicial;
c)
elaborar, de forma sistemática e tempestiva, relatórios atualizados sobre o
andamento dos projetos;
d)
disseminar informações e interagir com órgãos, instituições e pessoas, dentro e
fora do governo, que tenham responsabilidades específicas (um parceiro privado) ou
gerais (o Secretário de Orçamento do seu Ministério ou do Ministério do
Planejamento) em relação ao projeto;
e)
identificar caminhos críticos, pontos de estrangulamento e marcos importantes
(“milestones” 29) no processo de execução do projeto;
f)
antecipar problemas e dificuldades e adotar ou propor medidas preventivas ou
corretivas para a sua superação
O sistema informatizado, que era coordenado pelo Ministério do Orçamento e Gestão
(anterior e atual Ministério do Planejamento), permitia recuperar, trabalhar e sistematizar uma
massa de dados que, de outra forma, seria inadministrável. Um dos módulos do programa,
por exemplo, possibilitava editar a programação física, de modo a avaliar o cumprimento de
29
Termo utilizado em administração de projetos para caracterizar quando é alcançado um “marco” importante – tanto do
ponto de vista quantitativo como qualitativo – de sua execução, como seria, por exemplo, o fechamento das comportas de
uma barragem.
15
cronogramas e os progressos obtidos na execução do projeto. Outros módulos viabilizavam
a edição dos tópicos de marcos críticos, realização espacial das metas, realização global de
metas, empreendimentos complementares etc. Um correio eletrônico e um tópico de agenda
também contribuiam para economizar o tempo e aumentar a produtividade do trabalho de
gerenciamento dos projetos.
Em 2003 estava sendo elaborado o novo Plano Plurianual (PPA) para o período
2004-2007 . A proposta do governo era implementar as seguintes “estratégias de longo
prazo: inclusão social e desconcentração da renda com crescimento do produto e do
emprego; crescimento ambientalmente sustentável, redutor das disparidades regionais,
dinamizado pelo mercado de consumo de massa, por investimentos e pela elevação da
produtividade; e redução da vulnerabilidade externa por meio da expansão de atividades
competitivas que viabilizem esse crescimento sustentado. As políticas e programas que
darão substância a essa estratégia estavam sendo desdobradas em cinco dimensões:
social, econômica, regional, ambiental e democrática” 30
6. Planejamento regional
Uma área que tem sido submetida a constantes avaliações no Brasil é a relacionada
com o desenvolvimento regional, em função de um complexo e poderoso sistema de
incentivos fiscais, criado, nos anos 60, para promover o desenvolvimento das regiões mais
atrasadas do país. A partir dessas avaliações, profundas reformas foram introduzidas nesse
sistema, em 1976 e 198631. Muitos projetos de desenvolvimento regional ou sub-regional
foram também objeto de avaliações “ad hoc”32, elaboradas por institutos de pesquisa do
governo ou contratadas com Universidades e consultores independentes33.
Mais recentemente, tem aumentado de importância o trabalho desenvolvido pelo
Tribunal de Contas da União (TCU) na avaliação de determinados aspectos da política
regional, em especial no que concerne aos incentivos fiscais. Ressalte-se que se, no
passado, o trabalho do TCU estava mais relacionado estritamente com o controle formal dos
gastos públicos, nos últimos anos o Tribunal tem mostrado uma preocupação com a
eficiência do gasto público, ampliando o escopo de sua ação para incluir investigações e
estudos relacionados com a eficiência desse gasto e com a avaliação dos resultados e dos
problemas operacionais de programas do governo.
30
Ministério do Planejamento, Orçamento e Gestão, Plano Brasil de Todos, site do MPO, julho de 2002
A crise fiscal dos anos 80 levou ao progressivo esvaziamento desse sistema, culminando com a extinção da principal
agência regional – a Sudene – no primeiro ano do segundo mandato do Presidente Fernando Henrique. No dia 27 de julho
de 2003, o Presidente Lula apresentou em Fortaleza o projeto de recriação da Sudene, com uma nova estrutura.
32
Expressão latina muita usada tanto no Brasil como nos Estados Unidos. Significa “com esse fim” ou “para esse fim
específico”, como no caso de uma Comissão “ad hoc” criada para investigar ou analisar um determinado problema. No
caso a avaliação “ad hoc” corresponde àquela que não é permanente, mas realizada com um objetivo definido e, portanto,
limitada na sua duração e nos seus propósitos.
33
Como exemplos podem ser citados os trabalhos realizados pela Universidade de São Paulo/FIPE sobre os Programas de
Desenvolvimento do Centro-Oeste (POLOCENTRO), do Noroeste (POLONOROESTE), da Região Geoconômica de
Brasília (PERGEB) e do Grande Carajás. Ver Claudio Afonso Vieira, Análise do Programa de Desenvolvimento do
Noroeste do Brasil: POLONOROESTE, São Paulo, FIPE,1984 e Análise dos Impactos do Programa Grande Carajás,
São Paulo, FIPE, 1985; Cornélia Nogueira Porto, Análise dos Impactos dos Programas Especiais: POLOCENTRO, São
Paulo, FIPE, 1984 e Análise dos Impactos dos Programas Especiais: PERGEB, São Paulo, FIPE, 1984
31
16
7. Programação setorial
No campo da avaliação de políticas e programas tem sido intenso o trabalho
desenvolvido pelo IPEA, instituto de pesquisas vinculado ao Ministério do Planejamento, não
apenas em relação a questões macroeconômicas e regionais de interesse mais geral como
também no que diz respeito a políticas setoriais específicas, em áreas como agricultura,
indústria, energia, saúde, saneamento, educação, previdência, assistência social etc.
34. Esses trabalhos dizem respeito tanto a políticas ou programas em execução como a
propostas de políticas a serem implementadas, a exemplo da projetada reforma da
previdência ou de um planejado programa de renda mínima.
Os bancos de desenvolvimento nacionais ou regionais – sendo de destacar as
experiências do Banco do Nordeste do Brasil (BNB) e do Banco Nacional de
Desenvolvimento Econômico e Social (BNDES) - durante muito tempo enfatizaram
basicamente a avaliação “ante”. Em anos recentes tem procurado também avaliar resultados
“ex post”, seja por iniciativa própria, seja por indução dos exemplos dos bancos multilaterais
como o Banco Mundial (BIRD)35 e o Banco Interamericano (BID)
No âmbito dos Ministérios muitas experiências de avaliação tem sido implementadas
seja como uma rotina normal de trabalho, com o objetivo de melhorar a eficiência da gestão
pública, seja de forma tópica e isolada, visando a oferecer subsídios para o planejamento do
setor (geralmente na oportunidade de elaboração de planos plurianuais).
Em alguns setores, pela própria natureza da atividade, a avaliação é uma
preocupação constante. Este é o caso da educação, onde, por exemplo, foram estruturados
ao longo dos anos alguns importantes sistemas permanentes de avaliação como:
a) o da avaliação e classificação dos cursos universitários de pósgraduação, que vem sendo implementado há vários anos pela CAPES Fundação Coordenação de Aperfeiçoamento do Pessoal de Nível Superior;
utilizando um conjunto de critérios e indicadores a CAPES monitora
permanentemente os cursos, classificando-os com notas que vão de 1 a 5;
os cursos que tiverem nota inferior a 3 terão “canceladas as autorizações de
funcionamento e o reconhecimento dos cursos de mestrado e/ou doutorado
por ele oferecidos” 36 e, por isso, não poderão matricular novos alunos em
tais cursos, preservados os direitos dos alunos graduados ou matriculados
34
O acervo de estudos e pesquisas realizadas e publicadas pelo IPEA, ao longo dos últimos 30 anos, é extremamente vasto e
rico. À guisa de exemplos, referimos a seguir alguns trabalhos mais recentes: André Cesar Médice, Perfil da Saúde no
Brasil, abril 1997, Maria Elizabeth Barros et alii., Política de Saúde no Brasil; Diagnóstico e Perspectivas, IPEA,
fevereiro 1996; Guilherme Delgado, Previdência Rural: Relatório de Avaliação Sócioeconômica - Projeto IPEA/MPAS,
maio, 1997; Francisco Eduardo Barreto de Oliveira et alii. Reforma da Previdência, IPEA, agosto, 1997; Guilherme
Delgado, Estoques Governamentais de Alimentos e Preços Públicos (Relatório de Avaliação do Sistema), IPEA,
Dezembro, 1995; Eduardo Augusto Guimarães, A Experiência Recente da Política Industrial no Brasil: uma avaliação,
IPEA, abril, 1997. Vem também o conjunto de 8 estudos do PMSS (Projeto de Modernização do Setor de Saneamento)
publicados em 1995 pelo IPEA e Secretaria de Desenvolvimento Urbano/MPO
35
Ver Alencar Soares de FREITAS e Pedro Ribeiro SOARES (organizadores), Aspectos Ambientais de Projetos Cofinanciados pelo Banco Mundial, Lições para o Futuro, Série IPEA, no. 143, Brasília, 1994
36
MEC/CAPES, Portaria nº 013, de 01 de abril de 2002.
17
até então;
b) o da Avaliação da Educação Superior (Graduação), organizado em um
complexo sistema que é integrado pelo Exame Nacional de Cursos
(Provão), pelo Censo da Educação Superior, pela Avaliação das Condições
de Ensino e pela Avaliação Institucional. O Exame Nacional de Cursos
(ENC-Provão) é um exame aplicado aos formandos com o objetivo de
avaliar os cursos de graduação da Educação Superior, no que tange aos
resultados do processo de ensino-aprendizagem. Foi aplicado pela primeira
vez em 1996. No corrente ano (2003), deverão participar do Exame mais de
470 mil formandos de 6,5 mil cursos de 26 áreas profissionais. A Avaliação
das Condições de Ensino é feita por uma Comissão externa de Professores
que verifica, in loco, a situação dos cursos de graduação, levando em conta
três grandes dimensões: a qualificação do corpo docente, a organização
didático-pedagógica e as instalações físicas, com ênfase na biblioteca. A
avaliação institucional segue um processo muito semelhante para subsidiar
as decisões do Ministérios nos processos de credenciamento e
recredenciamento de Instituições de Educação Superior (IES)37;
c) o da avaliação do Ensino Médio, com a realização do Exame Nacional do
Ensino Médio – Enem, processo implantado em 1998 que tem por objetivo
verificar o nível de conhecimentos adquiridos pelos alunos que estão
concluindo ou que já terminaram o ensino médio.
O Exame avalia as
competências e habilidades desenvolvidas em 11 anos de escolarização
básica. Desde o seu primeiro ano de realização do Exame, diversas
Instituições de Ensino Superior vem utilizando os seus resultados como
instrumento para ingresso na Universidade, em substituição ao tradicional
“vestibular”.
Além disso o Ministério da Educação tem patrocinado frequentemente avaliações
externas “ad hoc” de alguns dos seus programas mais importantes como o da Merenda
Escolar, o da TV Escola e do ProInfo (Programa de Informatização das Escolas, ao qual
este “paper” se refere de forma mais específica.
8. Conclusão
Esses avanços ainda são insuficientes e há um consenso de que o Brasil precisa
progredir muito mais no campo da avaliação de programas e projetos sociais.
Todos concordam em que o problema do Brasil não é o de ampliar os gastos sociais,
mas o de aumentar a sua eficiência e efetividade, o que pressupõe a institucionalização de
processos de avaliação de programas e projetos.
Em 2002, os gastos sociais representaram 66,3 % do total das receitas totais do
governo central, embora esse número esteja muito influenciado pelo peso da previdência
social, que consome o equivalente a 42 % dessas receitas totais (seguidos de saúde, com
9,4 % e educação e cultura com 8 %).
37
Ver INEP/DAES – Departamento de Estatísticas e Avaliação da Educação Superior, Manual de Avaliação
Institucional, Centros Universitários, setembro de 2002
18
O total dos gastos sociais representa 16 % do PIB (só a previdência representa 10 %
desse agregado), um percentual não desprezível. Mas o seu impacto para a redução da
pobreza no Brasil tem sido negligível.
Um documento básico de definição da política econômica do atual governo,
ênfase ao fato de que
dá
“uma política social deve ser sempre avaliada por sua capacidade de reduzir a
pobreza, e não pelo volume de recursos que consome ou mesmo pelo volume de
benefícios que distribui. A efetividade de uma política social é dada pela sua
capacidade de transformar o quadro de pobreza de um país. Essa efetividade
depende de três fatores, quais sejam, seus graus de (i) eficiência, (ii) eficácia e (iii)
focalização.....para que uma política social seja efetiva em reduzir a pobreza, é
necessário (i) que os recursos disponíveis sejam eficientemente traduzidos em bens e
serviços; (ii) que estes bens e serviços sejam eficazes em transformar as condições
de vida das famílias mais pobres; e (iii) que os segmentos pobres da população
tenham total prioridade no atendimento (boa focalização)”.
E termina por reconhecer que
“a despeito da diversidade e amplitude da política social brasileira e de alguns
esforços isolados de avaliação de impacto, o País continua carente de um sistema de
avaliação dos impactos de seus programas e políticas sociais. [grifo nosso] A fim de
tornar efetiva uma política social tão diversa como a nossa, é necessário um esforço
permanente de avaliação [grifo nosso], o qual permitirá, por sua vez, a concentração
de recursos em um espectro menor de programas com maior efetividade. Em suma, o
problema fundamental a ser enfrentado para melhorar o impacto da política
governamental sobre os indicadores sociais é tornar o gasto social mais eficiente,
eficaz e focalizado. Para tanto, é necessário direcionar esforços para a sistematização
de informações e o aperfeiçoamento de sistemas de avaliação [grifo nosso] que
permitam identificar as políticas com maior potencial para reduzir a desigualdade e a
pobreza no Brasil”38.
BIBLIOGRAFIA
Brasil, MEC/INEP/DAES – Departamento de Estatísticas e Avaliação da Educação Superior,
Setembro de 2002, Manual de Avaliação Institucional, Centros Universitários,
setembro de 2002 (internet)
Brasil, Mec/Seed (julho de 1997) ProInfo, Brasília (mimeo)
Brasil, Mec/Seed/UnB, 2003, ProInfo: Perspectivas e Desafios, Relatório de Avaliação,
Brasília,
Brasil/MEC/UnB, 2002, Projeto de Avaliação Externa do ProInfo, Protocolo dos Estudos de
Casos. Documento Técnico para Orientação dos Pesquisadores, (1ª versão/janeiro de
2002; 2a versão: julho de 2002), Brasília
Brasil, Ministério da Fazenda, abril de 2003, Política Econômica e Reformas Estruturais
38
Brasil, Ministério da Fazenda, Política Econômica e Reformas Estruturais, Brasília, abril de 2003 (mimeo), p. 50-52
19
(mimeo), Brasília.
Bulmettis, John e Dutwin, Phyllis, 2000, The ABCs of Evaluation, Jossey-Bass Publishers,
San Francisco.
Carr, W. and Kemmis, S. 1986,
Becoming Critical:Education, Knowledge and Action
Research, Falmer Press, London.
Freitas, Alencar Soares de e Soares, Pedro Ribeiro (organizadores, 1994, Aspectos
Ambientais de Projetos Co-financiados pelo Banco Mundial, Lições para o Futuro,
IPEA, Série IPEA, no. 143, Brasília.
Herman, Joan L., Morris, Lynn Lyons, Fitz-Gibbon, Carol Taylor, 1987, Evaluator´s
Handbook, Sage Publications, Newbury Park, CA.
Holanda, Nilson, set/2001, Um Modelo de Avaliação para o ProInfo, UnB, Brasília
mimeo); 2002, Monitoramento e Avaliação: Conceitos Básicos (mimeo), UnB,
Brasília, 2003, Planejamento e Avaliação, UnB, Brasília (mimeo); outubro de 1999,
IPEA/BID, Projeto de Fortalecimento da Função Avaliação na América Latina, Relatório
sobre a Experiência Brasileira e o Caso do “Brasil em Ação” (mimeo) , Brasília
Imagi, Isao, 2001, Melhorar a Qualidade do Ensino Escolar, in Delors, Jacques,
Coordenador, Educação – Um Tesouro a Descobrir, Unesco/MEC, Cortez Editora, 6ª
edição, São Paulo,
Jóia, Luiz Antonio, 2001 “Uso do capital intelectual para avaliação de projetos de tecnologia
educacional: o caso ProInfo”, in Revista de Administração Pública, Rio de Janeiro,
março-abril,/dezembro de 2001
Libâneo, José Carlos, 2001, Organização e Gestão da Escola – Teoria e Prática, 4ª
edição, Editora Alternativa, Goiânia.
Merriam, Sharan, 1998, Qualitative Research and Case Study Applications in Education,
Jossey-Bass Publishers, San Francisco,
Patton, Michael 1986, Utilization Focused Evaluation, Sage Publications, Newbbury Park,
CA.
Rossi, Peter, Freeman, Howard e Lipsey, Mark, 1999, Evaluation: a systematic approach,
6ª ed. Sage Publications, Thousand Oaks, California,
Rusten, Eric , Learnlink, AED – Academy for Educational Development, Computers in
School,
Unesco/Mec, 2001, Educação – Um Tesouro a Descobrir, Cortez Editora, 6ª edição, São
Paulo,
Viegas, Waldyr, 2001 Estudo de Caso, Plano Logístico de Execução (mimeo), Brasília.
Weiss, Carol, 1998, Evaluation, 2nd. edition, Prentice-Hall, New Jersey.
Worthen, Blaine R., Sanders, James R., Fitzpatrick, Jody L., 1997, Program Evaluation,
Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New
York,.
Wren, Daniel A ., 1979, The Evolution of Management Thought, 2nd edition, John Wiley
and Sons, New York,
Venezky, Richard L. e Davis, Cassandra, March,. 2002,
Quo Vademus ? The
Transformation of Schooling in a Networked World. OECD/CERI
YIN, Robert R, 1994, Case Study Research – Designs and Methods, 2nd. Edition, Sage
Publications, Thousand Oaks
20
RESENHA BIOGRÁFICA
Antonio NILSON Craveiro HOLANDA
Residência e Escritório: QL 14, Conjunto 6, Casa 17, Lago Sul
Brasília, DF CEP 71640-065
Fones: (55 61) 248.33.73 e 248.64.30
Fax: (55 61) 248.24.63
E mail: [email protected]
Nilson Holanda é graduado como Bacharel em Ciências Jurídicas e Sociais pela
Universidade Federal do Ceará (1957) e possui os títulos de Master of Arts (Economia) pela
Stanford University (1961) e Master of Public Administration pela Harvard University (1969).
Foi professor de Economia da Universidade Federal do Ceará e desde 1987 é professor da
Universidade de Brasília (federal). Antes de dedicar-se em tempo integral ao ensino
universitário, teve uma longa carreira profissional como especialista em projetos e executivo
do Banco do Nordeste do Brasil; Superintendente, Diretor Executivo e Presidente do IPEA –
Instituto de Pesquisa Econômica Aplicada do Ministério do Planejamento; Presidente do
Banco do Nordeste do Brasil; fundador e primeiro Diretor Geral da Escola Nacional de
Administração Pública, Diretor Nacional do Projeto Integrado de Desenvolvimento da Bacia
do Araguaia-Tocantins (PRODIAT), projeto de cooperação técnica entre o Governo brasileiro
e a OEA e Secretário Adjunto da Secretaria Especial de Políticas Regionais do Ministério do
Planejamento. Exerceu também múltiplas atividades de consultor para instituições públicas
brasileiras, organismos internacionais e empresas privadas. Entre outros, tem os seguintes
livros publicados: 1987, Planejamento e Projetos, 13a. edição, Imprensa Universitária do
Ceará, Fortaleza (edições anteriores patrocinadas pelo Instituto Nacional do Livro, Brasília, e
APEC Editora, Rio de Janeiro) (Esgotado); 2003, Introdução à Economia, 8a. edição ,
Editora Vozes, Rio de Janeiro.
LISTA DE FIGURAS
FIGURA 1: PROINFO: TEORIA SUBJACENTE E INDICAÇÕES PARA AVALIAÇÃO
FIGURA 2 :EFEITOS E IMPACTOS DO PROINFO
FIGURA 3: ETAPAS PARA DEFINIÇÃO DOS OBJETIVOS DOS ESTUDOS DE CASOS
21

Avaliação de políticas públicas: conceitos básicos: o caso do ProInfo

Transcrição

Documentos relacionados

Escolas de governo e escolas de serviço público: FESP/RJ e

Programa de qualidade do governo federal aplicado à saúde

A gestão do desenvolvimento social

Perfil contemporâneo da capacidade de gestão dos

O desafio de formar gestores públicos sociais no estado da Bahia

O gerencialismo e a ética do bem comum: a questão da motivação

Uma nova gestão na educação brasileira: as mudanças reais

Carlos Alberto Rechelo Neto – Director de Gestión de Riesgos

Novas aquisições09maio2016

O Laboratório de Novas Tecnologias de Ensino (LANTE) do Instituto