Apresentação - Instituto Fonte

Tendências da Avaliação
de Programas e Projetos Sociais no Brasil
Daniel Brandão
Martina Rillo Otero
Projeto Avaliação
São Paulo, 19 de novembro de 2009
O desafio de ler tendências: onde olhar?
• Pesquisa IBOPE sobre OSCs e Avaliação (2009);
• Pesquisa TNS InterScience sobre Investimento Social Privado e
Avaliação (2008);
• Mapeamento da Produção Acadêmica sobre Avaliação (no prelo);
• 23a. Conferência da American Evaluation Association * 2009;
• Debates do Projeto Avaliação (2008 – 2009)
• Trabalho cotidiano no Instituto Fonte.
Realização de avaliações
Empresas - ISP
Organizações da Sociedade Civil
Sim
75%
Sim
9
91
Não
Não
25%
Pesquisa TNS InterScience
Pesquisa IBOPE
[184 empresas que realizaram ISP em 2006 – 2007]
[363 OSCs: realização de avaliação nos últimos 5 anos]
Crescimento na demanda / realização de avaliações no Brasil.
O que dizem os desafios?
Sem info
12,50
Outras
Ter conhecimentos sobre avaliação
Custos
15,97
2,08
3,47
6,94
Profissionais para atuar no campo
Desenvolvimento de processos participativos
10,42
Questões relacionadas ao desenvolvimento dos projetos
13,19
17,36
Definiçào indicadores
Desenvolver metodologias e ferramentas
0,00
21,53
5,00
Pesquisa TNS InterScience, 2008
10,00
15,00
20,00
25,00
O que dizem os desafios?
48
Construir indicadores
40
Envolver os públicos do projeto na avaliação
36
Desenvolver instrumentos
33
Coletar informações
31
Analisar os resultados
Captar recursos para a avaliação
27
Encontrar profissional qualificado
24
Tomar decisões orientadas pela avaliação
23
13
Comunicar os resultados
Nenhuma
2
Pesquisa IBOPE, 2009
O que tende a acontecer
• Pressão / necessidade pela qualificação técnica de avaliações;
• Pressão / necessidade de trabalhar com modelos participativos
(questão perene);
• Abordagem orientada por objetivos tende a perder força;
• Outras formas de entender a avaliação terão espaço para surgir
(participativa, econômica, etc.).
O sentido da avaliação
Avaliação como
ferramenta de
auto-promoção
33%
Avaliação como
ferramenta
estratégica
Avaliação como
desperdício de
tempo/ recursos
Avaliação como
obrigação formal
e burocrática
26%
23%
18%
DESAFIOS:
Pesquisa IBOPE, 2009
Construir sentido
Fortalecer a utilidade
Papel do avaliador
Tendências:
Avaliadorsolucionador
57%
• Tem profundo
conhecimento sobre o tema
do projeto
• Emite julgamentos sobre o
projeto.
• Garante a comunicação dos
resultados.
• Conhece método científico.
• Dá respostas
• Foco no resultado
Pesquisa IBOPE, 2009
Avaliadoreducador /
facilitador
43%
• Envolve as pessoas na
discussão da avaliação
• Constrói instrumentos para
levantar informações
• Descreve como
determinados elementos do
projeto causam geram seus
resultados.
• Gera espaços de reflexão e
aprendizagem
• Foco no processo
Ref: Guba e Lincoln, 1989
•Ampliar a compreensão dos multiplos
papéis que um avaliador pode exercer;
•Deve conhecer técnicas de pesquisa.
•Indicação de que existe desejo /
motivação para aprendizagem na
avaliação.
•Ganha força o avaliador – facilitador.
A questão da causalidade
• Banco Mundial
• 3IE (www.3ieimpact.org)
• Fundação Itaú Social: avaliação econômica
Contrafactual
Modelos experimentais
Causalidade: Qual seria a situação da população se o projeto não tivesse existido?
Questões éticas, técnicas, financeiras e de tempo.
Tendência:
Acirramento da busca / debate sobre alternativas a este modelo - busca
por outras formas de observar a causalidade.
[[email protected]]
Relação com universidade
•Produção acadêmcia
sobre avaliação
acompanha curva de
produção acadêmica
geral no Brasil.
70
Debate conceitual, metodológico ou político sobre avaliação
Avaliação de programa ou projeto do 3º setor
60
Avaliação de programa social público
Gestão do 3º setor
50
Questão política e 3o setor
•Universidade parece
responder ao que
acontece na
sociedade - não dita
tendência.
Responsabilidade social
40
Capital Social
Avaliação Econômica
30
20
10
0
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
•Foco dos estudos
são prioritariamente
avaliações de um
projeto.
•Espaço / lacuna para
estudos com foco na
avaliação em si.
Campo econômico
Valores investidos em avaliação por empresas:
2006
2007
Média
> R$ 50.000
48.554,00
17%
52.154,00
14%
R$ 50.001 - 100.000
14%
11%
Não sabe
69%
75%
•
Tendência a seguirmos
com dificuldade em
entender a dimensão
econômica das avaliações.
Pesquisa TNS InterScience, 2008
Utilizamos os recursos internos
da organização
43
•
O recurso para avaliação estava
incluído no orçamento do projeto
34
Não houve custos para as
atividades de avaliação
22
Recebemos doações específicas
para a avaliação
Recursos Municipais e Federais
5
1
Tendência a
capitalização do setor
/ área de avaliação.
Avaliação externa
• 22% das avaliações contam com avaliador externo (IBOPE, 2009).
• Potencial de crescimento econômico do setor.
• Crescimento da demanda.
• Necessidade de qualificação técnica.
Tendência / espaço para crescimento da avaliação externa
Algumas ponderações…
•
Advogar e qualificar.
•
Necessidade de investirmos na formação em avaliação;
•
Necessidade de pesquisarmos sobre avaliação (produção de
conhecimento);
•
Conexão com movimentos internacionais;
•
Ampliar a articulação dos interessados em avaliação;
•
Aproximação com área da saúde (certa tradição na produção de
conhecimento sobre avaliação);
•
Observar os movimentos dos projetos sociais para conhecer campos de
atenção da avaliação.
Projeto Avaliação
[email protected]