Paulo Jannuzzi jun 2012

“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
Parte 1 – Paulo Jannuzzi
Paulo Jannuzzi - Boa tarde a todos e todas, agradeço o convite
do CENPEC, Instituto Fonte e Fundação Itaú social para estar
fazendo essa apresentação aqui para vocês. Interessa muito
ao Ministério do Desenvolvimento Social temáticas como
esta e que organizações sociais estejam cada vez mais
interessadas e preocupadas em desenvolver atividades de
monitoramento e avaliação, na medida em que esses são
instrumentos, recursos básicos para o aprimoramento da
gestão de programas e projetos sociais, sejam eles
realizados com recursos das próprias instituições privadas,
sejam eles realizados com recursos públicos, como é o caso
de muitas ONG que, em parceria com o Ministério do
Desenvolvimento Social, prestam serviços de diferentes
naturezas na área sócio-assistencial pelo Brasil todo, nos
5.560
municípios
brasileiros.
A partir das conversas que eu tive com a Martina, eu resolvi
tratar um pouco de questões que ajudam a responder
àquelas quatro grandes perguntas com as quais ela está
tentando dirigir o debate. Então, acho que o produto final vai
nos ajudar... O produto da minha apresentação, mais a
apresentação da Maria Alice e do Eduardo, também vão nos
ajudar a fazer essa síntese que a gente precisa e
naturalmente vai estimulá-los a continuar investigando
porque são questões que, para ser respondidas, cada um
tem que fazer um grande esforço na sua organização.
Antes de fazer a minha apresentação vou tomar 4 minutos
de vocês, absolutamente cravados. Eu quero até ver
exatamente se vai ser isso. Eu não posso deixar de falar
para vocês sobre um episódio recente muito desagradável
para todos nós, técnicos da SAGI, e vários outros técnicos de
governo. Saiu uma matéria no “O Globo” do último domingo,
página 3, falando sobre avaliações secretas de políticas
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
públicas. Infelizmente, isso foi mais uma reportagem, que dá
uma boa manchete, mas ela é absolutamente inverídica,
injusta, inconsciente. Inoportuna, inclusive, porque a gente
tem que dar um salto de qualidade no Brasil no sentido de
tratar as instituições públicas com a respeitabilidade que elas
de fato merecem quando fazem esforços sistemáticos para
fazer com que as boas práticas sejam disseminadas. Essa
reportagem é inverídica porque nós... A reportagem fala
sobre avaliação secreta citando um caso específico de uma
avaliação de impacto do Bolsa Família realizado em 2009,
que até hoje não teria resultados. Na verdade, teve os
primeiros resultados em 2010 e deste então estamos
exigindo, até fevereiro, da empresa contratada, uma
multinacional do campo da consultoria e pesquisas, que nos
entregasse uma base de dados absolutamente consistente,
como a gente faz em qualquer tipo de contrato nosso. Então,
o jornalista deveria ter o respeito de dizer que os resultados
não saíram porque de fato a gente zela pelo bem público e
quer dados consistentes. Não importa quem faça a pesquisa,
não é porque a instituição tem um renome que
necessariamente o produto é efetivamente de boa qualidade.
Eu acho que vocês que encomendam pesquisas sabem muito
bem o que eu estou falando, seja pessoa física, seja pessoa
jurídica. Se a gente não tiver competência nas nossas
instituições para avaliar o produto que nos é entregue,
muitas vezes, a gente compra gato por lebre. Vocês sabem
exatamente o que eu estou falando. Então, efetivamente a
pesquisa atrasou por conta disso, pelo nosso rigor técnico na
avaliação. E existe uma outra inverdade, que é o fato de que
nós absolutamente não escondemos os resultados de
pesquisas. Muito pelo contrário, não existe universidade ou
grupo de pesquisa que tenha a transparência que a
secretaria de avaliação e gestão da informação tem nesses
8, 9 anos de vida, porque todos os nossos dados de
pesquisas de campo, as pesquisas quantitativas, são
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
disponibilizados naquele ícone “pesquisas de avaliação”. Até
destacamos,
ele
estava
junto
com
outro
ícone.
Nesse ícone “pesquisa de avaliação”, entrando lá vocês vão
ver que existe o sumário executivo da pesquisa e, nos casos
que compete, a base de dados ou o dicionário de dados que
o pesquisador pode baixar e fazer qualquer estudo a respeito
daquela
temática
que
nós
investigamos.
Nós temos plena certeza de que essas pesquisas têm muito
mais a oferecer do que efetivamente a gente consegue
explorar, certo? E de fato nós fizemos uma nota no jornal,
que é absolutamente desproporcional, porque fomos para a
página de leitores, no último dia 31. Portanto, peço
desculpas, Martina, de estar usando o espaço da minha
palestra, mas nós precisamos, inclusive meus diretores estão
orientados a fazer isso durante os próximos três meses para
minimizar o impacto negativo e reconhecido como negativo
por vários de nossos parceiros que tem enviado mensagens
de solidariedade e reconhecimento ao trabalho que a gente
faz.
Além disso, talvez muitos de vocês saibam, nós já
disponibilizamos as nossas pesquisas do consórcio de
informações sociais da ANPOCS, há quase 5 anos, portanto,
o MDS tem uma prática de disponibilização das suas
avaliações para muito além do que normalmente se faz. A
gente acredita que em primeiro lugar não existe uma, duas,
três pesquisas absolutamente seminais, que consigam
responder a todas as nossas demandas e nem que
necessariamente produzam conhecimento, a revelação, a
verdade absoluta. A gente que trabalha nesse campo sabe
que a gente precisa se valer de um conjunto amplo de
pesquisas, de técnicas, de agentes entrevistados, ou seja,
temos que nos valer de triangulação de estudos,
triangulação de agentes, triangulação de abordagens mais
quadradinhas, mais redondinhas, mais exploratórias e
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
qualitativas porque o nosso objeto, a realidade social na
educação, na pobreza, na violência, em todas as temáticas é
tão complexo ou muito mais complexo do que os objetos de
pesquisa acadêmica que são recortados de tal forma a
garantir muito mais a consistência do método do que a
substância dos resultados que efetivamente ele aborda. É
por isso que a gente de fato disponibiliza os dados e fazemos
o convite para que vocês entrem na nossa página. Procurem
explorar dados que a gente já tem e vejam se de alguma
forma já não respondem a algumas das inquietações que
vocês têm. Nós já temos um conjunto de mais de 130
pesquisas. Na verdade, dessas mais de 130 pesquisas, uma
quantidade muito grande são estudos qualitativos ou de
revisão bibliográfica, mas nós temos um conjunto de pelo
menos 30 pesquisas de campo. Algumas delas ainda não
estão disponíveis, as mais antigas, por conta do esforço que
temos que fazer nesse sentido. A avaliação de impacto do
Bolsa
Família
número
2
estará
disponível
muito
provavelmente no mês de junho por conta do esforço que
estamos fazendo na equipe de conseguir colocar essa base
de dados para que outros pesquisadores façam estudos
sobre esse programa importante. É um programa que se
estruturou em tempo bastante exíguo, se a gente pensar em
outras experiências de implementação de políticas públicas,
mas que, obviamente, precisa de aprimoramento. É por isso
que
a
gente
continua
fazendo
pesquisa.
Dito isso, vamos passar para o próximo. Eu queria começar
com uma pergunta que acho que é motivadora, Martina,
embora a temática fosse mais específica, achei que devia
tratar dessa temática ainda que eu pudesse estar replicando
alguma outra discussão que vocês já fizeram. É importante
que a gente reconheça que em alguns meios públicos, e
talvez no meio privado, existe um certo desencanto com a
avaliação. Existe um texto da Teresa Cota, uma gestora lá
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
em Brasília, um texto de 20 anos atrás, que em alguma
medida tem a sua aplicação em alguns contextos. Eu trouxe
exatamente por causa disso. Ela diz que as metodologias de
avaliação tem sido objeto de severas críticas, basicamente
afirma-se que na prática das avaliações não subsidiam o
processo decisório porque seus resultados são inconclusivos,
inoportunos e irrelevantes. Inconclusivos em função das
limitações desse tipo de estudo, talvez as pessoas tenham
expectativa demais do que uma pesquisa pode aportar.
Inoportunos porque boa parte dos estudos acaba atrasando
muito mais do que a gente poderia. As pesquisas às vezes
são definidas de tal forma, para investigar questões tão
complexas, que não respondem a demandas de informações
mais específicas. Irrelevantes porque a bem da verdade
muitas das pesquisas que se produzem, conduzidas, muitas
vezes, por avaliadores externos sem muita interação com o
demandante da pesquisa, seja ele público ou uma ONG,
invariavelmente produz resultados irrelevantes. Aí eu posso
dizer para vocês com muita tranquilidade, porque sou
professor universitário e sei que boa parte da nossa
comunidade desconhece efetivamente a realidade dos
programas e projetos sociais, com a sua complexidade, que
operam na ponta, produzindo trabalhos que podem até ter
circulação no meio acadêmico, mas repetem de alguma
forma muito do que os gestores na ponta efetivamente têm.
A constatação 2 desse desencanto é que, de vez em quando,
uma avaliação mal concebida ou mal executada produz
informações que no melhor dos casos seriam enganosas e no
pior absolutamente falsas. Como geralmente essas
avaliações têm respeitabilidade, elas não costumam ser
questionadas e o pior é que o resultado e decisões
importantes sobre programas e serviços baseiam-se em
informações falaciosas. Esse é o grande problema, gente. A
gente quando encomenda a pesquisa, a gente tem que ter
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
uma equipe técnica muito competente para fazer a avaliação
dos resultados dessa pesquisa, não é porque foi feito pela
instituição A, B ou C, que necessariamente – e com todo
respeito eu digo a essas instituições e aos professores, aos
coordenadores que a fazem - os resultados tenham que ser
absorvidos na sua plenitude. Tem que ser discutido. Por isso
que as pesquisas de avaliação que efetivamente produzem
resultados relevantes têm que ser muito dialogadas em todo
processo. A secretaria de avaliação quando encomenda uma
pesquisa, ela passa quase 3 ou 4 meses discutindo o termo
de referência junto com a secretaria do Bolsa Família,
secretaria de assistência social, secretaria de segurança
alimentar ou secretaria extraordinária para a superação da
extrema pobreza, para definir muito bem o objeto. Se a
gente não define o objeto muito específico, de novo a gente
tem um resultado muito geral que não se aplica às nossas
necessidades. Nós fazemos o questionário, nós desenhamos
a amostra. O que a gente contrata efetivamente na pesquisa
de campo é coleta de dados. Em alguns casos até análise,
ainda que estejamos chegando à conclusão de que pela
modalidade com que temos que contratar (pregões), os
pregões acabam fazendo com que a gente consiga
instituições boas de campo, mas ruins de análise. Então, isso
é mais uma das questões que estão no campo e poderíamos
discutir o mercado de avaliação, mas a gente deixa para
tratar
disso
depois.
A terceira constatação sobre o desencanto com as pesquisas
de avaliação tem a ver com esse autoengano de que nós
vamos ter a informação completa, vamos conseguir, através
da pesquisa, responder a todas as nossas inquietudes, às
nossas perguntas e dar conta do recado com uma pesquisa
só. Realmente a gente tem que fazer da pesquisa uma
prática sistemática ao plano de monitoramento de avaliação,
mais ou menos contido, sobretudo num sistema de
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
monitoramento que nos alimente sobre quais são as
avaliações que temos que fazer em determinados momentos
de um determinado projeto. Não pode ser um espasmo
avaliativo “– Vou fazer avaliação disso porque o meu
patrocinador exige esse tipo de recurso” e tal. Ela tem que
ser de fato alguma coisa que seja encarada como uma
prática mesmo do processo de gestão, não alguma coisa
separada. Avaliação é alguma coisa que incomoda, incomoda
a jornalistas, tanto que alguns jornais não tem ombudsman,
a quem a gente poderia recorrer numa situação como esta.
As universidades, os professores, também se sentem
incomodados. Qualquer trabalhador se sente incomodado. O
gerente de programa também se sente incomodado com a
avaliação. Então, se a avaliação passar a ser incorporada
respeitosamente, que uma avaliação que seja feita de forma
respeitosa, considerando que o usuário dessa informação,
sobretudo em projetos e programas sociais, é o próprio
gestor do programa e ele participa do processo, a gente vai
ganhar um defensor do processo e alguém que efetivamente
vai levar em conta os resultados da pesquisa e aqueles
resultados que são factíveis de implicarem em mudanças,
vão
ser
de
fato
implementados.
Existe uma certa mistificação de que tudo que a gente
consegue identificar como um problema nos programas e
projetos podem ser equacionados como num estralar de
dedos. A gente sabe que no caso brasileiro em que nós
temos um conjunto bastante grande de programas sociais,
nós ampliamos desde a constituição de 88 para cá o nosso
portfólio de programas sociais, a escala dos nossos
programas sociais, consolidando direitos sociais da nossa
constituição. Hoje estamos batendo quase 25% do pib, do
produto interno bruto em políticas sociais das mais variadas,
habitação, Bolsa Família, educação, saúde, aposentadoria,
etc. Estamos saindo de um padrão de 18%, que é o padrão
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
de países de renda média, rumo aos 33% ou mais que é o
padrão de países mais desenvolvidos como Europa. A
sociedade brasileira certamente está exigindo muito mais
qualidade do gasto, muito mais eficiência do gasto para de
alguma forma abrir mão do seu salário e aportar mais
recursos de imposto, porque não há mágica nesse processo
de alocação de recursos em rubricas sociais se a arrecadação
não aumentar. Mas para que esse processo possa acontecer
a gente tem que investir muito na avaliação e não pensar
que uma avaliação feita por uma instituição, por mais
reputada que ela seja, vai dar conta de todas nossas
demandas
de
informação.
Existe uma série de fatores que contribuem para esse
desencanto, vou passar muito rapidamente por alguns deles,
mas acho que isso é importante. Quando a gente vai tratar
de indicadores – e eu ainda vou tratar de indicadores aqui,
não respondendo todas as perguntas, porque cada uma
delas seria uma palestra diferente - a gente tem que
reconhecer que produzir indicadores para muitos dos
problemas sociais, para muitas das intervenções sociais que
são desenhadas, é uma coisa bastante complexa. A
complexidade do objeto com que lidamos na área social
requer complexidade na forma de avaliá-la. Não existe um
método padrão ouro que possa responder. Daí a questão
toda
da
triangulação.
Determinados
problemas,
determinadas questões, são bastante específicas e
comportam
um
método
muito
estruturado:
um
levantamento, uma pesquisa amostral, até mesmo um
desenho quase experimental, como é o caso da avaliação do
Bolsa Família – porque ele é um programa social
padronizado de Norte a Sul do Brasil, tem uma variávelresposta, que são os impactos que se espera do programa
em termos de educação e saúde - então, nesse caso, existe
até uma facilidade de compreensão do que se espera do
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
programa. Outros programas têm impactos muito mais
difíceis de serem quantificados ou mesmo especificados. E
naturalmente é um programa que não é um serviço. Essa é
uma outra complexidade: quanto mais intangível é a nossa
entrega, o serviço, mais complexa é a variável, sobretudo
através
de
indicadores
quantitativos.
Essa é uma outra questão que a gente tem que ajudar a
desmistificar. A gente fica em busca dos indicadores quando,
muitas vezes, talvez eles não existam. Talvez a gente esteja
insistindo em uma coisa que não é a melhor abordagem para
realmente dar conta da complexidade do nosso objeto ou da
nossa intervenção. Uma outra questão que torna um pouco
difícil a computação de indicadores é que atuamos sobre
públicos alvos bastante distintos. A menos que nossos
projetos sejam também bastante específicos, talvez
consigamos ter alguns indicadores que de fato sejam
específicos e sensíveis para a nossa realidade de
intervenção. Outra coisa importante do ponto de vista dos
programas que a gente precisa reconhecer é que eles são
muito recentes, os nossos programas. Boa parte desse
volume - nós chegamos a 25% do PIB em gasto social hoje,
mas partindo de uma base, há 30 anos atrás, de 13%.
Portanto, nós temos programas que tem um tempo de
maturação médio de 15 anos. Programas complexos nesse
Brasil de Norte a Sul, realidades completamente distintas,
sendo operadas por estruturas colaborativas e federativas e
entregando na grande maioria das situações serviços de
saúde, educação, desenvolvimento social, de assistência
social, onde a padronização é muito mais difícil. Não é uma
pílula que você distribui para todo mundo, não é uma
transferência monetária que você transfere para todo
mundo. Ainda que para fazer com que a transferência
orçamentária chegue nas pessoas que de fato precisam, é
toda
uma
operação
complexa.
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
Um outro aspecto importante é o tecnotratismo ingênuo. A
gente superestima a nossa capacidade de planejamento.
Existe um pouco uma receita dos manuais de avaliação de
programas, muito propalada, sobretudo as das agências
multilaterais, de que todo programa quando é lançado já tem
que ter especificado seu sistema de monitoramento e
avaliação. No mundo acadêmico talvez. No mundo real não é
assim que se opera, por duas razoes: todo esforço que a
gente tem no início, de vivenciar muito concretamente esse
ano de Plano Brasil sem Miséria, todo nosso esforço é no
sentido de diagnóstico e avaliação de experiências
anteriores. Esse é o esforço: desenhar, fazer o diagnóstico,
fazer o desenho do problema, quais são as melhores
estratégias para combater tal e tal problema. O combate à
fome a gente vai fazer através de melhorar a merenda
escolar, vamos transferir recursos via Bolsa Família, vamos
ampliar o número de creches com alimentação, enfim,
existem N alternativas que precisam ser pensadas. Então, é
muito difícil que no início você consiga pensar inclusive no
seu sistema de monitoramento e avaliação. Se o diagnóstico
for muito bem feito você já tem alinhavado uma série de
dimensões bastante importantes de monitoramento e
avaliação. Então, isso é um aspecto importante. A gente tem
que reconhecer que tão logo o programa entre em operação,
a gente precisa de fato começar a estruturar os nossos
sistemas, reconhecendo também que muitas das adaptações
vão se dando ao longo do processo. Naturalmente que um
bom projeto tem que ter aquelas atividades críticas muito
bem definidas, mas tem ajustes que são feitos que, às
vezes, provocam até redesenho dos programas. Então, esse
é
um
outro
aspecto
importante.
Um grande problema é que a gente acredita na elevada
“programabilidade” de programas sociais. Vou citar um caso
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
concreto, o Bolsa Família, ele é muito programável. Então,
ele teve o sucesso que teve também porque as rotinas, as
operações eram bastante programáveis para fazer com que o
dinheiro chegasse lá na ponta. Para fazer uma outra
comparação dentro do MDS: os serviços sócio-assistencias, o
serviço de Proteção Integral à Família - PAIF, os serviços de
acolhimento de população de rua, os serviços de combate à
exploração sexual de adolescentes, são programas que têm
protocolos, mas não tem atividades tão padronizadas quanto
outras
atividades,
outros
programas.
Outra coisa importante que revela esse nosso tecnotratismo
ingênuo não só em Brasília, em outros contextos também, é
o planejamento top/down, de não incorporar quem está lá na
ponta. Esse é um outro dado que a gente tem se preocupado
muito, além de gestores e técnicos mais como expectadores
do que como protagonistas, essa crença desmesurada de
que a avaliação externa é tecnicamente e legitimamente
melhor do que a avaliação interna. A minha avaliação tem
que ter uma interação entre os dois, tem espaços específicos
para um e para o outro, mas boa parte é avaliação mista
com gente externa, especialista externo, apoio externo, mas
com gente interna que vai realmente produzir resultados
mais efetivos. E mais do que isso, é garantir a aplicação dos
resultados. Não adianta você fazer um estudo maravilhoso lá
fora se quem está lá dentro não participa do processo. A
chance de incorporação e de sugestões cai rapidamente.
Limitações dos desenhos das pesquisas de avaliação: esse é
um outro aspecto. A gente tem que discutir muito, é muito
importante ter livros como esse que vocês lançaram - vou
querer depois um, se eu puder. A gente precisa mesmo
disseminar as boas práticas, as diferentes metodologias de
pesquisa de avaliação, discutir muito as questões das
amostras, as vantagens de grandes e pequenas amostras, de
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
estudo de casos, de estudos qualitativos, de estudos
quantitativos. Eu acho que a gente tem que desmistificar
essa questão da necessidade de ter estudos que contemplem
todo nosso público alvo, todos os contextos. Você leu meu
currículo lá e você disse que eu sou matemático - e sou
mesmo. Comecei em economia e acabei na matemática,
tanto que gostei de matemática, de cálculo integral e
diferencial. Naquela época eu imaginava que se o cálculo
integral diferencial era tão fantástico que conseguia
responder perguntas tipo “qual deveria ser a superfície de
uma latinha de azeitona para gastar menos material, menos
metal para ficar mais barato”, se o cálculo integral respondia
questões tão básicas como essa, eu achei que respondia a
questões mais relevantes [risos]. Depois, ao final do curso,
eu quase que saio do curso, mas insisti e depois voltei para a
minha vocação original. Isso só para chamar a atenção de
vocês que existe muita discussão metodológica que não está
registrada nos manuais, porque os manuais são escritos por
gente muito boa, mas a gente tem que dar prescrições muito
gerais, por isso é importante que vocês escrevam as
experiências. A revista que a Martina mostrou é uma
iniciativa da rede brasileira e da SAGI, e da SAE, Secretaria
de Assuntos Estratégicos, exatamente para isso: para abrir o
campo ao técnico, ao profissional que trabalha com isso, ter
espaço para disseminação de boas práticas. Muitas vezes, a
gente tem muita dificuldade de fazer com que os artigos que
a gente produza de pesquisas no nosso campo acabam
veiculados numa revista acadêmica ou a gente também não
quer porque não é com o meio acadêmico que a gente quer.
A gente quer é trocar figurinhas com o nosso próprio público.
Por isso a gente realmente precisa investir em livros,
publicações
e
eventos
como
este
para
isso.
Já estou chegando no ponto específico da minha metade final
da apresentação que é exatamente a discussão sobre o baixo
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
uso das estatísticas oficiais. Em que pese a grande
disponibilidade de dados, nós usamos pouco a informação
para os nossos sistemas de monitoramento. A gente talvez
deposite muita expectativa em cima das pesquisas de
avaliação, quando na verdade, do ponto de vista dos
programas públicos, a gente tem muita informação
disponível para fazer avaliação interessante. No caso de
projetos sociais talvez a realidade seja um pouco diferente,
embora eu ache que a gente tem que aproveitar melhor os
nossos registros de programas, os nossos registros de
matrícula, de acompanhamento de alunos, articulá-los numa
certa lógica que dispensaria algumas avaliações, ou melhor,
ajudaria a especificar melhor alguns tipos de avaliação.
Por fim, outro fator desse desencanto é a nossa cultura de
monitoramento e avaliação, assim como nosso sistema de
proteção social, muito novo: 15 anos, 20 anos. Se a gente
comparar o conjunto de programas mais antigos da
educação e saúde, com os nossos programas da área de
assistência, desenvolvimento social e habitação, a gente tem
coisas que são recentes. Então, a cultura mesmo de gestão
de programas ainda é muito incipiente no Brasil. Nós
estamos talvez 30 anos defasados em relação uma série de
outros países, onde a estruturação do seu sistema já é muito
antigo. E também acho que em boa parte dos nossos
currículos nas nossas universidades a gente aprende a fazer
talvez análise de macro políticas, análise de conjuntura. Eu
digo isso porque é um pouco a nossa prática na Escola
Nacional de Ciências Estatísticas do IBGE, lá no Rio de
Janeiro. A gente tem um mestrado em pesquisas sociais e de
fato as nossas dissertações dialogam com questões muito
mais gerais do que aquelas mais específicas que nós
precisaríamos estar investigando para alimentar melhor os
gestores. Sobretudo com uma perspectiva maior de
interdisciplinaridade. Não existe também nenhuma disciplina
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
acadêmica que tenha a prerrogativa, que tenha a
legitimidade, que tenha a preferência ou a capacidade de
entender a complexidade dos nossos problemas. Os nossos
problemas são complexos. É como eu dizia, a capacidade de
avaliá-los também tem que ser complexa, interdisciplinar,
pra
dar conta
de toda
a
problemática tratada.
Como superar esse desencanto? Acho que a gente tenta
sempre superar esse desencanto na medida em que a gente
começar a produzir e organizar informações ajustadas às
necessidades do programa ou do projeto no estágio que ele
se encontra no ciclo de políticas, programas e projetos. Esse
ciclo aqui de políticas e projetos é, como todo modelo, uma
simplificação da realidade. A realidade de ciclo de vida de
gestão programas é muito mais complexa do que está
externado aqui, mas ele é um modelo didático interessante
que vai fazer a gente refletir sobre que tipo de indicador, que
tipo de avaliação eu preciso em função do meu problema, da
minha intervenção mais abrangente ou menos abrangente.
Vocês sabem que tudo começa, teoricamente, quando
determinados problemas e demandas sociais que são
sistematicamente apontados ou percebidos pela população
entram dentro da agenda. O problema social entra dentro da
agenda pública ou de uma ONG, de uma instituição que
resolve abordar determinada temática que incomoda, que
tem a ver com a sua área de atuação e isso entra dentro da
agenda. Tendo entrado dentro da agenda a gente busca
recursos para poder viabilizar o desenho de um programa ou
de um projeto social para tentar equacionar essa
determinada demanda. Então, tem todo um esforço de
diagnóstico mais propositivo, mais específico, de pensar as
diversas
estratégias
de
equacionamento
daquela
problemática social, a necessidade de fazer seleções de
público, estratégias de programas e, por fim, é preciso
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
implementar o programa e a implementação de programas,
muitas vezes, se dá sem que o diagnóstico e essas coisas
tenham sido feitas num ambiente perfeito, porque são
oportunidades, percebem? A gente não poderia ficar fazendo
um planejamento de uma ação como o Brasil sem miséria
durante 1 ano, esperando que o senso demográfico tivesse
todas as divulgações para que a gente fizesse um
diagnóstico mais exaustivo possível, como se de novo a
gente não caísse naquele tecnocratismo que eu criticava
anteriormente. Então, o processo mesmo de avaliação, o
processo de diagnóstico – que também é uma avaliação,
uma avaliação diagnóstica - ele também tem o seu tempo.
Enfim, a gente implementa o programa e precisa em algum
momento adequado ao período de intervenção, à maturidade
do período de intervenção, fazer uma avaliação mais
somativa, mais exaustiva, de resultados e impactos. Essa
avaliação não pode ser nem muito antes e nem muito
depois, tem que ser no tempo certo. A gente tem que
perceber exatamente qual é o tempo certo porque não
adianta investir recursos aqui se a gente sabe que os
problemas
são
aii.
Tem muito problema ainda de implementação, muito
problema de municípios, muito problema de instituição que
ainda está com deficiência de pessoal, deficiência de
recursos, deficiência de treinamento. Use seu dinheiro para
fazer avaliação de processo ou faça avaliação de desenho
com outras experiências similares, ou volte atrás e invista
recursos para diagnosticar melhor, saber quem é o seu
público alvo. O MDS tem um bom exemplo disso: população
de rua. A população de rua é um problema social em todos
os grandes centros urbanos. Aqui mesmo, no Minhocão, em
São Paulo, sabe-se como é essa situação ainda. Mas não
havia estatísticas que quantificassem, muito menos estudos
mais abrangentes que permitissem identificar que essa
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
população de rua tem só um ponto em comum: é que eles
vivem na rua. Mas são públicos muito diferentes. Tem gente
aqui que sabe melhor do que eu sobre as diferenças desse
público: criança em situação de drogadição, pessoas com
algum tipo de deficiência, desempregados, pessoas com
problemas de alcoolismo, enfim, são públicos diferentes com
problemáticas diferentes e que demandam soluções
diferentes. Então, é preciso isso. Às vezes, não adianta
continuar investindo em avaliação de desenho e processo,
quando a gente precisa conhecer mesmo melhor o nosso
público, a nossa demanda. Talvez o processo de
reconhecimento da demanda para colocar na nossa agenda
pode ter tido algum viés aqui e a gente não percebeu. Mas
enfim, existe o processo de avaliação que vai ao final, no
caso do setor público é de 4 em 4 anos, é o ciclo de
planejamento, a cada 4 anos você tem que especificar os
novos programas. Então, precisa ser feita uma avaliação
mais exaustiva de 4 em 4 anos sobre se de fato a estratégia
de implementação para mitigar esse problema deu resultado,
se não deu, o que não deu, o que precisa ser aprimorado, se
o programa precisa ser totalmente remodelado, se o
programa
deve
continuar
ou
não.
É importante que se diga o seguinte: muito do redesenho do
programa é feito na implementação. Esse gráfico aqui tem
um problema porque a implementação é uma caixinha aqui
que parece menor, preciso redesenhar esse gráfico porque a
implementação é a maior parte do tempo em que o
programa se encontra, está sempre em implementação, está
sempre em processo de aprimoramento. Então, tem muitas
melhorias que já são feitas na implementação e isso é
importante se captar na avaliação de alguma forma. No caso
de instituições que lidam, por exemplo, com problemáticas
no campo educacional, vão sentir muito mais resultados e
impactos com muito mais tempo, do que quem atua na área
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
de saúde. Os problemas nas áreas de saúde, às vezes, tem
soluções muito mais rápido do que alguns programas mais
complexos na educação ou mesmo na área que o MDS cuida,
da
pobreza.
Em cada uma dessas fases a gente precisa de indicadores,
quando estão disponíveis. Então, nessa fase de identificação
de problemas e demandas para além do debate político da
sociedade, da imprensa, do movimento social, existem
indicadores
sociais
provenientes
agora
do
censo
demográfico. Para o censo demográfico 2010, o IBGE está
fazendo um trabalho muito interessante de disponibilização
desses dados que permite ver o quanto avançamos, o
quanto de questões que temos que avançar. O próprio
governo reconhecendo que com toda queda da pobreza,
temos 16 milhões em extrema pobreza. Precisamos fazer
alguma coisa porque o Brasil vai se transformar a quinta
economia do mundo ainda com indicadores sociais em alguns
aspectos bastante insatisfatórios, em que pese a evolução
nesses últimos 15, particularmente nos últimos 9 anos.
Precisamos de indicadores de diagnósticos. Um bom
diagnóstico vai sempre abordar o público alvo. A gente
precisa conhecer melhor o nosso público alvo e, às vezes, os
dados do IBGE e outras instituições não são suficientes e aí
tem que fazer uma pesquisa, conhecer o nosso público alvo,
conhecer as suas características. Quanto mais a gente
conhecer esse público alvo, melhor a gente vai conseguir
especificar o programa que a gente está imaginando.
Naturalmente que é um processo de ida e volta. A gente não
levanta tudo. Quando a gente já tem a idéia de qual é um
determinado encaminhamento, a gente faz a pesquisa de
modo a responder também que tipo de informação a gente
precisa para poder desenhar uma determinada estratégia de
equacionamento. A gente precisa também no nosso
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
diagnóstico ter uma idéia de capacidade de gestão, aí estou
falando muito do ponto de vista do poder público federal. A
gente precisa lá na esplanada ter uma compreensão melhor
de quais são as dificuldades, as fragilidades dos municípios e
dos estados, que é quem operam as nossas políticas. Porque
uma boa ideia vai ter problemas de implementação se o
agente lá não tiver recursos humanos suficientes, com
competência, com capacidade e inclusive treinamento que
deveria
ter.
Naturalmente, num bom diagnóstico, além do conhecimento
do público alvo e da capacidade de gestão, o operador do
programa, da política na ponta, também tem que conhecer o
contexto em que as pessoas vivem, o contexto social e o
contexto econômico, porque um programa social, um projeto
social vai funcionar com maior ou menor dificuldade em
função das características da região, se é uma região mais
dinâmica ou uma região mais pobre, assim por diante.
Então, o diagnóstico... Isso que eu chamo a atenção
também. Quando a gente fala de avaliação ou de
indicadores, a gente está falando de indicadores de
monitoramento e avaliação, mas não nos esqueçamos de
que tudo começa com um bom diagnóstico. Então, a gente
precisa de fato nos valer, nos equipar, de bons indicadores,
boas pesquisas, que permitam a gente conhecer melhor o
nosso público, naturalmente sem correr o risco daquele
tecnocratismo ingênuo, de que os dados falam toda a
realidade por si, quando a gente sabe que está muito longe
disso.
Depois tem os indicadores de monitoramento, com toda a
questão que já vou estar tratando, e os indicadores de
avaliação somativas, onde a gente vai ter que levantar
informações de resultados e impactos ou informações
qualitativas. Às vezes, determinados programas a gente não
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
consegue quantificá-los, mas é importante que a gente de
alguma forma consiga estruturar a informação qualitativa
para mostrar os impactos importantes menos tangíveis de
um determinado projeto. Existe toda uma discussão de
tipologia de avaliação, não vou entrar aqui, mas de alguma
forma eu falei. São vários tipos de avaliação adequados ao
estágio em que o programa se encontra, não adianta querer
fazer avaliação de resultados se o problema está na
implementação,
não
adianta
fazer
avaliação
de
implementação se você suspeita que existe problema de
desenho e assim por diante. No fundo o que a gente precisa
é ter um enfoque avaliativo, é integrar sistemas avaliadores
com pesquisa de avaliação que é exatamente isso, construir
sistemas de monitoramento de avaliação no setor público e
no setor privado, seja na política, no programa ou no
projeto. A gente tem que articular a nossa expertise de
métodos e técnicas de recolhimento sistemático de
informação
para
a
construção
de
indicadores
de
monitoramento e também em alguns momentos fazer
efetivamente pesquisas de avaliação. E integrar isso como
atividades
especificas
de
gestão.
Só para dar um exemplo do que é o monitoramento. Se a
gente fosse acompanhar a saúde para a criança, os
instrumentos de monitoramento são a observação do
comportamento da criança. Se a criança está paradinha
parece... A gente está identificando alguma mensagem, pode
formar uma segunda decisão de tomar uma temperatura. O
termômetro é um outro instrumento de monitoramento, se a
temperatura der 37,5 a gente sabe “a criança está com
febre, vou administrar um antitérmico”, depois vou
seguindo. O termômetro é o meu monitoramento se a febre
está cedendo ou não. Se a febre não ceder eu vou ter que
me valer de um recurso de avaliação mais específico, vou
buscar um especialista que vai se valer de instrumentos
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
menos invasivos, menos completos como o exame clínico ou
uma bateria de exames mais específicos, mais caros, se a
problemática persistir, se a gente precisar encontrar um
porquê. O monitoramento ajuda a identificar como estamos
e
a
avaliação
é
efetivamente
o
porquê.
Eu vou pular esse caso aí até porque não vou me arriscar
falar de avaliação educacional. O sistema de monitoramento
se vale de uma lógica de intervenção, um bom sistema de
monitoramento tem que estar muito ancorado na lógica da
intervenção, no marco lógico do programa, até para mostrar
que tem problemas de desenho. Enquanto que a pesquisa de
avaliação pode até questionar o desenho e tem que se valer
de coleta de dados secundários ou primários externos a
própria
existência
do
programa.
A mensagem geral aqui é isso: monitoramento e avaliação
são duas atividades que tem que ser entendidas de forma
orgânica. Produção de indicadores e, com alguma
regularidade, pesquisas específicas têm que estar no seu
plano de avaliação ou, melhor chamado, de plano de
monitoramento de avaliação de um projeto social.
Afinal de contas, o que é um indicador? É para isso que eu
vim. Vocês vão entender que já falei demais do que é um
indicador, há mais de 10 anos atrás já vinha dando cursos de
indicadores, depois resultou no livro e tal. Algumas pessoas
que eventualmente já participaram de alguma palestra
minha vão dizer “- Puxa, ele vem discutindo há uns anos os
mesmos slides”. Eu diria para vocês que eu melhorei um
pouco, mas eu não tenho mais criatividade para essa
temática [risos]. Mas é isso: o indicador é um recurso
metodológico para retratar a realidade. Acho que alguma
coisa inovadora vai ter aí porque passei a usar umas
metáforas para representar os indicadores. Um indicador é
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
como se fosse uma fotografia, tão boa e tão ruim quanto
uma fotografia. Tão bom porque ele me permite captar
aspectos da realidade social. Tão ruim porque ao captar um
aspecto, eu estou perdendo o todo. É exatamente isso que a
gente precisa no setor público, precisa de instrumentos
padronizados. O projeto social também precisa de
instrumentos padronizados para de alguma forma comparar
realidades. A gente tem realidades distintas de uma favela
ou de uma comunidade, por exemplo. [Mostrando fotos]
Numa foto mais distante, um indicador mais distante, e
numa foto que mostra um aspecto interessante da favela
que é a (inaudível) que ela está localizada, a favela
mostrando que está numa área de preservação ambiental.
Aqui uma foto dentro do interior, para ver a falta de conforto
material dessa família e aqui o entorno da casa, condições
inadequadas de habitação do entorno em que vivem várias
famílias. Cada foto é como se fosse um indicador. Então, tal
como a fotografia, os indicadores retratam um aspecto da
realidade. A imagem captada no indicador é uma redução da
realidade, qualquer indicador reduz a realidade, assim como
uma foto reduz essa realidade 3d que tem som, que tem
cheiro, para uma foto plana que não tem cheiro, que não
tem cor, que não tem movimento. Se eu quero medir as
condições de vida de uma sociedade, isso se desdobra entre
várias fotografias e essas fotografias eu posso usar
diferentes filmes que vão produzir imagens com melhor ou
menor qualidade. Depende um pouco da câmera, certo.
Existem câmeras ou fonte de dados mais fidedignas e
existem outras câmeras ou fontes de dados que ainda não
alcançaram seu nível de confiabilidade. Só usando aquela
câmera, só usando aquele indicador que a gente vai
conseguir perceber suas deficiências e conseguir fazer os
ajustes necessários para que aquela câmera, aquela fonte de
dados, produza informação de melhor qualidade ao longo do
tempo.
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
Estão aí vários exemplos, não vou... Uma das questões que
se colocou “quais são os principais indicadores”, eu diria que
é muito difícil dizer quais são os principais indicadores
porque depende de cada caso. É aquilo que eu falei, o ciclo
de políticas e programas vai depender de indicadores
específicos em casa fase e naturalmente em cada temática
que vocês atuam. Então, na área de segurança alimentar por
exemplo, eu poderia usar aquele indicador inicial, taxa de
mortalidade infantil, posso usar indicador antropométrico de
déficit de altura e peso produzida na pesquisa de orçamentos
familiares do IBGE de 5 em 5 anos, ou posso investigar a
segurança alimentar através de uma escala objetivada de
percepção, a escala brasileira de segurança alimentar, EBIA,
ou ainda indicadores antropométricos de adolescentes
através da pesquisa nacional de saúde escolar. Então, existe
um conjunto muito amplo de pesquisas que nos ajudam a
fazer
esse
tipo
de
investigação.
Existem os indicadores de monitoramento e aí vamos passar
muito rapidamente porque já esgotei todo meu tempo. A
analogia é com o sismógrafo. Aí é o nosso desafio nas
instituições, a gente não pode ficar parado como um retrato.
O retrato é importante, mas a gente precisa do filme ou do
nosso sismógrafo... Tão melhor a analogia é com sismógrafo
do que com filme porque o sismógrafo tem a sensibilidade de
perceber os pequenos tremores de terra. Então, se a gente
conseguir desenvolver nos nossos programas, nos nossos
projetos sociais bons sismógrafos, a gente consegue se
antecipar as catástrofes que ocorrem. Às vezes meio
inevitáveis, como um terremoto, mas algumas efetivamente
são
evitáveis.
Vocês vão ter os slides dizendo os indicadores de
monitoramento. Pode avançar bastante. Existe uma
discussão sobre fonte de dados mas esse slide sabia que não
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
ia explorar mesmo [risos]. Tem nesses slides uma série de
sugestões de fontes de dados e acho que pediria para você
sair, dar o ESC e ir lá nos últimos slides. No MDS existe o
DATA SOCIAL, que é, à semelhança do DATA SUS, um portal
de informações na área social. A gente reuniu isso e vocês
entrando no nosso site vão conseguir fazer isso. Tinha até
uma outra discussão sobre IDH que vou...
Martina – Podem perguntar depois.
Paulo – Isso. Indicadores, painéis e pesquisas podem ser
instrumentos para transformar essa realidade zero, numa
realidade tão positiva quanto essa. Esse slide é
absolutamente inédito. Esses outros também, minha
inovação está aqui. De 10 anos para cá fiz algumas coisas
com esses slides [risos]. Mas é basicamente isso, assim
como as fotografias, eles [os indicadores] reduzem a
realidade, e uma boa fotografia depende da câmera, da
posição do fotógrafo, do foco da lente, mas depende da
destreza do fotografo, depende da destreza do analista, do
pesquisador, do gestor identificar o que é relevante para ser
medido. Um programa com muitas atividades a gente tem
que ver quais são as atividades chaves que devem ser
monitoradas, porque a gente também não quer transformar
o nosso projeto num objeto de monitoramento, não quer
perder mais tempo preenchendo planilhas do que fazendo as
atividades que a gente tem que fazer. Então, o importante é
isso, tem saber o que é relevante. O que é mais útil e
pertinente para avaliação do bem estar (inaudível) de
programas sociais? Um mosaico de fotografias ou uma
fotografia
composta
por
técnicas
sofisticadas
de
diagramação? O que a gente efetivamente precisa, será que
não precisa de um conjunto mais simples de indicadores, um
conjunto básico de oportunidades, de inteligibilidade, de
clareza, de significado, ou uma pesquisa de avaliação
“A utilização de indicadores sociais na avaliação de iniciativas não governamentais" Junho 2012
contratada por um instituto super renomado, em que o
pessoal vai usar um modelo econométrico de enésima
geração para produzir o resultado que vai dizer que “o
impacto do programa é 10,45”. O chato que a gente precisa
reconhecer é que quanto mais casas decimais tem um
resultado de um indicador, parece que mais fantástico é o
modelo de avaliação, mais fantástico é o indicador. A gente
tem que brigar para mostrar que... No estágio em que a
gente se encontra no Brasil, digo aí mais nos programas de
desenvolvimento social, a gente não precisa de 4, 5 casas
decimais para os nossos indicadores. Se a gente conseguir
produzir indicadores que não tenham casas decimais, mas
efetivamente o que vem antes da vírgula tenha significado
para mostrar o tamanho do problema e se esse problema
está aumentando ou diminuindo, a gente já tem boas
respostas. Obrigado pela atenção.