avaliação econômica do programa jovem aprendiz

I Seminário Internacional & III Seminário de Modelos e Experiências
de Avaliação de Políticas, Programas e Projetos
AVALIAÇÃO ECONÔMICA DO PROGRAMA JOVEM APRENDIZ
Elisângela Marinho da Silva
Marina Guimarães Gondim
Resumo
O presente trabalho é fruto da atividade de conclusão do curso de avaliação econômica de projetos
sociais desenvolvido pelo Itaú Social em 2008. Objetivou avaliar o Programa Jovem Aprendiz da Escola
Dom Bosco de Artes e Ofícios, a partir da mensuração do impacto econômico do programa. Metodologicamente, realizamos a identificação do público-alvo, objetivo e indicadores do programa, dados e fontes
de informação externas, construção de um cadastro de beneficiados, definição de um grupo de controle
da Pesquisa Nacional por Amostra de Domicílios (PNAD), além de utilizar metodologias e análises estatísticas e financeiras (fluxo de caixa, cálculo do retorno econômico, valor presente liquido e taxa interna
de retorno). Os resultados observados nos permitem afirmar que no formato atual do programa apresenta resultados positivos (impacto) e viabilidade econômica no período de 3 (três) anos, no entanto, é
necessário que a instituição adote um uso e atualização constante de um cadastro, bem como, a adoção
do grupo de controle de seleção aleatória dos beneficiados. Com esse estudo, podemos concluir que a
análise econômica do Programa Jovem Aprendiz serviu de suporte tanto para os gestores, na tomada
de definição sobre o Programa e as adequações na sua execução quanto como uma ferramenta para a
busca de novos recursos, pois, apresenta com precisão o sucesso econômico que o programa alcançou.
Palavras-chave: avaliação econômica, avaliação de impacto, Programa Jovem Aprendiz.
Resumen
Este trabajo es el resultado de la actividad de finalización del curso de la evaluación económica
de los proyectos sociales desarrollados por el Itaú Social, en 2008. Para evaluar el programa el joven
aprendiz de Don Bosco, Escuela de Artes y Oficios, de la medición del impacto económico del programa.
Metodológicamente, se realiza la identificación de la audiencia, el propósito y los indicadores del programa, datos y fuentes externas de información, la creación de una base de datos de los beneficiarios, la definición de un grupo de control de la Nacional por Muestra de Domicilios (PNAD), y el uso metodologías
y análisis estadísticos y financieros (flujo de caja, cálculo de rentabilidad económica, el valor actual neto
y la tasa interna de retorno). Los resultados observados permiten afirmar que, en el formato actual del
programa muestra resultados positivos (impacto) y la viabilidad económica dentro de 3 (tres) años, sin
embargo, es necesario que la institución a adoptar y utilizar una constante actualización de un registro y
de la aprobación del grupo de control de la selección aleatoria de los beneficiarios. Con este estudio, se
concluye que el análisis económico del Programa de jóvenes aprendices dieron apoyo tanto a los gestores, la definición sobre el programa y los ajustes en su aplicación y como una herramienta para buscar
nuevos recursos, por lo que presenta con precisamente el éxito económico que el programa ha logrado.
Palabras clave: evaluación económica, evaluación de impacto, Programa Joven Aprendiz.
139
I Seminário Internacional & III Seminário de Modelos e Experiências
de Avaliação de Políticas, Programas e Projetos
Introdução e objetivos
A Fundação Itaú Social, em parceria com a Universidade Federal de Pernambuco, promoveu o curso de Avaliação Econômica de Projetos Sociais em 2008. Esse curso visou oportunizar aos atores sociais envolvidos na implementação de projetos e programas sociais, particularmente aqueles que atuam
no Terceiro Setor, a qualificação mediante o desenvolvimento de competências na área de gestão social.
O foco do curso residiu na apropriação de conhecimentos, conceitos e técnicas estatísticas e
financeiras que viabilizem a avaliação do impacto de projetos sociais e a mensuração do seu retorno
econômico sobre a população beneficiária.
Assim, o uso teórico-prático desses conhecimentos constituiu além de uma metodologia eficaz
para consolidação das aprendizagens previstas, como excelente oportunidade para iniciar a avaliação
econômica de projetos executados ou em execução pelas instituições representadas no curso, contribuindo para a disseminação dessas ferramentas.
É nessa perspectiva que apresentamos o presente trabalho, o qual buscou avaliar o Programa
Jovem Aprendiz da Escola Dom Bosco de Artes e Ofícios, a partir do impacto econômico do Programa
para a instituição e seus beneficiários.
Nesse sentido, o processo de avaliação realizado implicou na análise sistemática de informações
relevantes sobre o programa, o público alvo e suas famílias, tornando-se importante a disponibilização
da Instituição, enquanto parceira nesse processo, através do livre acesso aos dados e subsídios para o
conhecimento de seus Programas e Projetos (folder, cartilhas, relatórios, cópia do próprio programa,
etc.). Além disso, no caso do Programa Jovem Aprendiz foram disponibilizados os dados referentes ao
ano de 2007 (período de análise proposto no processo de avaliação).
A entidade escolhida, Escola Dom Bosco de Artes e Ofícios localizada na cidade de Recife, é uma
instituição criada e mantida pelos salesianos, cujo objetivo é desenvolver projetos/programas de formação profissional para jovens que buscam uma oportunidade no mercado de trabalho. No que se refere
a seu público-alvo é constituído de Adolescentes de ambos os sexos, com Faixa etária entre 14 e 16
anos em situação de vulnerabilidade social e econômica, oriundos de famílias com renda per capita de
até ½ salário mínimo e que sejam estudantes de escola pública e moradores de comunidades adjacentes
a instituição.
O Programa Jovem Aprendiz, busca através de cursos compatíveis com as exigências da Lei da
Aprendizagem e necessidades do mercado. Qualificar adolescentes e encaminhá-los/as ao mercado de
trabalho, fortalecendo a formação pessoal/social e integrando os/as beneficiários/as e suas famílias
como participantes do projeto.
Métodos
Os métodos utilizados na avaliação de impacto do Programa Jovem Aprendiz partiram de conceitos específicos de uma análise econômica, os quais foram considerados: grupo de tratamento; grupo de
controle; método de diferenças das diferenças; indicadores; fontes externas de dados; custos; avaliação
ex-post; avaliação de retorno econômico; variável aleatória; avaliação de impacto; método não experimental ou de seleção não aleatória; fluxo de caixa; cálculo do retorno econômico; Valor Presente Líquido
(VPL); Taxa Interna de Retorno (TIR).
140
I Seminário Internacional & III Seminário de Modelos e Experiências
de Avaliação de Políticas, Programas e Projetos
Nesse sentido, para consecução da avaliação proposta, foram realizadas as seguintes etapas:
1. Definição do universo de estudo;
2. Elaboração dos instrumentos de coleta dos dados;
3. Definição das formas e passos do processamento escolha das técnicas a serem utilizadas;
4. L
evantamento de informações sobre o programa para identificação do público-alvo, objetivo e
indicadores;
5. Identificação dos dados e fontes de informação externas relevantes;
6. C
onstrução de um cadastro dos beneficiários com informações desagregadas por participante
(micro dados);
7. D
efinição o Grupo de Controle (Pesquisa Nacional por Amostra de Domicílios (PNAD) – como
fonte externa de dados);
8. A
valiação do impacto e o retorno econômico do projeto a partir de metodologias e análises
estatísticas e financeiras (fluxo de caixa; cálculo do retorno econômico; VPL; TIR);
9. Apresentação dos resultados da avaliação econômica do programa.
Como primeira etapa na avaliação do impacto que o programa atingiu foi necessária a definição
de: Indicadores de impacto; Grupo de beneficiados e Grupo de controle e do Método de estimação (regressão linear).
Na estimação do Retorno econômico buscamos estimar os Custos e benefícios do programa, bem
como, os Indicadores de viabilidade (Valor Presente Liquido - VPL e Taxa Interna de Retorno - TIR). Para
tanto, foram definimos como Indicadores de Impacto: Renda familiar per capita mensal e a Escolaridade
do beneficiado.
No que se refere a base de dados e metodologia de estimação do impacto utilizamos os seguintes
banco de dados: os Beneficiados do Programa Jovem Aprendiz (125 observações), o Grupo de controle
(125 não-beneficiados) constituído de fonte externa de dados PNAD (Pesquisa Nacional por Amostra de
Domicílio), sendo totalizadas 250 observações.
No que se tange ao método utilizou-se o não experimental ou de seleção não-aleatória, e a regressão linear múltipla. Enquanto perspectiva de controle das influências das variáveis observáveis (que
poderiam afetar os indicadores de impacto) foram considerados: idade, gênero, escolaridade e tamanho
da família.
Resultados e discussão
A avaliação do Programa Jovem Aprendiz possibilitou verificar os impactos do programa no
público alvo atendido, sobretudo, constatar e mensurar a sua viabilidade ou retorno econômico para a
instituição executora. Para tanto, na busca de mensuração do retorno econômico que o programa pode
produzir pretendeu-se responder se o programa avaliado gerou benefícios, isto é, teve impactos positivos, se os benefícios superam os custos incorridos na realização do programa. Nesse sentido, a análise
de retorno econômico visou comparar os benefícios obtidos com os custos incorridos para a realização
do programa.
Como primeiro passo foi mensurado os objetivos do programa a partir da definição dos indicadores de impacto, segundo Shor e Afonso (2007, p.9) “é uma medida numérica de algum fenômeno
141
I Seminário Internacional & III Seminário de Modelos e Experiências
de Avaliação de Políticas, Programas e Projetos
importante para o projeto em questão” no caso do indicador de impacto refere-se aos resultados que o
programa atingiu. Determinar se houve mudança no bem-estar dos indivíduos, segundo Ozanira (2001,
p.27) “ a avaliação no campo social, neste contexto, seria a de realimentar ações buscando aferir resultados e impactos na alteração da qualidade de vida da população beneficiária”.
O segundo passo foi a construção dos chamados grupos de comparação. A idéia foi formar grupos
de não participantes (na linguagem de avaliação de não tratados), que tenham as mesmas características
dos participantes (tratados). No caso do Programa Jovem Aprendiz encontrar jovens que não tenham
participado do programa e que se pareçam (tenham a mesma idade, o mesmo nível socioeconômico,
etc.) com aqueles que participaram.
No caso da instituição escolhida não havia fontes de informações elaboradas sobre grupo de controle (banco de dados dos não tratados) para realizarmos o confronto com as informações dos beneficiários (tratados), o caminho alternativo foi recorrer a PNAD. Para tanto, a seleção foi por amostragem,
considerando o perfil sócio-econômico de jovens com semelhanças ao público alvo atendido. Utilizamos
o método não-experimental ou de seleção não-aleatória permitindo controlar as características que tornem os grupos diferentes, ou seja, o grupo de tratamento (beneficiários) e o grupo de controle (PNAD
– Pesquisa Nacional por Amostra de Domicílio), tornando-os comparáveis.
Como indicador de impacto optamos pela renda familiar per capita, o resultado foi que em média,
com a participação no programa, houve elevação da renda familiar per capita mensal em R$ 126,00 dos
beneficiários. Obviamente, outros indicadores poderiam ter sido mensurados, mas nos detemos neste
que possibilita demonstrar em números reais o retorno econômico do programa.
Ao comparar grupo de tratamento e grupo de controle, quando comparamos a diferença entre os
dois grupos pelo método de diferença das diferenças (comparando médias), verificamos que o programa
tem impacto na renda dos beneficiários.
No que se refere à avaliação do retorno econômico do programa foram considerados os indicadores de viabilidade do programa – VPL (Valor Presente Líquido), a Diferença entre fluxos de benefícios
e fluxos de custos computados a valores da data da avaliação e a TIR (Taxa Interna de Retorno) que se
constitui enquanto indicador da taxa de retorno do programa.
Notadamente, este aumento na renda refere-se ao fato de que o investimento da instituição para
a formação desses jovens obteve retorno positivo a partir do momento, que há um número cada vez
maior de jovens aprendizes sendo solicitados pelas empresas parceiras. Além disso, observou-se que
as competências adquiridas no curso de formação potencializaram o desenvolvimento de suas funções
com eficiência, contribuindo para a inserção desses jovens no quadro funcional dessas empresas.
O custo para formação dos beneficiários tem duração de 12 meses, para sua execução tornou-se
necessário a contratação de uma equipe técnica, gerando despesas referentes a salários, impostos e
benefícios. No que se refere aos materiais utilizados para o processo formativo, inclui-se também custos
institucionais e administrativos (água, luz, telefone e manutenção da estrutura predial). Vale destacar
também o custo de oportunidade, já que o espaço para desenvolvimento das atividades ocorre na própria instituição não sendo necessário recorrer a aluguel de espaço.
Nos custos explícitos (execução e manutenção) e custos de oportunidade (utilização do espaço
físico institucional) o investimento inicial foi de R$ 78.000,00. Mensalmente foi investido 18.933,87.
O quadro a seguir demonstra que no período de apuração de 24 meses houve entrada de receita que
equivale ao período de inserção dos jovens no mercado de trabalho.
142
I Seminário Internacional & III Seminário de Modelos e Experiências
de Avaliação de Políticas, Programas e Projetos
Fluxo de caixa
(36 e 60 meses, taxa de juros de 0,5% ao mês para VPL)
MESES
ENTRADAS MENSAIS
SAÍDAS MENSAIS
LÍQUIDO
T0
0
78.000,00
-78.000,00
T1-T12
0
18.933,87
-18.933,87
T13- T36
15.751,25
0,00
15.751,25
O quadro de cálculo do retorno econômico apresenta dados favoráveis em relação aos indicadores
de viabilidade, pois o VPL(Valor Presente Líquido) positivo e a TIR (Taxa Interna de Retorno elevada
representa vantagens em relação às taxas de juros disponíveis no mercado. Nesse sentido, a análise
do retorno econômico do Programa Jovem Aprendiz possibilitou verificar que torna-se viável a sua
execução devido o VPL (Valor Presente Líquido) ter sido positivo. Podemos afirmar que o cálculo do
VPL (Valor Presente Líquido) auxilia os gestores na tomada de decisões quanto a forma de conduzir as
atividades desse ou de outros programas institucionais.
Cálculo do retorno econômico
Valor Presente Líquido – VPL
Taxa Interna de Retorno – TIR
3 anos
5 anos
R$ 36.575,00
R$ 333.738,19
1,1 % ao mês
3% ao mês
Considerações finais
A idéia-força desse trabalho transcende a mera perspectiva de uma atividade final de curso. Assume, também, o caráter de uma primeira análise econômica do Programa Jovem Aprendiz da Escola Dom
Bosco de Artes e Ofícios, ao pretender apontar indicativos da eficiência do programa do ponto de vista
do seu retorno econômico. Daí a extrema importância de sistematizar essa experiência, contribuindo
para fomentar o debate sobre a necessidade de inclusão de fatores econômicos na avaliação de projetos
sociais.
Nesse sentido, a avaliação aqui apresentada nos conduziu a algumas conclusões sobre o Programa avaliado:
1. No formato atual, o programa apresenta resultados positivos (impacto) e viabilidade econômica (período de 3 anos)
2. A variável de impacto (renda familiar per capita): vinculação à qualificação dos beneficiados
(objetivo) é frágil;
3. O banco de informações é limitado;
4. O grupo de controle foi de seleção não-aleatória (possível viés em características não-observáveis) com dificuldades de definir público-alvo na PNAD (Pesquisa Nacional por Amostra de
Domicílio) devido a desagregação espacial limitada.
O Programa Jovem Aprendiz, em sua execução necessita de alguns ajustes: criação de mecanismos que possibilitem a realização de avaliações sistemáticas, criação de uma base de dados dos beneficiários e de um grupo de controle.
143
I Seminário Internacional & III Seminário de Modelos e Experiências
de Avaliação de Políticas, Programas e Projetos
Consideramos que a análise econômica do Programa Jovem Aprendiz contribuiu para o aperfeiçoamento das ações desenvolvidas, por se constituir como ferramenta na busca de novos recursos. No
entanto, essa metodologia não pode ser considerada como o único instrumento de análise de projetos
sociais. Ela possibilita uma ampliação de uma cultura de avaliação, que mensurem em termos quantitativos e qualitativos os impactos dos projetos sociais.
Referências
COHEN, E; FRANCO, R. Avaliação de projetos sociais. Petrópolis: Vozes, 2002, 5ª edição;
CONTADOR, C. R. Avaliação social de projetos. São Paulo: Atlas, 1988.
MARINO, E. Manual de avaliação de projetos sociais. São Paulo: Saraiva/Instituto Ayrton Senna. 2ª edição, 2003.
SILVA, M. O. da S. e (org.). Avaliação de políticas e programas sociais: teoria e prática. São Paulo: Veras, 2001.
SCHOR, A; AFONSO, L. E. Avaliação econômica de projetos sociais. São Paulo: Itaú Social, 2007, 2ª Edição.
144