Relatório Semestral Julho a Dezembro de 2009
Transcrição
Relatório Semestral Julho a Dezembro de 2009
Relatório nº 1 Janeiro a Junho de 2009 1 Gilberto Kassab Prefeito Alda Marco Antonio Vice-prefeita e secretária de Assistência e Desenvolvimento Social Marcus Vinicius Sinval Secretário-executivo de Comunicação Orlando de Almeida Filho Secretário de Controle Urbano Ronaldo Camargo Secretário de Coordenação das SubPrefeituras Carlos Augusto Machado Calil Secretário de Cultura Miguel Luiz Bucalem Secretário de Desenvolvimento Urbano José Gregori Secretário Especial de Direitos Humanos Alexandre Alves Schneider Secretário de Educação Walter Meyer Feldman Secretário de Esportes, Lazer e Recreação Walter Aluisio Morais Rodrigues Secretário de Finanças Clóvis de Barros Carvalho Secretário de Governo Elton Santa Fé Zacarias Secretário de Habitação Marcelo Cardinale Branco Secretário de Infra-Estrutura Urbana e Obras Rodrigo Garcia Secretário de Modernização, Gestão e Desburocratização Cláudio Lembo Secretário de Negócios Jurídicos Celso Augusto Cocaro Filho Procurador Geral do Município José Ricardo Franco Montoro Secretário de Participação e Parceria Marcos Belizário Secretário da Pessoa com Deficiência e Mobilidade Reduzida Manuelito Pereira Magalhães Junior Secretário de Planejamento Antonio Carlos Rizeque Malufe Secretário Especial de Relações Governamentais Alfredo Cotait Neto Secretário de Relações Internacionais Januario Montone Secretário de Saúde Edsom Ortega Secretário de Segurança Urbana Alexandre de Moraes Secretário de Serviços Marcos Cintra Secretário de Trabalho Alexandre de Moraes Secretário de Transportes Eduardo Jorge Martins Alves Sobrinho Secretário de Verde e Meio Ambiente Luiz Ricardo Pereita Leite Presidente da Cohab João Octaviano Machado Neto Presidente da Prodam Caio Luiz de Carvalho Presidente da SPTuris Sumário Apresentação 5 Estruturação da Agenda 2012 6 Construção do sistema de monitoramento 13 Produtos do sistema de monitoramento 23 Uma primeira abordagem dos indicadores de resultado da Agenda 2012 28 Referências bibliográficas 44 Equipe técnica 45 3 4 Apresentação E ste relatório refere-se ao desenvolvimento da Agenda 2012 – Programa de Metas da cidade de São Paulo, durante o 1º semestre de 2009, aten- dendo às exigências da Emenda nº 30 à Lei Orgânica do Município de São Paulo, que institui a obrigatoriedade de elaboração e cumprimento do Programa de Metas pelo Poder Executivo e a divulgação semestral dos indicadores de desempenho relativos à execução de seus diversos itens. A Agenda 2012 foi estruturada para disponibilizar, semestralmente, relatórios de desempenho das metas e, anualmente, os indicadores de resultado que mostram se o programa governamental está ou não atingindo seus objetivos. Esses indicadores, compostos de diferentes variáveis apontam para processos de transformações sociais. A Agenda 2012 inspira-se nos modelos de administração por resultados e de acompanhamento da gestão implantados nas cidades de Bogotá, Barcelona, Mineápolis e Sidney. São utilizados como referência os conceitos de eficácia, eficiência e efetividade adotados pelo Programa das Nações Unidas para o Desenvolvimento (PNUD) e do Banco Mundial (Bird) para avaliação de políticas públicas. Manuelito P. Magalhães Júnior Secretário de Planejamento da Cidade de São Paulo 5 Estruturação da Agenda A construção da Agenda 2012 - Programa de Metas da cidade de São Paulo - constitui um processo contínuo de desenvolvimento e aprimoramento de seu plano de ação. As principais etapas para elaboração da Agenda 2012 foram as seguintes: Definição da estrutura conceitual Definição das metas a partir do programa de governo Realização de audiências públicas Monitoramento e controle das metas Definição de indicadores de resultados 6 2012 Estrutura conceitual Definição das metas a partir do programa de governo Audiências públicas Estrutura conceitual Monitoramento e controle das metas Indicadores de resultado A Agenda 2012 foi elaborada pelas secretarias municipais, com coordenação da Secretaria Municipal de Planejamento (Sempla) de São Paulo. Sua construção expressa a articulação entre ações cotidianas e uma visão de longo prazo por meio de cinco eixos estruturantes – Cidade de Direitos, Cidade Sustentável, Cidade Criativa, Cidade de Oportunidades, Cidade Eficiente – e um eixo transversal, a Cidade Inclusiva, que tem como foco a articulação territorial das políticas públicas. Os eixos são sustentados por objetivos que traduzem preceitos e princípios gerais de cada eixo em ações estratégicas e prioridades da gestão. As ações estratégicas articulam iniciativas de curto, médio e longo prazos e envolvem os vários setores do governo, expressando o planejamento integrado de uma metrópole heterogênea, desigual e com demandas sociais distintas. A seguir, apresentam-se os objetivos a serem alcançados, de acordo com os eixos estruturantes. 7 Cidade de Direitos Promover a universalização dos serviços públicos e melhorar continuamente sua qualidade Acesso à saúde e qualidade no atendimento Acesso à educação e qualidade no ensino Acesso à moradia Fortalecimento da rede de proteção social Ampliação das políticas de inclusão para cidadãos com deficiência e mobilidade reduzida Defesa dos Direitos Humanos Ampliação da proteção ao cidadão Cidade Sustentável Compatibilizar a busca por melhor qualidade de vida para as gerações presentes e futuras com a necessária redução dos impactos ambientais gerados pelas atividades urbanas Cidade mais verde Preservação dos recursos hídricos Melhoria da drenagem urbana Gestão adequada dos resíduos sólidos Redução das emissões de poluentes na atmosfera Melhoria da mobilidade urbana Ações de economia sustentável Incentivo à cultura de paz Cidade Criativa Aproveitar as potencialidades criativas da cidade para promover o desenvolvimento econômico e social Fortalecimento do Centro como polo cultural da cidade Incentivo à produção cultural e à interação criativa Consolidação da cidade como marco nacional em esporte e lazer Reafirmação da cidade como referência mundial em eventos 8 Cidade de Oportunidades Criar um ambiente propício à geração de empregos e de negócios, ampliar a qualificação profissional da mão de obra e promover a descentralização das atividades produtivas Estímulo ao emprego e à qualificação dos trabalhadores Incentivo ao empreendedorismo e ao ambiente de negócios Atração de novos parceiros e investimentos internacionais Priorização de áreas estratégicas para criação de empregos e negócios Promoção do desenvolvimento econômico e social da Zona Leste Aprimoramento da infraestrutura urbana Cidade Eficiente Assegurar qualidade, agilidade, transparência, responsabilidade social e justiça fiscal às políticas municipais Agilidade nos processos internos Eficiência e transparência na gestão dos recursos Qualidade da Receita e da Despesa Capacitação do funcionalismo Cidade Inclusiva Reduzir as desigualdades territoriais por meio da articulação e integração de políticas públicas Integração de ações estratégicas nas áreas de exclusão Articulação de ações locais e regionais nas áreas de exclusão Promoção de transformações estruturais na cidade 9 Definição das metas a partir do programa de governo A Agenda 2012 é baseada no plano de governo apresentado pelo candidato Gilberto Kassab e debatido com a sociedade durante a fase eleitoral, bem como em estudos técnicos realizados pelo Poder Executivo. O Programa explicita as prioridades da Prefeitura estimulando o efetivo debate com a sociedade, o controle social e o acompanhamento das ações. Trata-se de um conjunto de objetivos organizados em eixos temáticos. Seu conteúdo consiste em um painel de ações, metas e indicadores articulados, que dão transparência aos programas governamentais e aos compromissos que resultaram na eleição do atual chefe do Executivo municipal. Audiências públicas Foram realizadas 34 audiências públicas no âmbito da Agenda 2012, no 1º semestre de 2009, que reuniram mais de 3 mil pessoas. Os encontros tiveram por objetivo explicar as 223 metas da Agenda 2012 à população e registrar em relatórios específicos as sugestões e críticas apresentadas. O encontro geral ocorreu em 8 de abril, no plenário da Câmara Municipal, e recebeu aproximadamente 100 participantes. As audiências públicas locais foram realizadas nas subprefeituras, nos dias 22, 23 e 29 de abril, e reuniram 2.947 participantes. E as audiências públicas temáticas, divididas por eixos estruturantes, tiveram 104 participantes. O quadro, a seguir, apresenta o número de participantes nas audiências públicas locais e temáticas realizadas. 10 Audiências públicas Mais de 3 mil participantes Zona Norte Casa Verde / Cachoeirinha 60 Freguesia do Ó / Brasilândia 34 Jaçanã / Tremembé 82 Perus 50 Pirituba / Jaraguá 63 Santana / Tucuruvi 85 Vila Maria / Vila Guilherme 100 Zona Leste Ermelino matarazzo Guaianazes Itaim Paulista Itaquera Mooca Penha São Mateus São Miguel Vila Prudente / Sapopemba Zona central Sé 40 Zona Oeste Lapa Pinheiros Butantã 60 80 110 75 100 180 140 13 90 123 120 90 Geral Câmara Municipal 100 Zona Sul Campo Limpo 70 Capela do Socorro 120 Cidade Ademar 200 Ipiranga 70 Jabaquara 60 M”Boi Mirim 256 Parelheiros 78 Santo Amaro 118 Vila Mariana 30 Aricanduva /Formosa / Carrão 150 Cidade Tiradentes 100 Eixos temáticos Cidade Criativa, Cidade Eficiente e Cidade de Oportunidades 44 Cidade de Direitos, Cidade Sustentável e Cidade Inclusiva 60 11 Monitoramento e controle das metas A Agenda 2012 adotou uma metodologia que trabalha com relatórios de desempenho das metas para monitoramento e controle do Programa cuja elaboração obedeceu as seguintes etapas: Definição do modelo de relatório; Implantação de relatório piloto; Coleta e consolidação de informações relacionadas ao detalhamento de cada meta (definição do território de atuação, prazo, fases e situação atual). O processo de monitoramento e controle das metas vem sendo constantemente aperfeiçoado, o que implica contínuas revisões de seus indicadores de desempenho, adequação de prazos intermediários e cronograma físico-financeiro. Indicadores de resultado Os indicadores de resultado vêm sendo analisados e desenvolvidos em relação a cada um dos eixos estruturadores do Programa de Metas e foram definidos como aqueles que se referem aos efeitos (diretos, indiretos ou remotos, difusos, abrangentes, de médio e longo prazos) dos serviços públicos na população (diretamente atendida ou não). Podem ser chamados também de indicadores de impacto. 12 Construção do sistema de monitoramento Implantação e construção do banco de dados Interfaces de atualização O sistema de monitoramento construído para a Agenda 2012 acompanha alguns dos princípios da gestão por resultados: novas formas de controle, transparência e responsabilização dos agentes públicos perante a sociedade. A gestão por resultados está inserida num contexto em que novas formas de controle na gestão pública, relacionadas aos resultados alcançados pelas políticas públicas, ganham importância, em detrimento do controle de normas e procedimentos do modelo burocrático. A avaliação deve ser planejada previamente, com definição de metas e indicadores para aferição dos resultados alcançados. O controle de resultados relaciona-se à aferição dos ganhos de eficiência, eficácia e efetividade das políticas públicas, sendo realizado pela combinação de diferentes tipos de controle: a partir da definição de metas e indicadores de desempenho, estipulados de forma precisa; por meio da apuração dos gastos realizados; pela busca por oferecer o melhor tipo de serviço público ao usuário; e pela avaliação dos serviços públicos pelos cidadãos. 13 A Agenda 2012 permite ao cidadão e ao gestor público acompanhar as ações correspondentes a cada uma das metas. O mútuo acompanhamento favorece a fiscalização e também a qualificação das informações disponíveis. Configura-se num instrumento que amplia a participação do cidadão como sujeito das políticas públicas, reforçando o modelo de gestão por resultados com amplo controle social. Outro princípio basilar para a estruturação do monitoramento da Agenda 2012 é a transparência. Trata-se de uma iniciativa inédita, que apresenta à sociedade a forma, a temporalidade e a localização territorial de cada uma das metas, permitindo ao cidadão aferir o andamento de cada uma delas. Há também um sentido pedagógico em mostrar de forma clara e inequívoca o processo a ser percorrido para o alcance de cada meta. Nesse sentido, os relatórios de andamento de cada meta procuram qualificar o diálogo entre a Prefeitura da Cidade de São Paulo e a sociedade civil, por meio do correto entendimento do que é necessário para atingir uma meta. Também está prevista a criação do Conselho Consultivo da Agenda 2012. Este órgão auxiliará o Executivo na implantação e no monitoramento das políticas públicas estabelecidas pela Agenda. Acesse: www.prefeitura.sp.gov.br/agenda2012 A transparência está relacionada à necessidade de tornar pública a informação, com a disponibilização de meios para o acompanhamento das ações. A gestão pública por resultados é orientada por processos de avaliação contínua e de legitimação pela sociedade, pela mensuração dos objetivos, metas e resultados alcançados em relação tanto ao proposto e planejado, quanto aos custos despendidos e benefícios obtidos. 14 Implantação e construção do banco de dados A construção de um sistema de gerenciamento das ações do Programa de Metas, envolvendo uma estrutura administrativa complexa como a Prefeitura da Cidade de São Paulo, exigiu um planejamento bem definido, com etapas claras a serem cumpridas por todos os gestores envolvidos. Para o aprimoramento do modelo integrado e sistêmico da Agenda 2012, a estruturação do sistema de monitoramento e acompanhamento do desempenho das metas passou por uma etapa-piloto de produção de relatórios, em que a atualização das informações sobre o andamento de cada meta foi realizada de modo indireto, por técnicos da Sempla, gerando relatórios de andamento internos. No sistema definitivo, a responsabilidade pela atualização é do gestor de cada meta, possibilitando a produção de relatórios externos (disponíveis para a população). As informações a respeito de cada meta constituíram um banco de dados que possibilitou a identificação, a partir de um código único, dos diversos atributos de cada meta: desdobramento territorial; eixo e objetivo correspondente; secretaria e o gestor responsável. A organização do banco de dados foi realizada com foco em: território (detalhamento da localização); definição das fases; status de cada meta e data de conclusão de fases anteriores; e prazo final de cada meta. Com o estabelecimento do fluxo de entrada de informações, tornam-se possíveis a atualização dos formulários e a posterior produção de relatórios para cada meta. Para o monitoramento das metas, tanto do ponto de vista interno como externo, é fundamental parametrizar este controle. Isto significou construir uma metodologia de acompanhamento que não só contemplasse a especificidade de cada meta, mas também permitisse um monitoramento relativamente padronizado. Para a definição das fases, foram estabelecidos modelos contendo nome, descrição e marco da fase, a partir de uma tipologia de metas. 15 Obras e reformas Predomina a realização de obras/reformas/adaptações de espaço/ampliações/infraestrutura. Nome da fase Descrição da fase Marco da fase Levantamento de dados/cadastro Levantamento de dados/cadastro Entrega de dados/cadastro completo Definição da região Definição da região da obra/reforma Região definida Definição do imóvel Escolha de terreno para a obra ou imóvel para locação/reforma Terreno/imóvel escolhido/imóvel locado Desapropriação/disponibilização Desapropriação do terreno ou imóvel/ do imóvel aluguel do imóvel Emissão do decreto de desapropriação/ contrato de aluguel Definição de parceiro Definição de parceiro/organização social/ outro órgão Convênio/contrato/acordo assinado Projeto Preparação do projeto da obra/reforma Projeto entregue Edital Preparação do edital de licitação Publicação do edital Licitação Licitação em andamento Divulgação do vencedor da licitação após todos os recursos Contratação Preparação de contratação Contratação da obra/reforma Fundação Construção das fundações Fundações concluídas Estrutura Construção da estrutura Estrutura concluída Acabamento Realização do acabamento Acabamento concluído Finalização Finalização da obra Obra totalmente entregue Adequação Obra de adequação/reforma/ampliação Obras concluídas e entregues Infraestrutura Obras de infraestrutura do entorno do imóvel construído/reformado/ampliado Obras de infraestrutura do entorno concluídas e entregues Compra de equipamentos Dimensionamento, compra e licitação das necessidades de equipamentos, tais como: mobília, infraestrutura, equipamentos de informática Equipamentos entregues Seleção de pessoal Concurso (processo completo)/seleção de pessoal por parceiros/convênios Posse dos concursados/contratação em regime CLT Pré-operação Preparação para o funcionamento do equipamento Equipamento em operação 16 Aquisição Predomina a aquisição de equipamentos (veículos, maquinários, informática, instrumentos, etc.). Nome da fase Descrição da fase Levantamento de dados/cadastro Levantamento de dados/cadastro Marco da fase Entrega de dados/cadastro completado Definição da região Definição da região para instalação do equipamento Região definida Definição do imóvel Escolha do imóvel onde será instalado o equipamento Imóvel definido Definição de parceiro Definição de parceiro que adquirirá o equipamento Convênio assinado Projeto Preparação do projeto/especificação do equipamento a ser adquirido Projeto ou especificação entregue Edital Preparação do edital de compra Publicação do edital Licitação Licitação de compra em andamento Divulgação do vencedor da licitação após todos os recursos Contratação Preparação da contratação Contratação da empresa Instalação/entrega Instalação do equipamento adquirido ou entrega Equipamento instalado ou entregue Treinamento Treinamento para operação do equipamento treinamento realizado Pré-operação Preparação dos equipamentos para funcionamento Equipamentos em funcionamento 17 Pessoal Meta restrita a contratação, seleção, capacitação, qualificação de pessoal. Nome da fase Descrição da fase Marco da fase Levantamento de dados/cadastro Levantamento de dados/cadastro Entrega de dados/cadastro completado Definição da região Definição da região para implantação do serviço Região definida Edital Preparação do edital de licitação do concurso/ processo seletivo Publicação do edital Licitação Licitação do concurso/processo seletivo em andamento Divulgação do vencedor da licitação após todos os recursos Contratação Preparação da contratação Contratação do serviço Seleção de pessoal Concurso (processo completo)/seleção de pessoal por parceiros/convênios Posse dos concursados/contratação em regime CLT Pré-operação Realização de treinamentos e cursos Pessoal treinado/capacitado Serviços Predomina a prestação de um serviço/atendimento/melhoria de qualidade no atendimento. Nome da fase Descrição da fase Marco da fase Levantamento de dados/cadastro Levantamento de dados/cadastro Entrega de dados/cadastro completado Definição de região Definição de região para implantação do serviço Região definida Definição do imóvel Escolha do imóvel para locação ou equipamento que Imóvel locado/definição de espaço cederá parte do seu espaço cedido Desapropriação/disponibilização Desapropriação do imóvel/aluguel do imóvel/ do imóvel acordo de cessão Emissão do decreto de desapropriação/ contrato de aluguel/acordo de cessão Definição de parceiro Definição de parceiro/organização social/outro órgãoConvênio/contrato/acordo assinado Projeto Preparação do projeto Projeto entregue Edital Preparação do edital de licitação Publicação do edital Licitação Licitação Divulgação do vencedor da licitação após todos os recursos Contratação Preparação da contratação Contratação do serviço Pré-operação Preparação do serviço para funcionamento Serviço em funcionamento 18 Sistema Envolve o desenvolvimento/aperfeiçoamento de sistemas, softwares. Nome da fase Descrição da fase Marco da fase Levantamento de dados/cadastro Levantamento de dados/cadastro Entrega de dados/cadastro completado Definição de região Definição da região de instalação do sistema Região definida Projeto Preparação do projeto Projeto entregue Edital Preparação do edital de contratação Publicação do edital Licitação Licitação de contratação em andamento Divulgação do vencedor da licitação após todos os recursos Contratação Preparação da contratação Contratação da empresa Desenvolvimento Desenvolvimento do sistema Sistema desenvolvido Testes e documentação Realização de testes de aplicação do sistema e documentação do sistema Testes e documentação realizados Treinamento Treinamento da equipe que utilizará o sistema Treinamento realizado Pré-operação Preparação do sistema para funcionamento Sistema em funcionamento Evento Envolve definição, montagem e divulgação de eventos. Nome da fase Descrição da fase Marco da fase Levantamento de dados/cadastro Levantamento de dados/cadastro Entrega de dados/cadastro completado Projeto Preparação do projeto do evento Projeto entregue Edital Preparação do edital de contratação Publicação do edital Licitação Licitação da empresa em andamento Divulgação do vencedor da licitação após todos os recursos Contratação Preparação da contratação Contratação da empresa Programação do evento Preparação da programação do evento Programação aprovada Preparação da divulgação Definição de peças e mídia para divulgação do evento Plano de divulgação/mídia aprovado Aquisições Programação das necessidades de compra Aquisições realizadas Realização do evento Preparação do evento Evento realizado 19 Processos Procedimentos de implantação ou aperfeiçoamento de processos internos de gestão/serviço. Nome da fase Descrição da fase Marco da fase Projeto Preparação do projeto Projeto entregue Edital Preparação do edital de contratação Publicação do edital Licitação Licitação de contratação em andamento Divulgação do vencedor da licitação após todos os recursos Contratação Preparação da contratação Contratação da empresa Desenho Realizar o desenho dos processos Desenhos realizados Validação Validar os processos Processos validados Documentação Documentação dos processos Processos documentados Treinamento Treinamento das equipes de trabalho Equipes treinadas Pré-operação Preparativos para implantar o processo Processo implantado Regularização Procedimentos de criação ou correção de documentos e da situação legal/jurídica, tipicamente de cidadãos e/ou de suas posses/propriedades. Nome da fase Descrição da fase Levantamento técnico Estudos de topografia, cadastro, restrições, subsolo e etc. Levantamentos concluídos Levantamento social Diagnóstico socioeconômico, histórico do local e reuniões Levantamento jurídico Propriedade do imóvel (elementos registrários); ações Levantamentos concluídos judiciais, ônus, débitos e demais restrições incidentes Registro Registro no Cartório de Registro de Imóveis ou equivalente Registro realizado Concessão Concessão de títulos Concessão efetuada 20 Marco da fase Levantamentos concluídos Todas as informações padronizadas possibilitaram o desenvolvimento do sistema de atualização e geração de relatórios de andamento de cada meta programada. Essa constituição é fundamental para o estabelecimento de um fluxo contínuo de informações que permita a superação de pontos críticos, a resolução de problemas no tempo necessário ou a reprogramação. Com esse instrumento de monitoramento disponibilizado, ao mesmo tempo, para o gestor e para o munícipe, aprimoram-se os mecanismos para a tomada de decisão inerente à implementação das políticas públicas. 21 Interfaces de atualização O banco de dados foi construído de forma a permitir tanto a geração automatizada dos relatórios como sua contínua atualização, transformando-se em um sistema de apoio à gestão das metas. Para isso, a interface foi concebida no sentido de permitir ao gestor, por meio de um login e uma senha, atualizar a execução de cada meta. O processo está ilustrado nas figuras apresentadas a seguir. Acesso Seleção da meta e do local Atualização dos dados 22 Produtos do sistema de monitoramento Relatórios de acompanhamento das metas Relatórios de acompanhamento das metas Sistema de consulta das metas por distrito e subprefeitura O resultado do sistema de monitoramento, seu banco de dados e a interface de atualização são os relatórios de acompanhamento das metas. Esses relatórios poderão, a partir das informações disponíveis, ser de outros tipos: por eixo, por objetivo, por subprefeitura ou distrito. Os modelos de relatórios de acompanhamento das metas foram elaborados a partir de diferentes tipos de controle: relatórios de andamento do processo e relatórios de resultados obtidos. No primeiro caso, o relatório de andamento de fase aplica-se quando o produto final é o resultado de um processo sequencial e, no segundo, o relatório obtido é de andamento por período. Vale destacar que os relatórios compreendem o processo de planejamento e execução das metas. Os relatórios serão disponibilizados ao cidadão na página da Agenda 2012 (www.prefeitura.sp.gov.br/agenda2012), que tem se configurado como principal canal para seu acompanhamento. A seguir, são apresentados dois modelos desses relatórios com as informações disponibilizadas ao público. 23 Relatório de Andamento de Fase: Eixo Trocar de meta Nome da meta (s) Número da meta Secretaria Responsável Locais (localização) Meta considerada concluída Evolução Localização definida Fase não se aplica Localização a definir Relatório de Andamento por Período: Eixo Trocar de meta Número da meta Nome da meta (s) Secretaria Responsável Meta considerada concluída Localização ou descrição da Meta Previsão Percentual de realização 24 Realização Sistema de consulta das metas por distrito e subprefeitura Com o objetivo de facilitar o acompanhamento das metas pelos cidadãos, foi desenvolvido um sistema de consulta das metas por zona, distrito e subprefeitura. Esse sistema, disponibilizado na página da Agenda 2012 na Internet, permite a rápida visualização das metas para cada distrito e subprefeitura, facilitando ao munícipe acompanhar, monitorar e fiscalizar o andamento das metas relacionadas ao seu espaço de vida cotidiana, ou seja, o seu distrito e a sua subprefeitura. Ao mesmo tempo, atende-se a um dos princípios fundamentais do Programa de Metas: territorializar, sempre que aplicável, o planejamento de suas ações. O sistema funciona da seguinte maneira, conforme ilustrado nas figuras a seguir: Selecionar a zona 25 Selecionar a subprefeitura 26 Selecionar o distrito 27 Uma primeira abordagem dos de resultado da O desenvolvimento de indicadores é um tema recorrente no âmbito das entidades voltadas para formulação, implementação e acompanhamento das políticas públicas. O aperfeiçoamento e as inovações metodológicas no campo do planejamento têm como resultado a necessidade de indicadores claros e transparentes, que permitam avaliar a eficácia das políticas governamentais e seus impactos sobre a sociedade. Nesse sentido, a presente proposta constitui um marco inicial, a partir do qual pretendemos formular e definir, em conjunto com a sociedade, o conjunto de indicadores de resultado, bem como suas possíveis metas de médio e longo prazo. A construção dos indicadores retrata uma multiplicidade de interesses e enfoques com os quais se pode retratar a realidade, por meio de instrumentos de mensuração. Jollands e Patterson (2004) apontam que as definições correntes sobre o significado dos indicadores, de forma geral, são relativamente confusas devido às várias terminologias utilizadas, pois não existe um consenso sobre conceitos e propriedades. As definições de caráter operacional são, por vezes, pouco claras ou 28 indicadores Agenda 2012 Propriedades dos indicadores Tipologia de indicadores Indicadores - Programa de Metas contraditórias, pois o extenso campo de aplicação das políticas públicas conduz a uma variedade de concepções vinculadas a tendências de ordem programática e associadas a várias áreas de interesse. Um apanhado da literatura sobre o assunto, realizado por Hammond et al. (1995) e Jollands e Patterson (2004), aponta que o termo “indicador” ora se expressa como uma forma de representação quantitativa, que privilegia os atributos mensuráveis de um dado sistema, ora se define como um conceito de ordem cognitiva e abstrata, sendo tratado como signo com determinadas propriedades, capaz de apontar o comportamento de um fenômeno ou a dimensão de seus atributos. Em outros casos, ora se define como resultado de uma atividade exclusivamente voltada para mensuração da realidade ou de um conceito, ora se impõe como um ato de medir todo o ciclo de implementação de um processo de intervenção. Algumas abordagens vinculadas a agências de desenvolvimento e centros de produção de análise, informação e estatísticas de referência mundial procuram delimitar marcos metodológicos de natureza mais normativa para os sistemas de indicadores particulares. 29 Um parâmetro, ou um valor derivado de parâmetros, com o propósito de apontar ou fornecer informações que descrevem o estado de um fenômeno, do ambiente ou de uma área. Apresenta significado que se estende além daquele associado diretamente ao valor de parâmetro. (OCDE, 1993). Sinal que mostra o progresso (ou ausência) dirigido aos objetivos; significa mensurar aquilo que atualmente acontece em relação ao que foi planejado em termos de quantidade, qualidade e tempo. Um indicador é uma variável quantitativa ou qualitativa que fornece uma base simples e confiável para avaliar realizações, mudanças e desempenho. (PNUD, 2002). Fator quantitativo ou qualitativo ou variável que fornece uma simples e confiável medida para mensurar ações, que refletem as transformações ligadas ao processo de intervenção, ou auxiliam a avaliar o desempenho de um ator em desenvolvimento. (WORLD BANK, 1996). 30 Propriedades dos indicadores Existe um conjunto de recomendações e preceitos de ordem política e metodológica associados às definições de caráter mais genérico e que devem ser considerados no momento da produção dos indicadores. Jollands e Petterson (2004) ressaltam a necessidade de os indicadores terem aderência às convenções estatísticas, enquanto Jannuzzi (2001) aponta que sua escolha deve estar correlacionada a um conjunto de propriedades que legitimam sua utilização. É a associação dessas funções que dá aos indicadores utilidade, capacidade de comunicação, de resumir e atualizar informações numa perspectiva que integra adequadamente o processo de mensuração e a realidade que se deseja representar. Essas propriedades podem ser descritas como: Relevância Os indicadores devem responder à demanda de monitoramento da agenda de prioridades definidas nas áreas temáticas a que se destinam; Validade Relaciona-se à representatividade do indicador diante do conceito abstrato objeto de medida; Confiabilidade Diz respeito à qualidade do levantamento dos dados empíricos que compõem o indicador; Grau de cobertura Bons indicadores têm ampla cobertura populacional e territorial. Indicadores de cobertura parcial devem ser considerados úteis quando podem traduzir conhecimento válido sobre dinâmicas específicas; Sensibilidade Os indicadores devem refletir mudanças relativas às ações previstas decorrentes de determinada intervenção; 31 Especificidade Significa que é necessário utilizar medidas capazes de refletir alterações estritamente ligadas às mudanças relacionadas à dimensão de interesse; Inteligibilidade – os procedimentos metodológicos e critérios adotados para a construção de indicadores devem ser explicitados de forma clara e objetiva; Factibilidade para obtenção – a construção dos indicadores deve ser compatível com o tempo e o custo dos dados para seu processamento; Periodicidade e seleção – a periodicidade regular do indicador e sua disponibilidade em tempo real são dimensões fundamentais para sua escolha, dada a necessidade de acompanhar as mudanças, avaliar os efeitos de programas e corrigir eventuais distorções de implementação; Desagregabilidade – os indicadores devem ser passíveis de desagregação populacional ou territorial, sendo possível reproduzi-los para áreas geográficas específicas ou estratos populacionais determinados, sem prejuízo de comparação entre os dados do universo e aqueles que representam partes específicas; Historicidade – propriedade associada à possibilidade de comparabilidade dos indicadores ao longo do tempo, de maneira a possibilitar a construção de séries históricas para análise de tendências. Entretanto, conforme alerta documento da Egap (2005, p. 9), “de uma perspectiva aplicada, é raro dispor de indicadores que se constituam de todas essas propriedades. O importante é que sua escolha seja fundamentada em uma avaliação crítica e consistente de suas propriedades, tendo em vista que é fundamental garantir a validade dos indicadores utilizados, a confiabilidade das medidas calculadas e sua transparência metodológica”. 32 Apesar da necessidade de produção de indicadores que atendam aos requisitos de simplicidade e comunicação rápida e direta, é pertinente ponderar que a multiplicidade de atores deve ser um aspecto relevante a ser considerado, dada a utilização dos indicadores por distintos públicos. Estes podem variar entre técnicos especializados, acadêmicos, entidades de planejamento público, agentes tomadores de decisão, até o público em geral. A construção dos indicadores deve se estruturar a partir de alguns princípios. Os indicadores devem levar em conta objetivos realistas, considerando o contexto econômico; ser exequíveis, ou seja, estabelecer metas ou padrões de comparação que possibilitem que os objetivos sejam efetivamente alcançados em um determinado período; ser desafiadores, o que significa que precisam colocar metas ambiciosas, resguardado o princípio de exiguidade; estabelecer relações entre entes passíveis de comparação, embora com graus diferenciados de desenvolvimento; ser claros, ou seja, suas relações de causalidade devem ser definidas e sua interpretação não pode ser ambígua. O processo de avaliação não se esgota no ato de montagem e interpretação dos indicadores. De fato, a verificação do desempenho está relacionada a uma abordagem analítica mais ampla, que implica a interpretação de todo o processo de planejamento ou de uma ação de conteúdo programático, que contrapõe os resultados alcançados diante das expectativas existentes, apontando os fatores estratégicos responsáveis pelo produto final. 33 Tipologia de indicadores Nesse extenso campo de aplicação do processo de mensuração, há numerosas formas de se estabelecer uma tipologia de indicadores. Entretanto, do ponto de vista dos indicadores de avaliação, os mais importantes são aqueles que, associados às ações de políticas públicas, dimensionam o ciclo completo dos programas: “indicadoresinsumos”, que detalham os recursos humanos, financeiros, institucionais, científicos e tecnológicos, etc., usados para a implementação dos programas; “indicadores-resultados”, que apresentam os impactos dos programas; e “indicadores-processos”, que refletem o esforço de alocação de recursos vis-à-vis os bens e serviços disponibilizados. Os indicadores concentram-se em três aspectos do processo de mensuração: Eficiência São consideradas as relações entre insumo e produto, relacionando-se diretamente com a questão da produtividade – pressupondo a manutenção dos padrões de qualidade, quanto menores os recursos para a produção de uma mesma quantidade de bens e serviços, maior a eficiência do esforço despendido; Eficácia São englobados os aspectos relacionados ao alcance das metas planejadas e aos recursos utilizados, com ênfase na qualidade dos serviços prestados ou dos bens produzidos; Efetividade Mede os impactos das ações diante dos resultados inicialmente previstos, no contexto mais amplo dos ambientes sociais e econômicos. Os indicadores podem ainda ser quantitativos (construídos a partir de estatísticas) ou qualitativos (resultantes de avaliações, tais como pesquisas de opinião ou grupos de discussão); simples (processados a partir de uma estatística específica ou referidos a uma situação determinada) ou compostos (indicadores sintéticos, elaborados a partir de um ou mais indicadores). Podem também ser classificados segundo sua natureza temática, tais como indicadores de saúde, indicadores de mercado de trabalho, indicadores de renda, indicadores de pobreza, etc., ou serem agregados em termos de sistemas, como 34 de Informações Sociais, de Indicadores Socioeconômicos, de Desenvolvimento Humano, etc. (JANNUZZI, p. 2001). Segundo o PNUD (2002), a seleção de indicadores é parte estratégica para avaliação dos programas de forma global. Sua escolha deve estar amparada por critérios de avaliação específicos para cada fase do ciclo de implementação dos programas públicos. Indicadores - Programa de Metas Para a Agenda 2012, os indicadores de resultados foram definidos como aqueles que se referem aos impactos dos serviços públicos na população – visam dimensionar o impacto dos produtos e serviços na realidade social, estando, portanto, relacionados aos objetivos finais dos programas públicos. Distinguem-se, portanto, dos indicadores referentes aos insumos e aos processos dos serviços, que são indicadores intermediários e traduzem o esforço operacional de alocação e organização dos recursos para obtenção de bens e serviços a serem disponibilizados à população. Para a seleção de indicadores de resultados do Programa de Metas, foi realizado um levantamento nos sites do Instituto Brasileiro de Geografia e Estatística (IBGE), Fundação Sistema Estadual de Análise de Dados (Seade), Movimento Nossa São Paulo, Companhia de Engenharia de Tráfego (CET), Metrô (Pesquisa Origem e Destino) e do Programa de Aprimoramento das Informações de Mortalidade (SMS/Pro-Aim), entre outros. Foram também consultadas as publicações Ripsa (2008), São Paulo (2007) e São Paulo (2008). Alguns critérios presidiram a seleção dos indicadores: disponibilidade do dado; compatibilidade com a definição adotada; correspondência com os objetivos traçados pelo Programa de Metas; validade de constructo; confiabilidade; inteligibilidade e legitimidade social (JANNUZZI, 2006, p. 26-31). Nas páginas seguintes, encontra-se a relação dos indicadores selecionados e classificados conforme os eixos do Programa de Metas, método de cálculo, periodicidade e desagregação espacial. 35 Cidade de Direitos Indicador P Taxa de Mortalidade Geral (por local de residência) (Por mil habitantes) Taxa de Mortalidade da População entre 15 e 34 Anos (Por cem mil hab na faixa etária) Taxa de Mortalidade da População de 60 Anos e Mais (Por cem mil hab na faixa etária) Taxa de Mortalidade por AIDS (Por cem mil habitantes) Taxa de Mortalidade por Causas Externas (Por cem mil habitantes) Taxa de Mortalidade por Agressões (Por cem mil habitantes) Taxa de Mortalidade por Homicídios Taxa de Mortalidade por Homicídios da População entre 15 e 34 anos Taxa de Mortalidade Infantil (Por mil nascidos vivos) Taxa de Mortalidade Neonatal (Por mil nascidos vivos) Taxa de Mortalidade Pós Neonatal (Por mil nascidos vivos) Taxa de Mortalidade Perinatal (Por mil nascidos vivos ou mortos) Taxa de Natimortalidade (Por mil nascidos vivos ou mortos) (1) Taxa de Mortalidade Materna Saúde - Partos Cesáreos (Em %) Saúde - Gestações Pré-termo (Em %) Saúde - Mães Adolescentes (com menos de 18 anos) (Em %) Saúde - Nascimentos de Baixo Peso (menos de 2,5kg) (Em %) Taxa de Analfabetismo Média de Anos de Estudo da População Taxa de Analfabetismo Funcional Escolaridade da População Economicamente Ativa Taxa da população em situação de rua Periodicidade - P Anual Bianual Decenal (2) Censitário Variada Em definição Desagragação/Território - D/T Município 36 Distrito Subprefeitura Setor censitário Estação da Cetesb Método de cálculo D/T Fonte Óbitos totais sobre população ao meio do período Seade.SMS. Óbitos da população de 15 a 34 anos sobre a população na faixa etária Seade.SMS. Óbitos da população de 60 anos e mais sobre a população na faixa etária Seade.SMS. Óbitos por AIDS sobre população ao meio do período Seade.SMS. Óbitos por causas externas sobre população ao meio do período Seade.SMS. Óbitos por agressões sobre população ao meio do período Seade.SM Óbitos por homicídios sobre população (por cem mil hab) Seade.SMS. Óbitos por homicídios sobre pop 15 a 34 anos (por cem mil) Seade.SMS. Óbitos de menores de 1 ano sobre nascidos vivos Seade.SMS. Óbitos de 0 a 27 dias de vida sobre nascidos vivos Seade.SMS. Óbitos de 28 a 364 dias de vida sobre nascidos vivos Seade.SMS. (nascidos mortos + óbitos de 0 a 6 dias de vida) sobre (nascidos mortos + nascidos vivos) Seade.SMS. Nascidos mortos sobre (nascidos vivos + nascidos mortos) Seade.SMS. Óbitos femininos por causas maternas, por cem mil nascidos vivos Seade.SMS. Proporção de Partos cesáreos de Nascidos Vivos em relação ao total de Nascidos Vivos Seade Proporção de Nascidos Vivos com menos de 37 semanas de gestação em relação ao total de Nascidos Vivos. Seade Proporção de Mulheres com idade inferior a 18 anos e que tenham tido pelo menos um filho Seade nascido vivo no ano de referência, em relação ao total de mulheres que tiveram filhos nesse mesmo período Proporção de Nascidos Vivos com peso inferior a 2,5 kg em relação ao total de Nascidos Vivos Seade % não sabe ler e escrever na população de 15 anos e mais IBGE.Censo Número médio de anos de estudo da pop de 15 anos e mais IBGE.Censo % c/ menos de 4 anos de estudo pop de 15 anos e mais IBGE.Censo Nº médio de anos de estudo da PEA Seade. PED Pop rua por cem mil hab de 18 anos e mais SMADS.Fipe 37 Cidade de Direitos Indicador P Pessoas com deficiência com emprego formal (3) Mulheres com emprego formal Negros com emprego formal Proporção da população com rendimento familiar per capita até meio salário mínimo Rendimento familiar médio Rendimento familiar per capita Índice de Conforto Domiciliar Índice de desenvolvimento Humano municipal - IDHM (4) Índice Paulista de Responsabilidade Social IPRS - dimensão riqueza Índice Paulista de Responsabilidade Social IPRS - dimensão longevidade (4) Índice Paulista de Responsabilidade Social IPRS - dimensão escolaridade (4) Índice Paulista de Vulnerabilidade Social _ IPVS (5) Índice de Vulnerabilidade Juvenil - IVJ IDH - Índice de Desenvolvimento Humano Observações (1) Indicador inadequado para desagregação por distrito municipal devido ao pequeno número de ocorrências. (2) Indicador inadequado para desagregação por distrito municipal devido à mobilidade espacial dessa população. (3) A confirmar. (4) Os indicadores do IPRS sintetizam a situação de cada município no que diz respeito a riqueza, escolaridade e longevidade, e quando combinados geram uma tipologia que classifica os municípios do Estado de São Paulo em cinco grupos (5) revisão 2000-2005 dados da PED Periodicidade - P Anual Bianual Decenal Censitário Variada Em definição Desagragação/Território - D/T Município 38 Distrito Subprefeitura Setor censitário Estação da Cetesb Método de cálculo D/T Fonte % dos empregos formais ocupados por deficientes Rais % dos empregos formais ocupados por mulheres Rais % dos empregos formais ocupados por negros Rais % da pop com até meio S.M. rendimento/nº famílias rendimento familiar/nº membros da família Domicílios segundo área construída (em m2) por habitante TPCL. IBGE Indicador que focaliza o município como unidade de análise, a partir das dimensões de longevidade, educação e renda, que participam com pesos iguais na sua determinação Seade combinação linear de quatro variáveis, sendo expresso em uma escala de 0 a 100, na qual o 100 representa a melhor situação e zero, a pior Seade combinação linear de quatro taxas de mortalidade, sendo expresso em uma escala de 0 a 100, na qual o 100 representa a melhor situação e zero, a pior Seade combinação linear de quatro variáveis, sendo expresso em uma escala de 0 a 100, na qual o 100 representa a melhor situação e zero, a pior Seade indicador que possibilita a identificação dos espaços e dimensões da pobreza no Estado de São Paulo. Seade indicador que sintetiza o grau da exposição da juventude de cada distrito do município de São Paulo aos riscos do baixo desenvolvimento socioeconomico. Seade (IDH-E + IDH-S + IDH-R)/3 IBGE 39 Cidade Criativa Indicador P Participação dos estabelecimentos diretamente relacionados à cultura no total de estabelecimentos econômicos Participação dos empregos diretamente relacionados à cultura no total de empregos Participação dos estabelecimentos indiretamente relacionados à cultura no total de estabelecimentos econômicos Participação dos empregos indiretamente relacionados à cultura no total de empregos Rendimento médio do emprego diretamente relacionado à cultura Rendimento médio do emprego indiretamente relacionado à cultura Escolaridade do emprego diretamente relacionado à cultura Escolaridade do emprego indiretamente relacionado à cultura Eventos culturais: economia criativa e cultura e lazer Grandes feiras e exposições comerciais nos equipamentos de grande porte: Anhembi, Imigrantes, Center Norte, Transamérica, etc. Taxas de ocupação em hotéis Acervo de Bibliotecas Públicas/ população Distribuição de Bibliotecas Públicas Índice de Criatividade-Euro (**) Índice de Talentos (**) Índice de Tecnologia (**) Índice de Tolerância (**) Periodicidade - P Anual Bianual Decenal Censitário Variada Em definição Desagragação/Território - D/T Município 40 Distrito Subprefeitura Setor censitário Estação da Cetesb Método de cálculo D/T Fonte % / total Rais % / total Rais % / total Rais % / total Rais total rend / emprego Rais total rend / emprego Rais Média de anos de estudo Rais Média de anos de estudo Rais número de eventos/ano Spturis número de eventos/ano Spturis ocupação média/ano ABIN-SP(*) acervo/habitante>7 anos SMC habitantes/n0 bibliotecas SMC Soma das pontuações sobre o talento, tecnologia e tolerância índices dividido pela pontuação máxima possível. MSP Classe criativa: medida de profissões criativas (retiradas da Organização Internacional do Trabalho para a base de dados européia). Índice de capital humano: medida do percentual da população com idades compreendidas entre os 24-64 anos, com um diploma de bacharel ou ensino superior completo. Índice de talento científico: medida do número de cientistas e engenheiros/1.000 trabalhadores. MSP Índice de inovação: medida do número de patentes por milhão de pessoas. Índice de inovação em Alta Tecnologia (High-tec): Medida do número de patentes em alta tecnologia por milhão de pessoas. Índice de P&D: Medida da despesa em P&D em percentual do PIB. MSP Índice de atitudes: medida de atitudes em relação a minorias (base no inquérito do Eurobarómetro). MSP Índice de valores: medida de valores e atitudes que abrangem diferentes aspectos do sistema de valores em um país (como a religião, o nacionalismo, a autoridade, a família, o direito das mulheres, divórcio e o aborto). Índice de liberdade de expressão: medida de atitudes no sentido da liberdade de expressão, a qualidade de vida, a democracia, “trustes”, lazer, entretenimento e cultura. (**)Fonte: Florida e Tinagli, 2004:42-44. Measuring the Creativity of a society (*) Associação Brasileira da Ind. de Hotéis São Paulo 41 Cidade Sustentável Indicador P Método de cálculo D/T Fonte Cobertura vegetal por habitante (1) m2 cobertura vegetal/hab SVMA e IBGE Área verde por habitante (2) m2 áreas verde/hab SVMA, SMDU e IBGE Índice de qualidade do ar % de registros de boa qualidade do Cetesb ar em relação ao total de registros Taxa de mortalidade por acidentes de Óbitos por acidentes de transportes SMS. Pro-Aim e sobre população (por cem mil hab) IBGE (estimativa) transportes (3) Índice de congestionamentos Tempo médio percorrido casa-trabalho Distância média percorrida casa-trabalho Observações (1) Cobertura vegetal: todas as manchas de vegetação independentemente da metragem. (2) Áreas verdes = áreas públicas e de recreação (parques urbanos, parques lineares e praças) (3) Indicador inadequado para desagregação por subprefeitura ou distrito, uma vez que a fonte de dados considera, na classificação, o local de moradia da vítima e não o local da ocorrência. Cidade Eficiente Indicador P Método de cálculo D/T Fonte Necessidades de Financiamento do Município (em definição) SF Capacidade de Investimento do Município (em definição) SF Relação Serviço da Dívida/ Receita Serviço da Dívida/Receita (Receita TributáriaSF Própria + Receita da Dívida Ativa) / Receita Total Autonomia Tributária (Receita Tributária Própria + Receita da DívidaSF Ativa+Devolução Tributária) / Receita Total Autonomia por Base Territorial Rigidez do Orçamento Total (Despesas obrigatórias + despesas de pessoal +SF despesas com legislativo + serviço da dívida) / Orçamento Total Nível de Investimento Efetivo Investimento/Receita Total SF Nível de Endividamento Dívida Bruta/Receita Total SF PIB "per capita" PIB/População IBGE/Seade Periodicidade - P Anual Bianual Decenal Censitário Variada Em definição Desagragação/Território - D/T Município 42 Distrito Subprefeitura Setor censitário Estação da Cetesb Cidade de Oportunidades Indicador P Método de cálculo D/T Fonte Taxa de desemprego de jovens entre 15 e 24 anos, por sexo e total. Desempregados /PEA (15 a 24 anos) Seade Taxa de Atividade (Taxa de Participação) PEA/PIA Seade Taxa de Desemprego/ Desocupação Desempregados (ou Desocupados)/PEA Seade Rendimento médio por posição na ocupação Total de Rendimentos/posição na ocupação Ocupados/posição na ocupação Seade Rendimento médio por sexo, cor e grau de instrução Total de Rendimentos (sexo, cor e grau de instrução)/ocupados (sexo, cor e grau de instrução) Seade Participação das pequenas e médias empresas (estab) nº de pequenas e médias empresas / total de empresas MTE/RAIS Dimensão da economia informal (em definição) SEADE/MTE/RAIS Dimensão do setor financeiro (em definição) BCB/MTE/RAIS Cidade Inclusiva Indicador P Método de cálculo D/T Fonte Concentração - Rendimentos Índice de Gini IBGE Concentração - População (Idade, sexo, cor, etc.) Índice de Gini IBGE Concentração - Escolaridade (Anos de Estudo) Índice de Gini IBGE Concentração - Mortalidade/Causas Externas Índice de Gini SEADE/SMS Concentração - Demais indicadores Índice de Gini Variadas Análise estatística para formar agrupamentos Cluster Analysis Variadas homogêneos de distritos com base numa seleção dos indicadores. Observações (1) Índice de Gini é uma medida de concentração ou desigualdade comumente utilizada na análise da distribuição de renda, mas que pode ser utilizada para medir o grau de concentração de qualquer distribuição estatística. Assim, pode-se medir o grau de concentração de posse da terra em uma região, da distribuição da população urbana pelos distritos, de uma indústria considerando o valor da produção ou o número de empregados de cada empresa, etc. (2) Avaliar possibilidade de cálculo do Índice de Gini. (3) Para os indicadores com abrangência mínima de distrito, seria possível uma análise para tentar formar agrupamentos homogêneos. A construção desses grupos poderá ajudar o entendimento e identificação das desigualdades socioterritoriais. 43 Referências bibliográficas ADRIAANSE, A. Environmental policy performance indicators. Sdu Uitgeverij, The Hague, 1993. Associação Brasileira de Normas Técnicas, http://www.abnt.org.br/fale_body.htm#, 25/12/2005. BRASIL. Tribunal de Contas da União. Técnicas de auditoria: indicadores de desempenho e mapa de produtos. Brasília, Tribunal de Contas da União, Coordenadoria de Fiscalização e Controle, 2000. EGAP – Escola de Governo de Administração Pública. Indicadores para monitoramento de programas e projetos. São Paulo, Fundap, 2005. EUROPEAN COMMISSION. Common guidelines for monitoring and evaluation. Luxembourg: Opoce, 1995. FONSECA, D. M. da. Contribuições ao debate da pós-graduação lato sensu. Revista Brasileira de Pós-Graduação (Capes), Brasília, v. 1, n. 2, p. 173-182, nov. 2004. GALLOPÍN, G.C. Indicators and their use: information for decision-making. In: MOLDAN, B.; BILLHARZ, S. (Eds.), Sustainability indicators – Report of the Project on Indicators of Sustainable Development. Chichester: John Wiley, 1997, p.13–27. HAMMOND, A. et al. Environmental indicators: a systematic approach to measuring and reporting on environmental policy performance in the context of sustainable development. Washington: World Resources Institute, 1995. HOLLING, C.S. Adaptive environmental assessment and management. Chichester: John Wiley & Sons, 1978. JANNUZZI, P. de M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. Campinas/São Paulo: Ed. Alínea, 2001. JOLLANDS, N.; PATTERSON, M. Four theoretical issues and a funeral: improving the policy-guiding value of eco-efficiency indicators. Environment and Sustainable Development, vol. 3, n. 3/4, 2004. KUSEK J.Z.; RIST R.C. Ten steps to a results-based monitoring and evaluation system ten steps to a results-based monitoring and evaluation system. Washington, D. C.: World Bank, 2004. MANOLIADIS, O. Development of ecological indicators – a methodological framework using compromise programming. Ecological Indicators, vol. 2, n. 1–2, p.169–176, 2002. OECD. Core set of indicators for environmental performance reviews. Paris, OECD, 1993 (Environmental monographs, n. 83). PNUD – United Nations Development Programme Evaluation Office. Handbook on monitoring and evaluating for results. New York, NY 10017, USA, 2002. RIBEIRO, E.A.W. Eficiência, efetividade e eficácia do planejamento dos gastos em saúde. Revista Brasileira de Geografia Médica e da Saúde, 2(2):27-46, jun. 2006. WORLD BANK. Performance monitoring indicators: a handbook for task managers. Washington, D. C.: Operations Policy Departament, 1996. 44 Equipe técnica* Coordenação Geral Manuelito Pereira Magalhães Júnior Mário Jorge Gusmão Bérard Coordenação Executiva Silvia Anette Kneip Coordenação Técnica Tomás Cortez Wissenbach Equipe técnica André de Freitas Gonçalves Carlos Eduardo Torres Freire Claudia Antico Fernando Luís Polo Gabriel de Vasconcellos Pessoa José Marcos Pereira Araújo Matias Chambouleyron Olímpio Bezerra Campos de Souza Tatiana de Freitas Sousa Indicadores André de Freitas Gonçalves Arlete Lúcia Bertini Leitão José Benedito de Freitas José Marcos Pereira de Araujo Marcos Toyotoshi Maeda Márcia Regina Alessandri Maria Isabel Rodrigues Paulino Maria Raimunda Marinho Regina Magalhães de Souza Sílvio César Lima Ribeiro Vagner de Carvalho Bessa Estagiários Elaine Cristina Melgaço Nicholas Romão Paula Campos Dell´Omo (*) A Agenda 2012 contou ainda com a colaboração de diversos técnicos dos outros órgãos envolvidos. A relação completa pode ser conhecida no site www.prefeitura.sp.gov.br/agenda2012 45 Projeto gráfico e diagramação Ctrês Capa Claudia Vieira 46