unalmed.edu.co

Introdução ao planejamento e análise de
pesquisas para avaliação de impacto de
políticas públicas
Pedro Silva
Julho de 2010
Conteúdo
• Avaliação de políticas
• Desenhos usados em estudos de avaliação
• Métodos de estimação
• Pesquisas amostrais como fontes de dados para avaliação
de políticas
• Planejando pesquisas para avaliação de políticas
• Um exemplo do Brasil
2
O que é avaliação de políticas?
• Utilização de vários métodos de investigação
para:
– Investigar a efetividade de implementação, processos e
intervenções;
– Determinar seu impacto em termos da melhoria de
condições econômicas e sociais de diferentes envolvidos.
• Pesquisas amostrais se tornaram importantes
instrumentos de pesquisa para avaliação de
políticas
3
Métodos de investigação podem ser
• Quantitativos e qualitativos;
• Desenhos experimentais ou não-experimentais;
• Métodos descritivos e de inferência.
• Outras abordagens incluem:
– Métodos baseados em teoria ou processo lógico;
– Métodos de síntese de estudos (meta-análise); e
– Avaliações de custo-benefício.
4
Tipos de avaliação (1)
• Dois tipos de avaliação comumente usados incluem avaliação
Somativa (‘summative’) e avaliação Formativa (‘formative’).
• Avaliação Somativa busca responder perguntas sobre o impacto de
uma política ou intervenção sobre grupos específicos de pessoas ou
unidades, tendo foco em resultados específicos.
• Busca estimar os efeitos da política em termos do que era esperado
no princípio, seja comparando com alguma outra intervenção ou com
‘fazer nada’ (situação contra-factual).
5
Tipos de avaliação(2)
• Avaliação formativa busca responder perguntas tipo como,
porque e para quem uma intervenção funciona (ou falha).
• Também procura informar sobre fatores contextuais e
mecanismos que levam ao sucesso (falha) de uma política.
• Busca também informações que permitam aprimorar a implementação
de programas, detectar e resolver problemas não previstos à medida
que vão sendo encontrados, ou documentar o progresso obtido na
busca de alcançar certos resultados desejados.
• Geralmente se faz durante o desenvolvimento ou estágios iniciais de
implantação de uma política, inclusive em testes piloto.
6
Requisitos para sucesso de uma avaliação
• A intervenção (política) e a população alvo estão bem
definidas e são identificáveis.
• Os resultados desejados da intervenção são claros,
específicos e mensuráveis.
• Um plano de avaliação adequado pode ser pactuado e
implementado, com suficientes recursos alocados.
7
Exemplo de especificação de avaliação
1. Qual é o efeito de introduzir um programa de incentivo à
manutenção das crianças e adolescentes na escola
(intervenção) em termos da sua freqüência e
desempenho escolar (resultados) para famílias em
situação de pobreza (população alvo)?
2. Qual é o efeito de oferecer um programa de capacitação
profissional (intervenção) a adultos que recebem seguro
desemprego por mais de 6 meses (população alvo) em
termos de seus prospectos de reinserção no mercado de
trabalho (resultados)?
8
Desenhos para avaliação
• Pergunta chave: “O que teria acontecido se a intervenção não fosse
feita?”
• Impossível de observar na prática.
• Desenhos para avaliação tentam aproximar esta situação mediante
criação de um ‘grupo de controle’ (situação contra-factual) formado
por ‘não participantes’ ou ‘não beneficiários’ do programa ou política.
• Os métodos usados para identificar o grupo de controle podem ser
classificados em três categorias:
– Experimentais;
– Quase-experimentais;
– Não-experimentais.
9
Desenhos experimentais (aleatorizados)
• Envolvem amostragem de um conjunto de indivíduos elegíveis
e dispostos a participar, e sua alocação em dois grupos:
– dos que vão receber a intervenção (grupo de tratamento); e
– dos que não vão receber a intervenção (grupo de controle).
• Considerado o mais robusto dos métodos de avaliação.
• Geralmente permite evitar problemas de ‘viés de seleção’.
• Principal vantagem é simplicidade da análise: o impacto
sobre o resultado que se quer avaliar é medido pela diferença de
estimativas de médias para os grupos tratamento e controle.
10
Viés de seleção (1)
• Participantes do programa podem diferir dos não participantes em
características não observadas (na pesquisa), tais como habilidade
ou motivação, que afetam:
– A decisão de participar do programa, e
– Os resultados da participação.
• Participantes do programa podem ser indivíduos que têm mais a
ganhar de um programa particular, e estão portanto mais motivados
para comprometer-se com as atividades do programa.
• Assim variações nos resultados observadas entre estes grupos ‘não
aleatórios’ de indivíduos podem indicar impacto sobre participantes
motivados, mas não refletir como o programa afetaria ‘na média’ aos
membros da população alvo.
11
Viés de seleção (2)
•
O problema surge porque não há dados sobre os fatores que afetam tanto a
participação como os resultados.
•
Em desenhos quase-experimentais ou não-experimentais, métodos
econométricos são geralmente usados para modelar os processos de
participação e de resultados, e para chegar a estimativas não viesadas do
impacto do programa.
•
Pareamento baseado em escores de propensão e regressão múltipla controlam
para seleção em variáveis observadas, enquanto métodos de variáveis
instrumentais controlam para seleção em variáveis não observadas.
•
A idéia geral é comparar participantes e não participantes do programa,
mantendo o processo de seleção ‘constante’.
•
A validade de resultados de avaliações baseadas em métodos quaseexperimentais ou não-experimentais depende da qualidade do ajuste do
modelo especificado e de hipóteses não testáveis.
12
Dificuldades com desenhos experimentais
• Aleatorização pode ser inaceitável por razões éticas ou políticas,
devido à negação de benefícios ou serviços a indivíduos elegíveis.
• O escopo da intervenção pode impedir a seleção de um grupo de
controle (por exemplo, mudança numa política nacional).
• Indivíduos nos grupos tratamento e controle podem trocar de
grupo durante o experimento, contaminando os resultados.
• Pode ser difícil assegurar que a alocação nos grupos é
genuinamente aleatória.
• Pode ser caro e demorado em certas situações.
13
Desenhos quase-experimentais
• Consistem da construção de grupos de comparação ‘a posteriori’,
mediante métodos de pareamento ou de comparação reflexiva.
• Pareamento envolve a identificação de não participantes
comparáveis em características essenciais aos participantes.
• Indivíduos devem ser pareados usando características observáveis
que se sabe ou se acredita que podem influenciar os resultados da
política.
• Pareamento baseado em escores de propensão liga o grupo de
tratamento ao grupo de controle usando probabilidades condicionais de
participação dadas as características observadas.
+ Mais rápidos e baratos de implementar.
− Confiabilidade dos resultados é reduzida – podem não
evitar o viés de seleção.
14
Desenhos quase-experimentais
• Na comparação reflexiva, participantes do programa são
observados antes e depois da intervenção, e funcionam
simultaneamente como tratamento (após) e controle (antes).
+ Mais útil em avaliações de intervenções de cobertura completa,
tais como políticas universais em que toda a população participa e não é
possível definir grupos de controle.
− Principal desvantagem: a situação dos participantes antes e depois
da intervenção pode variar por razões independentes da política que se
quer avaliar.
– Ex: Participantes num programa de treinamento podem ter sua chance de
emprego aumentada.
– Se isto pode ser atribuído ao treinamento, também pode ser atribuído a
uma recuperação da economia após uma crise.
15
Desenhos não-experimentais
• Participantes são comparados com não-participantes
usando métodos estatísticos para controlar diferenças
entre os grupos.
• Variáveis instrumentais podem ser usadas para corrigir
viés de seleção em análises de regressão.
• Consiste em usar uma ou mais covariáveis (instrumentos)
que explicam a participação no programa, mas não os
resultados do programa dada a participação.
+ Relativamente baratos e fáceis de implementar.
− Confiabilidade dos resultados é reduzida – podem
não evitar o viés de seleção.
16
Métodos de estimação e análise
• Devem derivar do desenho de avaliação adotado.
• Podem ser classificados em quatro categorias:
– Comparação de médias desenho experimental
requerido;
– Pareamento com escores de propensão;
– Regressão múltipla;
– Regressão múltipla com variáveis instrumentais; e
– Dupla diferença (diferença da diferença).
17
Método da dupla diferença
• Pode ser aplicado tanto com desenhos experimentais como quaseexperimentais
• Uma pesquisa de linha de base (baseline) é realizada para observar
os indicadores de resultados para um grupo de controle e um grupo de
tratamento antes da intervenção.
• Uma pesquisa de seguimento (follow-up) das mesmas unidades
amostradas na pesquisa de linha de base é realizada após a
intervenção.
• Estima-se a diferença média entre os valores após e antes dos
indicadores de resultados para os grupos de tratamento e de controle.
• A diferença entre estas duas diferenças médias (isto é, a diferença das
diferenças) fornece a estimativa do impacto da política.
18
Estimativa de dupla diferença
19
Pesquisas como fontes de informação
para avaliações
• Pesquisas amostrais são ferramentas eficientes para coletar
dados.
• Pesquisas bem planejadas, mesmo com pequenas amostras,
podem fornecer estimativas acuradas para parâmetros de
modelos ou populações.
• Dois tipos de pesquisas são usadas para avaliação de políticas:
– Pesquisas existentes ou de múltiplos propósitos;
– Pesquisas específicas para o estudo da política em questão.
20
Usando dados de pesquisas existentes
• Geralmente requer ajuste de modelos de regressão aos dados da
pesquisa, e a realização de inferências para parâmetros de modelos.
• Análise secundária de dados de pesquisas existentes – geralmente tem
baixo custo comparado com o desenvolvimento de estudos específicos.
• Pesquisas de múltiplos propósitos são estudos observacionais.
• Portanto têm capacidade limitada de permitir inferência sobre
relações causais.
• Capacidade limitada de identificação de grupos de tratamento e
controle em pesquisas deste tipo.
21
Exemplo
• Considere utilizar dados da situação ocupacional da
pesquisa de força de trabalho como indicador de resultado
individual (pessoa está ocupada / trabalhando).
• A pesquisa pode incluir indivíduos de dois conjuntos de
municípios:
– Onde foi realizado um programa de treinamento para desocupados;
– Onde nenhum programa deste tipo foi implementado ainda.
• Oferece capacidade limitada de observar indivíduos antes e
depois que o programa de treinamento seja realizado.
22
Pesquisas amostrais
• Fornecem oportunidades para desenhos quase- e não-experimentais.
• Selecionam-se indivíduos ao acaso, e depois separa-se os indivíduos
em grupos de acordo com o status de participante ou não do programa
ou política de interesse.
• Pesquisas longitudinais geralmente são necessárias para medir
indicadores de resultados antes e depois da intervenção.
• Pesquisas de linha de base e de seguimento são estratégia
freqüente.
• Planejamento adequado pode permitir empregar método da dupla
diferença.
23
Planejando pesquisas para avaliação de políticas
• Literatura ainda escassa.
• Crucial entender a política e seus resultados esperados.
• Obtenha acordo dos principais ‘stakeholders’ para um plano de
pesquisa e para as estratégias de análise e disseminação.
• Obtenha compromisso de financiamento do estudo, e de que não
haverá tentativas de interferir com os participantes da pesquisa.
• Organização de pesquisa deve adotar medidas de proteção, tais como:
– Garantias de não revelação da identidade de participantes;
– Programa de disseminação independente de resultados obtidos.
24
Pesquisa de Painel Simples
Seguimento
Linha de base
Controle
Controle
Intervenção
Tratamento
Amostra no
seguimento =
amostra da
linha de base
Tratamento
25
‘Screening’ (varredura)
• Freqüentemente não é possível identificar grupos de controle e
tratamento antes de selecionar a amostra para a pesquisa.
• Desenhos tipo ‘screening’ ou ‘varredura’ (amostragem em duas fases)
podem ser necessários.
• Idéia básica: amostra ‘grande’ selecionada na primeira fase, e usada
para localizar:
– Indivíduos não-elegíveis não-participantes;
– Indivíduos participantes.
• Informação da operação de varredura usada para estratificar a amostra
segundo os grupos de controle e tratamento, e então como cadastro
para selecionar a amostra da segunda fase.
26
Alguns exemplos de pesquisas do Brasil
• Pesquisa AIBF
– Cedeplar-MG
• Pesquisa Nacional de Saúde do Escolar 2009 (PENSE)
– IBGE
• ITC project (http://www.itcproject.org/)
27
Programa Bolsa Família
• Transferência de renda a famílias com renda per capita abaixo de:
– R$ 70,00 por mês (linha de extrema pobreza ≈ 1.3 USD por dia)
– Linha de pobreza (= R$ 140,00 por mês) e que tenham crianças ou
adolescentes no domicílio
• Valores das transferências
– R$ 68,00 por mês para famílias em pobreza extrema;
– R$ 22,00 por criança até R$ 66,00 por mês para famílias em pobreza;
– R$ 33,00 por adolescente (16-17 anos de idade) até R$ 66,00 por mês para
famílias em pobreza.
• ≈ 12 milhões de famílias beneficiadas (Julho de 2010)
28
Pesquisa AIBF
• Linha de base realizada em 2005 para avaliar impacto do
Programa Bolsa Família de transferência de renda.
• Pesquisa nacional por amostragem de domicílios.
• Plano amostral estratificado, conglomerado e em duas fases
(com operação de varredura).
• ≈ 15,000 domicílios & 68,000 indivíduos pesquisados.
• Pesquisa longitudinal de painel simples, com linha
de base e seguimento planejados.
29
Desafios do projeto
• Programa Bolsa Família começou em Novembro de 2003.
• Pesquisa ‘encomendada’ em Outubro de 2004, quando o programa já
atendia cerca de 4 milhões de famílias.
• Pesquisa de campo era desejada para março de 2005.
• Cadastros de famílias ou indivíduos elegíveis ou beneficiários era de
qualidade duvidosa na ocasião.
• Recursos alocados para a pesquisa eram bastante limitados (menos de
0,2% do orçamento anual do programa na ocasião).
• Projeto politicamente sensível, devido à vizinhança das eleições
presidenciais previstas para Outubro de 2006.
30
Estratégia geral
• Realizar pesquisa domiciliar por amostragem, porque não
dependeria da qualidade dos cadastros de pessoas e
famílias elegíveis e/ou beneficiárias.
• Cobertura de todas as famílias, inclusive não-elegíveis.
• Levar em conta experiência de pesquisas similares em
outros países: PROGRESA do México.
• Desenvolver instrumentos de avaliação adequados ao
contexto do programa brasileiro.
31
Cadastro
• Cadastro de setores censitários definidos para o Censo
Populacional de 2000
• Incluía total de moradores e domicílios por setor conforme
o Censo 2000
• Mapas e descrições de limites dos setores obtidos do Censo
• Algumas estatísticas agregadas em nível de município do
cadastro de beneficiários do programa usadas para efetuar
estratificação de áreas
32
Plano amostral
• Amostragem em duas fases
• Primeira fase: Amostragem estratificada de conglomerados – 3 estágios
– Municípios estratificados por tamanho e localização;
– Amostragem PPS dos municípios, com alguns municípios incluídos com
probabilidade igual a 1;
– Amostragem PPS dos setores censitários dentro dos municípios;
– Listagem / ‘screening’ de todos os domicílios nos setores selecionados.
• Segunda fase: amostragem estratificada simples de domicílios.
– Domicílios estratificados conforme eligibilidade e participação no
programa Bolsa Família;
– Todos os membros pesquisados nos domicílios selecionados.
33
Tamanho da amostra
• Tamanho total da amostra = 15,000 domicílios
• Número total de ‘localidades’ não deveria exceder cerca de 100
• Parâmetros de tamanho definidos para ajustar-se ao orçamento
disponível.
• Resultados desejados para três grandes regiões do país:
– Norte + Centro-Oeste (NO+CO)
– Nordeste (NE)
– Sudeste + Sul (SE+SU)
• Tamanhos de amostra alocados às três regiões iguais, para obter
precisão similar das estimativas.
34
Alocação da amostra entre grupos de
controle e tratamento
• Tratamento – 30% dos casos
– Domicílios já recebendo Bolsa Família.
• Controles Tipo 1 – 60% dos casos
– Domicílios elegíveis e cadastrados que ainda não estavam
recebendo o benefício.
• Controles Tipo 2 – 10% dos casos
– Todos os outros domicílios, incluindo os não elegíveis.
35
Razões para esta alocação
• Pesquisa seguimento planejada para ter lugar cerca de 1 ano após a de
linha de base.
• Trabalho de campo realizado durante 1 mês (novembro 2007 para LB).
• Esperava-se que grande parte dos controles de tipo 1 se tornariam
participantes (grupo de tratamento) entre as duas pesquisas.
• Comparações desejadas entre:
– Tratamento e controles tipo 1 (já na pesquisa de linha de base);
– Tratamento, entre as pesquisas de linha de base e a de seguimento;
– Controles tipo 1 que viraram tratamento na pesquisa de seguimento
(comparação reflexiva);
– Controles tipo 2, entre as pesquisas de linha de base e a de seguimento.
36
Plano amostral
• Municípios grandes (41)
• Outros Municípios
•
•
Fase 1 – Amostragem de
conglomerados em 2 estágios
•
Estratos = Regiões + Classes de taxas
de cobertura do programa
•
PSU = municípios ou grupos de
municípios (pop. > 50.000)
•
SSU = setores censitários
•
Seleção de PSUs: Amostragem
Seqüencial de Poisson
•
Screening + amostragem estratificada
de domicílios na fase 2
Fase 1 – Amostragem de
conglomerados em 1 estágio
•
Estratos = municípios
•
PSU = setores censitários
•
Seleção de PSUs: PPS sistemático
•
Screening + amostragem estratificada
de domicílios na fase 2
37
Amostra nos municípios grandes
• Cada município é um estrato para seleção de setores
censitários, e na segunda fase, de domicílios.
Região
Número de
municípios
(estratos)
Setores
selecionados por
município
Setores na
amostra
NO+CO
7
18
126
NE
11
15
165
SE+SU
23
15
345
Total
41
-
636
38
Amostra nos outros municípios
Região
PSUs na
população
Municípios na
população
PSUs na
amostra
SSUs
(setores)
na
amostra
Domicílios
na amostra
NO+CO
157
888
23
276
3.312
NE
480
1.775
25
300
3.600
SE+SU
783
2.802
17
204
2.040
1.420
5.465
65
780
8.952
Total
12 setores na amostra em cada PSU.
39
Tamanho total da amostra
Municípios grandes
Região
Outros municípios
Total
Setores
Setores Domicílios
Setores na Domicílios
Domicílios
na
na
na
amostra na amostra
na amostra
amostra amostra
amostra
NO+CO
126
1.512
276
3.312
402
4.824
NE
165
1.980
300
3.600
465
5.580
SE+SU
345
3.450
204
2.040
549
5.490
Total
636
6.942
780
8.952
1.416
15.894
12 domicílios por setor nas regiões NO+CO & NE, e
10 domicílios por setor nas regiões SE+SU
40
Tamanhos de amostra efetivos por região
Região
NO+CO
Domicílios
Pessoas Pessoas
com
na
por
entrevista
amostra domicílio
completa
4.433
21.314
4,8
NE
5.106
23.008
4,5
SE+SU
5.887
25.360
4,3
Total
15.426
69.682
4,5
41
Tamanhos de amostra por tipo de unidade
Estrato
Tratamento
Domicílios
Pessoas Pessoas
com
na
por
entrevista
amostra domicílio
completa
4.588
22.686
4,9
Controle tipo 1
9.036
41.068
4,5
Controle tipo 2
1.802
5.928
3,3
Total
15.426
69.682
4,5
42
Comentários finais
• Projeto bastante desafiador.
• Protocolo de pesquisa incluiu:
– Identidade e localização das unidades amostradas guardadas do
Ministério contratante da pesquisa.
– Disseminação dos resultados da pesquisa planejada para ter lugar
após as eleições.
– Microdados anonimizados para proteção de confidencialidade
depositados em arquivo público.
– Combinação de dados com outras fontes:
• ‘Pesquisa comunitária’ feita nas localidades com domicílios na amostra
(cerca de 100);
• Registros escolares das crianças recuperados para todas as crianças
entrevistadas na pesquisa.
43
Obrigado pela atenção!
44
Referências
• The World Bank Impact Evaluation website
• CEDEPLAR
(http://www.cedeplar.ufmg.br/pesquisas/projetos-concluidos/projeto-bolsafamilia.php)
• IBGE
(http://www.ibge.gov.br/home/presidencia/noticias/pense.shtm)
• The Magenta Book: Guidance notes for Policy Evaluation and Analysis
(http://www.gsr.gov.uk/professional_guidance/magenta_book/index.asp)
• Consórcio de Informações Sociais
(http://www.nadd.prp.usp.br/cis/index.aspx)
45
Amostragem de populações raras
(Kalton, 2001)
Amostrando populações raras
• Muitas pesquisas de avaliação de políticas focam em
subgrupos ‘raros’ da população
• Exemplos:
– Pessoas em situação de pobreza ou extrema pobreza;
– Pessoas em idade de aposentadoria (> 60 anos);
– Famílias com crianças em idade pré-escolar;
– Pessoas portadoras de deficiências;
– Etc.
47
Objetivos com amostragem de populações raras
• Há dois usos principais para amostras de populações raras:
• Estimar o tamanho (M) da população rara ou sua
prevalência (P=M/N);
• Medir características dos membros da população rara e
estimar medidas resumo (médias, razões, etc.) destas;
– Exemplo: estimar o gasto médio com atenção à saúde de
portadores de deficiências.
48
Pesquisas para estimar tamanho ou prevalência
• Há duas abordagens principais.
• Para estimar prevalência, a amostra deve cobrir toda a
população e métodos usuais de estimação de proporções
podem ser usados.
• Para estimar somente o tamanho, métodos baseados em
técnicas de ‘captura – recaptura’ podem ser usados.
– Exemplo: pesquisas de avaliação de cobertura de censos.
• Daqui para frente, foco em métodos para estimar resumos
de características das populações raras (segundo objetivo).
49
Amostrando populações raras
• Quando há um cadastro disponível listando os membros da
população ‘rara’ de interesse:
– Métodos usuais de amostragem podem ser empregados;
– Custos de pesquisa são menores;
– Preocupação maior deve ser com a qualidade e cobertura do
cadastro.
• Situação é mais difícil quando não há cadastro disponível
que permita identificar os membros da população rara.
• Neste caso, há que usar métodos especiais de amostragem.
50
Métodos especiais para amostrar populações raras
• Amostragem estratificada desproporcional;
• Screening ou varredura;
• Amostragem de locais x períodos (time-location sampling);
• Amostragem de múltiplos cadastros;
• Amostragem de multiplicidade (multiplicity sampling);
• Amostragem seqüencial ou inversa;
• Amostragem adaptativa;
• Acumulação de amostras.
51
Amostragem estratificada desproporcional
• Algumas populações raras são mais fortemente
concentradas em certas partes da população.
• Quando isto ocorre, pode ser vantajoso amostrar com maior
intensidade nas partes onde existe maior concentração.
• As partes da população são usadas como estratos, com
maiores frações de amostragem usadas nos estratos
com maior prevalência de membros da população rara.
• Estratégia pode ser eficiente por reduzir os custos de
varredura para identificar os membros da população rara.
52
Amostragem estratificada desproporcional
• Hipóteses de trabalho
– Média da característica y é a mesma em todos os estratos;
– Variância da característica y é a mesma em todos os estratos;
– Custo de varredura para não-membros da população rara (cs) é o
mesmo em todos os estratos;
– Custo de entrevista para membros da população rara (cr) é o
mesmo em todos os estratos.
• Amostra selecionada mediante amostragem aleatória
simples em cada estrato.
53
Alocação ótima da amostra
• Sob hipóteses de trabalho adotadas, fração ótima de
amostragem num estrato h é dada por:
fh ∝
Ph
Ph (r − 1) + 1
• Onde Ph = M h N h é a prevalência da população rara no
estrato h; e
•
r = cr cs é razão do custo de entrevista para o custo de
varredura.
54
Implicações da alocação ótima
• Na maioria dos casos, r > 1 (custos de entrevista
maiores que custos de varredura).
• Se r = 1, então f h ∝ Ph e alocação ótima seria
proporcional à prevalência em cada estrato.
• Exemplo: dois estratos, com prevalências de 64% e 4%.
– Com r = 1 a fração amostral no primeiro estrato deveria ser 4
vezes maior que no segundo.
– Com r = 4 a fração amostral no primeiro estrato deveria ser
2,48 vezes maior que no segundo.
55
Ganhos de eficiência
• Ganhos de eficiência em relação à alocação
proporcional:
(
(
)
)

M h Nh 
R=
=  ∑h

M N 
V y prop

V yopt
2
• Logo distribuições da população rara e total ao longo
dos estratos têm que diferir para obter ganhos de
eficiência com alocação desproporcional.
56
Varredura (screening) com amostras de áreas
• Grande parte das pesquisas domiciliares são feitas por
amostragem de áreas.
• Isto ocorre por não haver cadastros tipo lista disponíveis
para amostrar domicílios (ou pessoas) diretamente.
• Além disto, pesquisas conglomeradas são mais baratas
por unidade entrevistada.
• O mesmo vale para pesquisas que visam localizar membros
de populações raras.
• Mas nesse caso é necessária uma operação de varredura
(screening) antes da seleção de unidades para entrevistar.
57
Três tipos de situações distintas
• População rara está igualmente espalhada no território.
• População rara está desigualmente espalhada, com maiores
concentrações em certas áreas.
• População rara está desigualmente espalhada, com muitas
áreas sem qualquer membro da população rara.
• Os métodos adequados para amostragem variam conforme
a situação.
58
População rara igualmente espalhada no território
• Suponha plano amostral conglomerado em 2 estágios,
com:
– Amostragem aleatória simples de conglomerados;
– Amostragem aleatória simples de unidades;
– a conglomerados selecionados no 1º estágio;
– b unidades selecionadas no 2º estágio;
– Conglomerados têm igual tamanho;
– Custo total de pesquisa é dado por:
C = aC1 + abC2
59
População rara igualmente espalhada no território
• Sob estas condições, o número de unidades que se
deve amostrar por conglomerado é:
C1 1 − ρ
b=
C2 ρ
• Onde ρ é a correlação intraconglomerado da
principal variável de interesse y.
• Este é o resultado quando se quer estimar a média de
y para toda a população.
60
População rara igualmente espalhada no território
• Para populações raras igualmente espalhadas no
território, o número de unidades da população rara
que se deve amostrar por conglomerado é:
br =
C1
1− ρ
cr + cs (1 − P ) P ρ
• Isto ocorre porque o custo de amostrar cada unidade
da pop. rara é o custo de entrevista (cr) mais o custo
de varredura de unidades não pertencentes a esta
população (cs vezes o número de unidades visitadas
não membro para cada unidade entrevistada) .
61
Situações limite
• Se o custo de varredura for nulo (cs=0) e o custo de
entrevistar um membro da população rara for o mesmo que
para um não membro (isto é, C2=cr) então br= b.
• Se o custo de entrevista for igual ao custo de varredura
(cr=cs) então br=P1/2 b.
• Segue-se então que P1/2 b < br < b.
• Note que apesar de br < b o número total de unidades
visitadas (nT) por conglomerado é nT =br/P >> b.
• Ex.: Se P=0,10 e b=20 então 6 < br < 20 e 63 < nT < 200.
62
Amostragem Inversa
• Devida a Haldane (1945).
• Na amostragem usual, varredura de nT unidades (nT fixado)
é necessária para encontrar em média br unidades da
população rara (por conglomerado).
• Na amostragem inversa, varredura prossegue até encontrar
exatamente br unidades da população rara, sendo
necessário visitar nT unidades (nT é aleatório).
• Método usado na versão brasileira de Pesquisa Mundial de
Saúde (Vasconcellos, Silva e Szwarcwald, 2005).
63
População rara desigualmente espalhada no território
• Neste caso, pode-se usar amostragem estratificada
desproporcional.
• Alternativamente, usar amostragem de conglomerados com
probabilidade proporcional ao tamanho.
• Medida de tamanho deve ser aproximadamente
proporcional à prevalência da população rara por
conglomerado.
• Ex.: Amostra de população de japoneses e descendentes no
Brasil em 1988. Centro de Estudos Nipo-Brasileiros (1988).
64
Muitos conglomerados sem membros da pop. rara
• Se conglomerados puderem ser identificados com precisão
antes de amostrar, simplesmente remova-os do cadastro.
• Caso contrário, usar esquema ‘seqüencial’.
– Amostrar a conglomerados;
– Em cada conglomerado, amostrar b0 unidades;
– Se nenhuma unidade da pop. rara é encontrada num
conglomerado, interromper varredura no conglomerado.
– Se ao menos uma unidade da pop. rara é encontrada,
prosseguir até obter br unidades da pop. rara ou nT unidades.
• Pesos amostrais devem refletir mecanismo seqüencial.
65
Amostragem de locais x períodos
• Métodos usados para amostrar indivíduos que visitam
certos locais específicos, tais como bibliotecas, museus,
bares, centros comerciais, hotéis, etc.
• Amostragem é feita geralmente quando indivíduos entram
ou deixam locais selecionados.
• Duas unidades de análise distintas:
– Visitas;
– Visitantes.
– Ex. UK International Passenger Survey.
66
Amostragem de locais x períodos
• Amostras aleatórias de visitas facilmente produzidas com
este método.
– Ex. de pesquisa onde visita é unidade de análise adequada:
pesquisa de satisfação de visitantes de um museu.
• Em muitos casos, visitante é unidade de análise adequada.
• Problema: mesmo visitante pode fazer várias visitas aos
locais de interesse no período da pesquisa.
– Ex. Adultos que visitam bares, em pesquisa para saber se
pretendem dirigir depois de ingerir álcool.
67
Amostragem de locais x períodos
• Visitantes com múltiplas visitas têm maiores chances de ser
selecionados para amostra.
• Dificuldade: como obter informação acurada sobre número
de visitas feitas ou que serão feitas aos locais amostrados
durante período de referência da pesquisa.
• Duas alternativas principais para lidar com problema:
– Perguntar freqüência usual de visitas;
– Perguntar se a visita em questão é a primeira que faz durante o
período de referência da pesquisa, e entrevistar apenas os que
responderem ‘sim’.
68
Amostragem de locais x períodos
• Desenho usual: amostra conglomerada em dois estágios.
• UPAs construídas como combinações de locais e
segmentos de tempo em que os locais são visitados.
• UPAs são selecionadas com probabilidades proporcionais
ao tamanho, após cuidadosa estratificação.
• No segundo estágio, indivíduos selecionados por algum
mecanismo sistemático à medida que vão passando para
entrar ou sair do local amostrado.
• Ex. Pesquisa de condutores de veículos que freqüentam
bares em Porto Alegre, Brasil. De Boni et al (2010).
69
Referências
• Centro de Estudos Nipo-Brasileiros (ed.), Pesquisa da população de
descendentes de japoneses residentes no Brasil, 1987-1988 (1988, em
português e em japonês).
• De Boni, R. et al (2010). Beber e dirigir em uma amostra de condutores
que frequentam bares de Porto Alegre. SENAD.
http://www.obid.senad.gov.br/portais/OBID/biblioteca/documentos/Publicacoes/328040.pdf
• Haldane, JBS (1945). On a method of estimating frequencies.
Biometrika, 33, 222-225.
• Kalton, G. (2001). Practical methods for sampling rare and mobile
populations. Proc. ASA JSM.
• Vasconcellos, M.T.L.; Silva, P.L.N.; Szwarcwald, C.L. (2005). Sampling
design for the World Health Survey in Brazil. Cad. Saúde Pública, vol.
21, suppl.1, pp. S89-S99.
70
Ajustando modelos a dados
amostrais complexos
Inferência com Dados Amostrais Complexos
Podemos ignorar o plano amostral e modelar dados como
IID? NÃO
Se não, podemos ajustar procedimentos de inferência? SIM
COMO fazer inferência analítica usando dados amostrais
“complexos”? ⇓
Método da Máxima Pseudo-Verossimilhança (MPV)
72
Dados Amostrais “Comuns”
• Dados observados: y1 ,..., yn
• Modelo: y1 ,..., yn IID ∼ f(y;θ)
• Objetivo: inferência sobre parâmetro θ
• Verossimilhança da amostra
(θ; y) = ∏i∈s f ( yi ;θ )
73
Inferência para θ por máxima verossimilhança
• Log-verossimilhança
L(θ ; y ) = ∑ i∈s log[ f ( yi ;θ ) ]
Escores das
observações
• Equações de verossimilhança
∑i∈s ∂ log [ f ( yi ;θ )] / ∂θ = ∑i∈s ui (θ ) = 0
• Solução: θˆ estimador MV de θ
74
Estimando variâncias com MV
(grandes amostras)
V(θˆ) ≅ [ J (θ )]−1
J (θ ) = −∑i∈s ∂ 2 log[ f ( yi ;θ )] / ∂θ 2 = −∑i∈s ∂ ui (θ ) / ∂θ
V̂(θˆ ) ≅ [ J (θˆ )]−1
J (θˆ) = J (θ ) θ =θˆ
75
Dados de Pesquisas Amostrais
• Dados observados:
( y1; w1 ) ,…, ( yn ; wn )
• Objetivos
– Inferência analítica
– Seleção e ajuste de modelos paramétricos
• Problema: como incorporar modelo na abordagem de
Amostragem?
• Solução: modelos de superpopulação
76
Modelo de Superpopulação
Modelo paramétrico
f ( y ;θ )
Dados amostrais
y1,… , yn e w1,… , wn
População Finita U
y1,… , y N
Plano amostral
p( s)
77
Análise de Dados Amostrais “Complexos”
• Combina duas tradições
• Procura incorporar aspectos do plano amostral que gerou
os dados
• Requer nova abordagem para modelar: Modelo de
Superpopulação
78
Modelagem de Dados Amostrais Complexos
• Objetivos
– Inferir sobre θ
– Incorporando plano amostral e pesos
• Como:
– Método da Máxima Pseudo-Verossimilhança (MPV)
79
Modelo de Superpopulação
• Dados da população: y1 ,..., yN
• Modelo: y1 ,..., yN IID ∼ f(y;θ)
Inferência para θ com censo
• Log-verossimilhança do censo
LU (θ ; y ) = ∑i∈U log [ f ( yi ;θ ) ]
80
Inferência para θ com censo
• Equações de verossimilhança do censo
∑i∈U ∂ log[ f ( yi ;θ )]/ ∂θ = ∑i∈U ui (θ ) = 0
• Solução: θU estimador MV de θ com censo
– “Pseudo-parâmetro”
– Quantidade populacional descritiva correspondente (QDPC)
81
Método de Máxima Pseudo-Verossimilhança
• Dados amostrais
( y1, w1 ),..., ( yn , wn )
• Equação de verossimilhança do censo
∑i∈U ui (θ ) = T (θ ) = 0
• T(θ) é um total populacional
82
Método de Máxima Pseudo- Verossimilhança
• Estimando totais com amostra
Tˆ (θ ) = ∑ w u (θ )
i∈s i i
• Equação de verossimilhança da amostra
Tˆ (θ ) = ∑i∈s wi ui (θ ) = 0
• Solução: θˆMPV estimador MPV de θ usando amostra
• Incorpora pesos na estimação
83
Estimando Variâncias com MPV
 ˆ ˆ −1
−1 ˆ 
−1
ˆ
ˆ
ˆ
ˆ
ˆ
V (θπ ) = [ J (θπ )] V p  ∑ π i ui (θπ )  [ J (θπ )]
i∈s

Jˆ (θˆπ ) = − ∑ π i−1 ∂ ui (θ ) / ∂ θ θ =θˆ 

π 
i∈s


−1
ˆ
ˆ
V p  ∑ π i ui (θπ )  = ∑ ∑ (π i−1π −j 1 − π ij−1 )[ui (θˆπ )][ui (θˆπ )]′
i∈s
 i∈s j∈s
84
Exemplos de alguns modelos
• Regressão linear
f (β; yi , xi ) =
1
2πσ 2
exp[−( yi − x′i β) 2 / (2σ 2 )]
ui (β) = σ −2 ( yi − x′i β)xi
• Regressão logística
exp( x′i β) / [1 + exp( x′i β)] se yi = 1
f (β; yi , xi ) = 
se yi = 0
1/ [1 + exp(x′i β)]
ui (β) = [ yi − f (β; yi , xi )]xi
85
Procedimento MPV: Características
• “Corrige” teoria clássica.
• Inferência assintótica correta, considerando pesos e plano
amostral.
• Flexibilidade: aplicável a muitos modelos paramétricos e
planos amostrais “regulares”.
• Estimador não é único: pesos aplicados podem levar a
estimadores diferentes.
86
Pareamento com escores de propensão
• Defina resposta como indicador de participação no
programa de interesse
– Di = 1 se unidade participa do programa
– Di = 0 se unidade não participa do programa
• Use covariáveis xi observadas na pesquisa para ajustar
modelo de regressão logística para explicar Di .
• Calcule valores preditos para escores de propensão a
participar para participantes e não participantes
pˆ ( Di = 1) = exp(x′i βˆ ) / [1 + exp(x′i βˆ )]
87
Pareamento com escores de propensão
• Para cada caso (unidade participante do programa) localize
um controle (unidade não participate do programa) tal que:
– Seu escore de propensão seja o mais próximo do escore do caso –
‘Nearest Neighbour Matching’.
– Alternativa: defina um valor máximo d para a distância entre os
escores de propensão de um caso e de possíveis controles.
– Então localize todos os não participantes com escores de propensão
dentro deste ‘raio’ e selecione um ao acaso para parear com o caso
– ‘Maximum Radius Matching’.
• Após completar o pareamento, faça as comparações entre
os grupos de tratamento e controle mediante diferenças de
médias ou modelos de regressão.
88
Hipóteses requeridas por PSM
• Seja Y a variável de resultado que se deseja avaliar.
• Seja Y1i o valor dessa variável para indivíduo i quando este
foi tratado, e Y0i o valor quando não foi tratado.
• Somente um dos dois valores é observável para cada
indivíduo.
• O efeito (não observável) do tratamento é definido como:
Ri = Y1i − Y0i
89
Hipóteses requeridas por PSM
• Impacto médio do tratamento sobre toda a população:
E ( R) = E (Y1 − Y0 )
• Impacto médio do tratamento sobre população ‘tratada’:
E ( R D = 1) = E (Y1 − Y0 D = 1) = E (Y1 D = 1) − E (Y0 D = 1)
Termo estimável
com amostra de
casos.
Termo não
observável, que
pareamento vai
permitir estimar.
90
Estimando efeitos sob PSM
• X covariáveis que afetam participação e resultado.
• Quando se usa o método de pareamento com escores de
propensão, a estimativa do impacto médio do programa
sobre participantes é obtida por:
E ( R D = 1, X ) = E (Y1 D = 1, X ) − E (Y0 D = 0, X )
Termo estimado com
controles pareados aos
casos.
• Hipótese crucial para obter estimativas não viciadas:
E (Y0 D = 1, X ) = E (Y0 D = 0, X )
91
Dificuldades com PSM
• Grandes amostras necessárias para conseguir controles
pareados para todos os casos.
• Requer coletar informação sobre preditores do indicador de
participação que permitam predizer com confiança os
escores de propensão.
• Vícios de seleção podem persistir porque o pareamento
controla apenas através de covariáveis observáveis.
• Hipóteses que sustentam método não são testáveis com
dados obtidos numa pesquisa de avaliação.
92
Referências
•
Binder, D.A. (1983). On the variances of asymptotically normal estimators from
complex surveys. Int. Stat. Review, 51, 279-292.
•
Borland, J.; Tseng, Y. e Wilkins, R. (2005). Experimental and quasiexperimental methods of microeconomic program and policy evaluation.
Melbourne Institute Working Paper.
•
Caliendo, M. e S. Kopeinig (2008). Some practical guidance for the
implementation of propensity score matching. Journal of Economic Surveys,
22(1): 31-72.
•
Rosenbaum, P. R. e Rubin, D. B. (1983). The central role of the propensity score
in observational studies for causal effects. Biometrika 70(1): 41-55.
•
Skinner, C.J.; Holt, D. e Smith, T.M.F. (1989). Analysis of complex surveys.
Chichester, John Wiley & Sons.
93