Cambodia: Challenges in Scaling Up Preschools

Como Randomizar?
Seminário de Avaliação de Impacto
Luanda, Angola
Novembro 19 – 20, 2015
Visão Geral
1.
2.
3.
4.
5.
Oportunidades para Randomizar
Defina o grupo alvo
Selecione aspectos do programa para avaliar
Nível de randomização
Você deve avaliar?
Video: Oportunidades para Randomizar
Configuração básica de uma avaliação
randomizada
Individuals/Clusters
População
Alvo
Multiple/Cross-cutting treatments
Randomization methods
Fora da
avaliação
Amostra
Aleatória
Amostra de
Avaliação
Validade
Externa
Survey
inicial de
Base
Grupo de
tratamento
Alocação
Aleatória
Validade
Interna
Grupo de
Controle
Verificar
Balanço
Survey
pósprograma
Medir o
Impacto
Amostra aleatória e alocação aleatória
Amostra
aleatória da
área de
interesse
Amostra aleatória e alocação aleatória
Aleatóriamente
selecione a área
de interesse
Designe
Aleatóriamente
para tratamento
e controlo
Aleatóriamente
selecione ambos
grupos,
tratamento e
controlo
Amostra aleatória e alocação aleatória
Renda por pessoa,
mensal, Xelim (Sh)
1457
1442
1000
2006
500
0
Trate Compare
Oportunidades para Randomizar quando
Recursos são Limitados
Sorteie quando há excesso de candidatos
Que são elegíveis e que podem ser servidos pelo
programa
Sorteie quando há excesso de candidatos:
Grupo de Apoio à Juventude em Uganda
Sorteio Direcionado
Exclui alguns do sorteio
Randomiza para os outros
Sorteio Direcionado
Randomize o restante da
população elegível
Aleatóriamente altere quando receber o
programa
Antes
Durante
período de avaliação
Depois
Tempo
Aleatóriamente altere quando receber o
programa: Pré-escola na Cambodia
Aleatóriamente altere a potência
Resumo: oportunidade para randomizar
Considere
1. Critérios de focalização do programa: Quem é
elegível para o programa? O programa tem
participação restrita, é amplamente aberto, alguma
combinação distinta?
2. Recursos: O programa possui recursos suficientes
para atingir todod os beneficiários elegíveis?
3. Tempo: Como os potenciais beneficiários são inscritos
no programa – todos de uma só vez ou em fases
graduais?
Visão Geral
1.
2.
3.
4.
5.
Oportunidades para Randomizar
Defina o grupo alvo
Selecione aspectos do programa para avaliar
Nível de randomização
Você deve avaliar?
Quem este programa espera
beneficiar?
População Inteira
Não Elegível
População Alvo
Visão Geral
1.
2.
3.
4.
5.
Oportunidades para Randomizar
Defina o grupo alvo
Selecione aspectos do programa para avaliar
Nível de randomização
Você deve avaliar?
Testando várias funcionalidades do programa
Basic Setup
Individuals/Clusters
Randomization methods
Fora da
avaliação
População Total
Grupo de
Tratamento 1
População
Alvo
Grupo de
Tratamento 2
Amostra de
Avaliação
Alocação
Aleatória
Grupo de
Tratamento 3
Grupo de
Controle
Funcionalidades do programa transversal
Individuals/Clusters
Multiple/Cross-cutting treatments
Randomization methods
Fora da
avaliação
População
Alvo
Amostra de
Avaliação
Alocação
Aleatória
T1
C1
T2
T1*T2
T2
C2
T1
C
Visão Geral
1.
2.
3.
4.
5.
Oportunidades para Randomizar
Defina o grupo alvo
Selecione aspectos do programa para avaliar
Nível de randomização
Você deve avaliar?
Qual é o nível da randomização?
unidade INDIVIDUAL:
exemplo: aluno,
mãe, pai, família
unidade de
CONGLOMERADO:
Exemplo: sala,
clínica de saúde,
vila
Qual é o nível da randomização?
Individual ou Conglomerado?
Qual é o nível da randomização?
Individual
Qual é o nível da randomização?
Conglomerado (grupo)
Qual é o nível da randomização?
Por exemplo, escola
Qual é o nível da randomização?
Fatores que importam
1. Unidades de Implementação
2. Efeitos de contaminacao
3. Unidade de amostragem e poder
estatístico
4. Ética e Justiça
Qual é o nível da randomização?
Comunidade
Escola
A unidade de randomização
deve estar no mesmo patamar
da unidade de intervenção do
programa:
Exemplo:
Classe
SE o programa foca em classes
->
Aluno
Randomização deve ser no
patamar da classe, escola,
Qual é o nível da Randomização?
A. Unidade de Implementação
B. Efeitos de transbordamento: indivíduo no
controle também benefícia do tratamento
Aulas
individuais
C. Amostragem e Custo
D. Ética e Justiça
Transbordamento:
alunos do
programa
conversam com
seus colegas
Com efeitos de transbordamento para impacto
superestimado/subestimado
Impacto
Tratamento
Impacto
Medido
Contami
nacao
Controle
Impacto Real
Maior unidade de randomização reduz o risco
do efeito de contaminacao
Exemplo: randomize ao nível escolar para diminuir
interações entre os alunos do tratamento e controle
Escola
Aluno
Pergunta: Há algum risco de efeito de
contaminacao nos programas abaixo?
• Exemplo 1: Programa de capacitação profissional
• Candidatos a emprego no grupo de controle são menos
propensos a conseguirem empregos como resultado do
programa, se os empregos disponíveis são dados para
aqueles que receberam treinamento.
• Impacto medido do programa = empregos no tratamento –
empregos na comparação
• Como resultado, impacto medido do programa é maior que
o impacto real do programa
Pergunta: Há algum risco de efeito de
contaminacao nos programas abaixo?
• Exemplo 2: Programa educacional de HIV-AIDS
• Pessoas que participaram do programa educacional irão
dizer aos seus amigos
• Impacto medido do programa = HIV-AIDS conscientização
no tratamento – HIV-AIDS conscientização na comparação
• Como resultado, impacto medido está abaixo do que o
impacto real
Qual é o Nível da Randomização?
1. Unidades de Implementação
2. Efeitos de contaminacao
3. Unidade de amostragem e poder
estatístico
4. Ética e Justiça
Maior unidade de randomização exige
maior amostra
Algum poder estatístico:
Randomização na escola:
•
800 no tratamento e
800 no controle ….em
•
40 tratamento e 40
escolas de controle, 20
alunos por escola
Randomização de alunos:
•
393 no tratamento e
393 no controle
Assuma uma correlação de
intraconglomerado de 0.05
Precisa aumentar número de conglomerados, e
não o número de indivíduos por conglomerado
Por exemplo, os dois estudos abaixo tem o mesmo
poder:
• 80 conglomerados, 20 indivíduos por
conglomerado
• 40 conglomerados, 1067 indivíduos por
conglomerado
Isto são 1,600 indivíduos comparados a 42.680!
Assuma uma correlação de intraconglomerado de 0.05
Qual é o Nível da Randomização?
1. Unidades de Implementação
2. Efeitos de transbordamento
3. Unidade de amostragem e poder
estatístico
4. Ética e Justiça
As vezes, na percepção individual, surje uma
percepção de injustiça no grupo de controle
caso haja ocorrido uma escolha aleatória dos
colegas, membros da comunidade, etc.
Menos se todos no mesmo grupo ou vila estão no
controle
Qual é o Nível da Randomização?
1. Unidades de Implementação
2. Efeitos de transbordamento
3. Unidade de amostragem e poder
estatístico
4. Ética e Justiça
Randomize ao
menor nível
possível
Por que nos preocupamos com o
tamanho da amostra?
• Pergunta geral:
Quão grande a amostra precisa ser para
detectar com credibilidade um efeito de
tamanho determinado?
O que “Credibilidade” significa aqui?
Significa que podemos estar razoavelmente certos de que a
diferença entre o grupo que recebeu o programa e o grupo que
não recebeu é devida ao programa
• Randomização remove o viés, mas não
remove a variancia: ele funciona por causa
da lei dos grandes números… quão grande
grande tem que ser?
Coisas para ter em mente quando considerar
um projeto
• Qual é o nível ao qual o programa é administrado?
(individual, vila, grupo, distrito, etc.)
• Se é conglomerado, quantos conglomerados a organização
implementadora pode atingir através do orçamento
existente?
• Se é conclomerado, quantos conglomerados podem ser
identificados adicionalmente aos conglomerados do
programa?
• Qual é o nível de adesão ao programa que vem sendo
observado em programas pilotos e em outras
configurações?
• É esperado grandes efeitos de transbordamento?
Coisas para ter em mente quando considerar
um projeto
• É esperado que o programa tenha um diferente efeito
sobre as pessoas/grupos com diferentes características?
• O programa pode ser implementado ao longo do tempo?
• Existem muitos programas (tratamentos) a serem
avaliados?
• Existem programas complementares a serem avaliados?
Alguns Exemplos
Em que nível devemos randomizar um
programa de vermifugação escolar?
A.
B.
C.
D.
E.
F.
Escola
Professor
Sala de Aula
Clínica
Comunidade
Aluno
Em que nível devemos randomizar para um
programa de transferência de renda
condicionada?
A. Individual
B. Família
C. Vila/Comunidade
Em qual grupo devemos randomizar para um
programa de formação de professores?
A.
B.
C.
D.
Escola
Professor
Sala de Aula
Aluno
Em que nível devemos randomizar para uma
pequena empresa receber uma contribuição?
A.
B.
C.
D.
E.
Individual
Família
Clínica
Escola
Vila/Comunidade
Visão Geral
1.
2.
3.
4.
5.
Oportunidades para Randomizar
Defina o grupo alvo
Selecione aspectos do programa para avaliar
Nível de randomização
Você deve avaliar?
Isto precisa de uma Avaliação de Impacto?
Maximize o aprendizado
Considere
1. Você já sabe a resposta?
2. Esta política é relevante?
a) Este é um programa que o governo pode propagar
se bem sucedido?
b) Isto é estrategicamente relevante para a redução da
pobreza?
3. Isto adiciona conhecimento?
4. Este programa esta preparado para uma avaliação de
impacto?
5. Há opções de elaboração de programa que precisam ser
comparadas?
6. Existe uma restrição de recursos que proporciona uma
oportunidade para a randomização?
Agora, esta é a sua oportunidade de
integrar uma avaliação de impacto no
seu próprio programa
Thank you!