Ceterus paribus

Transcrição

Ceterus paribus

Econometria:
3 - Regressão Múltipla
Prof. Marcelo C. Medeiros
[email protected]
Prof. Marco A.F.H. Cavalcanti
[email protected]
Pontifícia Universidade Católica do Rio de Janeiro
PUC-Rio
Sumário

O modelo de regressão linear múltipla

Introdução

Definição e terminologia

Interpretação

Estimação

Interpretação revisitada

Qualidade do ajuste

Propriedades estatísticas
Referências bibliográficas

Wooldridge, capítulo 3

Stock e Watson, capítulo 5
2
Regressão Múltipla
Introdução

Modelo de regressão linear simples

Definição
y = β 0 + β1 x + u

Maior desvantagem:

Não é muito adequado para modelar relações
Ceteris
Paribus
entre
variáveis,
pois
dificilmente
E( u | x ) = E( u ) = 0

Modelo de regressão linear múltipla

Ajuda a encontrar relações Ceteris Paribus
entre variáveis.

Melhora o ajuste ao dados.

Maior flexibilidade
3
Definição e Terminologia

Sejam
y
e
x1 ,...,
xk
k+1
variáveis
representando alguma população.

O objetivo é explicar y em função de x1 ,...,
xk , ou seja, como y varia de acordo com
mudanças em x1 ,..., xk.

3 pontos importantes:

Dado que não há uma relação precisa entre y
e x1 ,..., xk, como levar em conta outros
fatores que afetam y?

Qual a relação funcional entre y e x1 ,..., xk ?

Como capturar uma relação ceteris paribus
entre y e x1 ,..., xk (se for o caso)?
4

Solução:

Considere a seguinte equação relacionando y
e x1 ,..., xk
y = β 0 + β 1 x1 + β 2 x 2 + L + β k x k + u

Esta equação linear é conhecida como
modelo de regressão múltipla.

Terminologia:

y: variável dependente, variável explicada,
variável
de
resposta,
variável
prevista,
regressando, saída, efeito.

xi:
variáveis
independentes,
variáveis
explicativas, variáveis de controle, preditores,
regressores, entradas, causas.

u: erro, distúrbio ou ruído.
5

A variável u representa:

todos os outros fatores além de x1 ,..., xk que
afetam a variável y;

erros de medição;

forma funcional inadequada e

inerente
variabilidade
nos
agentes
econômicos.

Em análise de regressão múltipla também
consideramos que u é não-observável.
6

Algumas premissas sobre a variável u:

Média nula
E( u ) = 0

Média condicional nula
E( u | x1 , x 2 , K , x k ) = E( u ) = 0
A correlação entre o erro e as variáveis
explicativas é NULA!
7
Interpretação

Repare que se todos os outros fatores além
de x1 ,..., xk são mantidos fixos (∆u = 0),
então
∆ y = β 1 ∆ x1 + β 2 ∆ x 2 + L + β k ∆ x k

Pela analise da equação acima verifica-se
que os coeficientes medem a relação ceteris
paribus entre a variável dependente e as
variáveis explicativas.

Se, por exemplo,
∆ x2 = ∆ x3 = L = ∆ xk = ∆ u = 0
⇓
∆ y = β 1 ∆ x1
8
Estimação dos Parâmetros

Como estimar os parâmetros β0, β1,..., βk na
equação de regressão múltipla?

É necessário uma amostra da população!
Seja
{(x1 i , x 2 i , K , x ki , y i ) : i = 1, K , n }
uma amostra aleatória de tamanho n da
população.

Como esta amostra veio do modelo
y = β 0 + β 1 x1 + β 2 x 2 + L + β k x k + u
pode-se escrever
y i = β 0 + β 1 x 1 i + β 2 x 2 i + L + β k x ki + u i
9
Método dos Momentos

Como utilizar os dados para estimar os
parâmetros?

Deve-se lembrar que
E( u ) = 0 , E( x1 u ) = 0 , K , E( x k u ) = 0

Logo,
E( y − β 0 − β 1 x − L − β k x k ) = 0
E [x 1 ( y − β 0 − β 1 x − L − β k x k ) ] = 0
E [x 2 ( y − β 0 − β 1 x − L − β k x k ) ] = 0
M
E [x k ( y − β 0 − β 1 x − L − β k x k ) ] = 0
10
Método dos Momentos

Portanto, os dados amostrais podem ser
utilizados para solucionar o problema
1
n
n
∑ ( y i − βˆ 0 − βˆ 1 x1i − L − βˆ k x ki ) = 0
i =1
n
1
n
∑
1
n
n
∑
1
n
n
i =1
i =1
∑
i =1
x 1 i ( y i − βˆ 0 − βˆ 1 x 1 i − L − βˆ k x ki ) = 0
M
1
n
n
∑
i =1
x ki ( y i − βˆ 0 − βˆ 1 x1 i − L − βˆ k x ki ) = 0
11
Mínimos Quadrados Ordinários

Da mesma forma que na regressão linear
simples os estimadores
βˆ 0 , βˆ 1 , βˆ 2 , K , βˆ k
são chamados de estimadores de mínimos
quadrados e podem ser estimados por meio da
minimização da soma do quadrado dos resíduos:
n
∑
i =1

n
uˆ i2 = ∑ ( y i − βˆ 0 − βˆ 1 x1 i − L − βˆ k x ki ) 2
i =1
As condições de primeira ordem são
n
∑ ( y i − βˆ 0 − βˆ 1 x1i − L − βˆ k x ki ) = 0
i =1
n
∑
i =1
x1 i ( y i − βˆ 0 − βˆ 1 x 1 i − L − βˆ k x ki ) = 0
M
n
∑
i =1
x ki ( y i − βˆ 0 − βˆ 1 x 1 i − L − βˆ k x ki ) = 0
12
Propriedades Algébricas dos Estimadores

A soma dos resíduos, e conseqüentemente
a média, é ZERO.
n
∑ uˆ
i =1

i
=0
A covariância amostral entre os regressores
e os resíduos é ZERO implicando que
n
∑
i =1

n
x1 i uˆ i = ∑ x 2 i uˆ i = L =
i =1
n
∑
i =1
x ki uˆ i = 0
O ponto
( x1 , x 2 , K , x k , y )
está sempre sobre a reta de mínimos
quadrados.
13
Propriedades Algébricas dos Estimadores

A variável dependente pode ser decomposta
em dois termos: o valor estimado e o
resíduo da regressão, isto é
y i = yˆ i + uˆ i

Pela decomposição acima nota-se que a
média da variável dependente estimada é
igual
a
média
da
própria
variável
dependente.

A covariância amostral entre os resíduos e o
valor estimado da variável dependente é
ZERO, implicando que
n
∑
i =1
yˆ i uˆ i = 0
14
Interpretação Revisitada

Considere um modelo com apenas duas
variáveis explicativas.
y = β 0 + β 1 x1 + β 2 x 2 + u

Portanto,
yˆ = βˆ 0 + βˆ 1 x 1 + βˆ 2 x 2

O estimador do parâmetro β1 pode ser
escrito como
n
βˆ 1 =
∑
i =1
rˆ1 i y i
n
∑
i =1

rˆ12i
onde r1i são os distúrbios (erros) da
regressão de x1 em x2.

Qual a interpretação para o coeficiente β1?
15
Qualidade do Ajuste

Defina

Soma total dos quadrados (SST – Total Sum
of Squares)
SST ≡
n
∑
i =1

( yi − y )2
Soma dos quadrados ajustados (SSE –
Explained Sum of Squares)
SSE ≡
n
∑
i =1

2
ˆ
( yi − y )
Soma dos quadrados dos resíduos (SSR –
Residual Sum of Squares)
SSR ≡
n
∑
i =1
uˆ i2
16
Qualidade do Ajuste

Pela definição de SST, SSE e SSR, chegase a seguinte relação
SST = SSE + SSR

Como na regressão simples pode-se definir
o coeficiente de determinação ou R2
R
2
SSE
SSR
=
= 1−
SST
SST
R2

(
)
2


 ∑ ( y i − y ) yˆ i − yˆ 
 i =1

=
n
 n


 ∑ ( y i − y )2   ∑ yˆ i − yˆ
 i =1
  i =1
n
(
)
2



ATENÇÃO: a medida que novas variáveis
são incluídas no modelo de regressão linear
múltipla o valor do R2 nunca decresce!
17
Propriedades Estatísticas dos Estimadores

Algumas hipóteses importantes:

(H1) Modelo populacional é linear
y = β 0 + β 1 x1 + β 2 x 2 + L + β k x k + u

(H2) Uma amostra aleatória de tamanho n
{( x1 i , x 2 i , K , x ki y i ) : i = 1, K , n }
pode ser construída a partir do modelo
populacional.

(H3) Média condicional nula
E( u | x 1 , x 2 , K , x k ) = E( u ) = 0

(H4) Não existe colinearidade perfeita entre
as variáveis explicativas

Nenhuma variável é constante e não há
relação linear entre as variáveis

(H5) Homocedasticidade
Var( u | x ) = σ 2
18

Teorema 1: sob as hipóteses (H1) - (H4) os
estimadores
de
mínimos
quadrados
ordinários são não-tendenciosos, isto é
( )
E (βˆ ) = β
E (βˆ ) = β
E βˆ 0 = β 0
1
2
1
2
M
( )
E βˆ k = β k
19

O
que
acontece
quando
variáveis
irrelevantes são incluídas no modelo?

Considere que o modelo abaixo tenha sido
especificado
y = β 0 + β 1 x1 + β 2 x 2 + β 3 x 3 + u

Considere ainda que o efeito de x3 em y,
após a inclusão de x1 e x2 no modelo, seja
nulo. Isto é,
β 3 = 0 ⇒ E( y | x 1 , x 2 , x 3 ) = E( y | x 1 , x 2 )
E( y | x 1 , x 2 ) = β 0 + β 1 x 1 + β 2 x 2

Mas na prática não se sabe a priori que β3=0.
O que acontecerá com os estimadores?
20

O
que
acontece
quando
variáveis
relevantes não são incluídas no modelo?

Os
estimadores
serão
viesados
(tendenciosos).

O viés é geralmente chamado de viés de
variáveis omitidas.

Considere o seguinte modelo populacional
y = β 0 + β 1 x1 + β 2 x 2 + u

Agora, suponha que no modelo estimado a
variável x2 não foi incluída
~
~
~y = β
+
β
0
1 x1
⇓
n
~
β1 =
∑ (x1 i − x1 ) y i
i =1
n
∑ (x1i
i =1
− x1 )
2
21

Viés de variáveis omitidas (continuação)

Pode-se mostrar que
~
~
E( β 1 ) = β 1 + β 2 δ 1
onde
n
~
δ1 =
∑ (x1i − x1 )x 2 i
i =1
n
∑ ( x1 i − x1 )
2
i =1
22
Variância dos Estimadores

Teorema 2: sob as hipóteses (H1) - (H5) a
variância dos estimadores é dada por
σ2
Var( β j ) =
SST j (1 − R 2j )
onde
SST
j
=
n
∑
i =1
( x ji − x j ) 2
e
n
R
2
j
=
SSE
j
SST
j
=
∑ ( xˆ
i =1
n
∑
i =1
ji
− xj)
2
( x ji − x j ) 2
23
Variância dos Estimadores

Três fatores influenciam a variância dos
estimadores

Variância do erro

Variação de xj

Grau de relação linear entre as variáveis
explicativas
24
Variância do Erro

Como estimar σ2?
σˆ
1
=
( n − k − 1)

2
n
∑
i =1
SSR
uˆ =
( n − k − 1)
2
i
Teorema 3: sob as hipótese (H1) - (H5)
( )= σ
E σˆ
2
2
25
Teorema de Gauss-Markov

Teorema 4: sob as hipóteses (H1) - (H5) os
estimadores de MQO são BLUE (best linear
unbiased
estimators),
isto
melhores
estimadores,
possuírem
menor
variância
eficiência),
dentro
da
no
é,
são
os
sentido
de
classe
(maior
dos
estimadores lineares e não-viesados.
Todos os estimadores
Estimadores lineares
Estimadores não-tendenciosos
MQO
26