Inferência para Cadeias de Markov

Сomentários

Transcrição

Inferência para Cadeias de Markov
57a. Reunião Anual da RBras
Inferência para Cadeias de Markov
Nancy L. Garcia
Universidade Estadual de Campinas - UNICAMP
[email protected], www.ime.unicamp.br/˜nancy
1
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Inferência clássica
Seja uma amostra aleatória X0 , X1 , X2 , . . . , Xn :
• X0 , X1 , X2 , . . . , Xn são i.i.d.
• distribuição de probabilidade conjunta:
P(X0 ∈ A0 , . . . , Xn ∈ An ) =
n
Y
P(Xi ∈ Ai ) =
i=0
n
Y
P(X ∈ Ai ),
i=0
onde X tem a mesma distribuição das Xi ’s.
Considere a sequência de v.a’s Xi.j onde Xi,j = 1 se chove no
i-ésimo dia do j-ésimo ano e Xi,j = 0 se não chove no i-ésimo dia
do j-ésimo ano.
Faz sentido pensar que estas v.a’s são i.i.d.?
2
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Ferrugem asiática:
• Doenáa que está atacando as culturas de soja causando muito
prejuı́zo aos produtores e demanda aplicaáões de fungicida
causando danos ao meio ambiente e excessivos gastos.
• Um dos fatores que influenciam para a ocorrência da doenáa é
o molhamento foliar superior a oito horas.
• Molhamento foliar – acúmulo de água lı́quida causado por
precipitaáão ou condensaáão da umidade atmosférica na forma
de orvalho - superior a 8 horas.
3
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
As variáveis coletadas em quatro estaáões meteorológicas:
1. molhamento foliar (codificada como 1 se há molhamento
superior a oito horas e 0 caso contrário),
2. velocidade do vento em m/s,
3. umidade relativa do ar,
4. precipitaáão em mm e temperatura média em ◦ C.
Esse dados foram enviados diariamente para o CEPAGRI Unicamp (Centro de Pesquisas Meteorológicas e Climáticas
Aplicadas à Agricultura).
4
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Fonsechi (2006)
• Modelo de Regressão Logı́stico
• variáveis dependem do tempo anterior, por exemplo, se choveu
no tempo t − 1 influencia se haverá molhamento ou não no
tempo t. Obviamente não podemos esperar independência de
um tempo para o outro.
5
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Processos Estocásticos
de v.a’s
Um processo estocástico é uma coleção
{Xα , α ∈ T }
onde T é um conjunto de ı́ndices que pode ser discreto contı́nuo.
Em geral, T = N ou [0, ∞).
Neste caso, sempre é possı́vel escrever a distribuição conjunta de
um número finito destas v.a.’s
P(X0 ∈ A0 , . . . , Xn ∈ An ) =
n
Y
P(Xi ∈ Ai |X0 ∈ A0 , . . . , Xi−1 ∈ Ai−1 ).
P(X0 ∈ A0 )
i=1
6
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
A teoria de Processos Estocásticos estuda diversas especificações
para as probabilidades condicionais acima e obtém resultados
similares aos clássicos:
• Lei dos Grandes Números (Teorema Ergódico);
• Teorema Central do Limite;
• Lei Assintótica;
• Estimação de máxima verossimilhança;
• Testes de hipóteses;
• Estimação não paramétrica.
7
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
1. Xt : número de terremotos com magnitude maior que 5 que
ocorrem na região de São Francisco no perı́odo de (0, t], onde 0
é o inı́cio do registro, por exemplo, 0:00hs do dia 01/01/1950.
Processo a tempo contı́nuo com espaço de estados
discreto.
2. (Xk , Yk ): número de nascimento e mortes, respectivamente,
ocorridos no dia k em uma colônia de vetores transmissores de
doença de Chagas. Processo a tempo discreto com espaço
de estados discreto.
3. Xy,t : espessura da camada de ozônio na locação y no tempo t.
Aqui temos T = R2 × [0, ∞). Processo a tempo contı́nuo
com espaço de estados contı́nuo.
8
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
4. Xt : a intensidade de um sinal a uma distância t da origem.
Processo a tempo contı́nuo com espaço de estados
contı́nuo. além disso, “tempo” é a distância.
5. Clientes chegam a uma fila de supermercado de acordo com um
processo de Poisson. Os clientes são atendidos por um caixa
que atende cada cliente de acordo a uma distribuição
exponencial de parâmetro 1. Seja Xt o número de clientes na
fila.
6. Temos duas caixas com um total de d bolas numeradas de 1 a
d. Em cada experimento selecionamos uma bola ao acaso e a
trocamos de caixa. Seja Xt o número de bolas na caixa 1 no
instante t. Processo a tempo discreto com espaço de
estados discreto.
9
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Espaço de estados discreto e tempo discreto
• X0 , X1 , . . . v.a.’s discretas com valores possı́veis I enumerável.
Propriedade de Markov
P(Xn = x|X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 )
=
P(Xn = x|Xn−1 = xn−1 )
para todo n ≥ 1 e todos os valores de x, x0 , x1 , . . . , xn−1 ∈ I.
Portanto,
P(X0 = x0 , X1 = x1 , . . . , Xn = xn )
=
P(X0 = x0 )P(X1 = x1 |X0 = x0 )P(X2 = x2 |X1 = x1 ) × . . .
×P(Xn−1 = xn−1 |Xn−2 = xn−2 )P(Xn = xn |Xn−1 = xn−1 ).
10
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Aplicação:
O “PageRank” de uma página da web como usado pelo Google é
completamente definido através de uma cadeia de Markov.
Se N é o número de páginas conhecidas e uma página i tem ki
”links”, então a página tem probabilidade de transição
α
1−α
+
ki
N
para todas as páginas às quais está ”linkada”e
1−α
N
para todas as páginas as quais não está ”linkada”. O parâmetro α
utilizado é aproximadamente 0.85.
11
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Exemplo 1: Sejam Y0 , Y1 , . . . v.a.’s discretas i.i.d.. Defina
Sn = Y0 + . . . + Yn
Neste caso,
P(Sn = x|S0 = x0 , S1 = x1 , . . . , Sn−1 = xn−1 )
12
=
P(Sn−1 + Yn = x|S0 = x0 , S1 = x1 , . . . , Sn−1 = xn−1 )
=
P(xn−1 + Yn = x|S0 = x0 , S1 = x1 , . . . , Sn−1 = xn−1 )
=
P(xn−1 + Yn = x) = P(Sn = x|Sn−1 = xn−1 ).
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Definições equivalentes
P(Xn = x|Xn0 = x0 , Xn1 = x1 , . . . , Xnk = xk ) = P(Xn = x|Xnk = xk )
para todo n ≥ 1 e n0 < n1 < . . . < nk ≤ n − 1.
P(Xn+m = x|X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(Xn = x|Xn = xn )
para todo n ≥ 1 e todos os valores de x, x0 , x1 , . . . , xn−1 ∈ I.
13
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Cadeia de Markov homogênea
P(Xn = j|Xn−1 = i) = P(X1 = j|X0 = i) := pij
para todo n ≥ 1 e todos os valores de i, j ∈ I.
• Matriz de transição
P = (pij )
A matriz de transição é uma matriz estocástica, i.e.,
X
pij ≥ 0,
,
pij = 1.
j
• Matriz de transição em n-passos
Pn = (pij (n))
onde
pij (n) = P(Xn = j|X0 = i)
14
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Note que P1 = P, mais ainda
pij (2)
= P(X2 = j|X0 = i)
X
=
P(X2 = j, X1 = k|X0 = i)
k∈I
=
X
P(X2 = j|X1 = k)P(X1 = k|X0 = i)
k∈I
=
X
pkj pik .
k∈I
Portanto, P2 = P2 .
15
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Equações de Chapman-Kolmogorov
P
pij (n + m) =
k pkj (n)pik (m)
Consequentemente, Pn+m = Pn Pm e Pn = Pn .
16
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Distribuições marginais Defina
(n)
µi
= P(Xn = i).
e
(n)
µ(n) = (µi , i ∈ I).
Note que
(1)
µi
= P(X1 = i) =
X
P(X1 = i, X0 = k)
k
=
X
P(X1 = i|X0 = k)P(X0 = k)
k
=
X
(0)
pki µk
k
17
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
(2)
µi
=
P(X2 = i) =
X
P(X2 = i, X1 = j)
j
=
X
P(X2 = i|X1 = j)P(X1 = j)
j
=
X
(1)
pji µj
j
=
X
j
pji
X
(0)
pkj µk
k
Em geral,
µ(n+m) = µ(m) Pn
18
e
µ(n) = µ(0) Pn
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Exemplo: Snoqualmie Falls
• dados diários para se choveu ou não, pelo menos, 0,01 cm
• 36 anos
• Janeiro para obter um sistema homogêneo e estacionário.
I = {0, 1} Matriz de transição

P = 
p00
p10
p01
p11


Será que os dados não são independentes?
19
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Hoje
0
1
0
186 (91)
123 (223)
309
1
128 (223)
643 (543)
771
314
766
1080
Ontem
Os valores entre parenteses são os valores esperados sob a hipótese
de independência. X 2 = 202, 89 e χ21;1% = 6, 63.
20
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Função de verossimilhança
L(P, x) = P(X0 = x0 )
n−1
Y
P(Xi+1 = xi+1 |Xi = xi )
i=0
= P(X0 = x0 )
n−1
Y
pxi ,xi+1
i=0
= P(X0 = x0 )
Y
n
pk,lk,l
k,l∈I
onde nk,l = número de vezes em que Xi = k, Xi+1 = l.
21
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
No exemplo de Snoqualmie Falls,


36
Y
123 128 643
L(P, x) = 
P(X0,j = x0,j ) p186
00 p01 p10 p11 .
j=1
Assuma que os x0,j são fixos e P(X0,j = x0,j ) = 1, se não, podemos
usar as 36 amostras para estimar esta probabilidade.
• p00 + p01 = 1 e p10 + p11 = 1,
P̂1,0 = n1,0 /(n0,0 + n1,0 )
e
P̂1,1 = n1,1 /(n0,1 + n1,1 )
As estimativas de MV são dadas por:
p̂1,0 = 123/309 = 0, 398
22
p̂1,1 = 643/771 = 0, 834
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Modelos para evolução de uma população. Em geral, difı́ceis
matematicamente.
Processos de ramificação Simplificações interessantes e
matematicamente tratáveis.
• Se originou de um “puzzle” matematico colocado por Sir
Francis Galton, o primo de Charles Darwin, no the Educational
Times de 1 April 1873.
• Podem ser vistos como a representação matemática da
evolução de uma população onde os mecanismos de reprodução
e morte estão sujeitas a leis aletórias simples.
• Aplicações:
– Propagação de espécies e genes
– Reação nucleares
– Fenômeno de cascata eletrônica
– Modelos epidêmicos
23
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
O problema proposto por Galton:
• Uma grande nação com N adultos homens e cada um tendo um
sobrenome distinto, colonizam um distrito.
• A lei de tal população é que, em cada geração,
P0 porcento de adultos homens tem nenhum filho homem,
P1 tem somente um filho homem, P2 tem 2 filhos homens, até
P5 que tem 5 filhos homens.
• Ache (1) Qual a proporção de sobrenomes que se extinguirão
após r gerações; e
(2) em quais casos haverá o mesmo sobrenome para m pessoas.
A solução proposta por Rev. Henry William Watson em
seu artigo de 1874 conjuntamente com Galton, onde a teoria dos
processos de ramificação foram desenvolvidas.
24
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Processo de ramificação Bienayme-Galton-Watson
• Inicia no tempo 0 com Z(0) partı́culas.
• Cada uma delas se divide independentemente em um número
aleatório de filhos que constituem a primeira geração.
• Cada partı́cula da primeira geração se divide
independentemente em um número aleatório de filhos (todos
com a mesma lei) que constituem a segunda geração , e assim
por diante.
• O número de filhos produzidos por cada partı́cula são v.a.’s
i.i.d., independentemente da história do processo e de todas as
outras partı́culas presentes.
25
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Um processo de Galton-Watson {Xn ; n = 0, 1, 2, . . .} é uma cadeia
de Markov com espaço de estados {0, 1, . . .} tais que:
• Sejam ξ1,1 , ξ1,2 , . . ., ξ2,1 , ξ2,2 , . . ., . . . v.a’s i.i.d. com função de
probabilidade f (k) = P(ξi,j = k);
• X0 = N para N fixo ou aleatório;
• X1 = ξ1,1 + ξ1,2 + . . . + ξ1,N
X2 = ξ2,1 + ξ2,2 + . . . + ξ2,X1
Xn = ξn,1 + ξn,2 + . . . + ξn,Xn−1
• Neste caso,
P (0, 0) = 1,
, P (x, y) = P (ξ1,1 + ξ1,2 + . . . + ξ1,x = y).
• Em particular, P (1, y) = f (y).
26
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Seja m = E(ξ1,1 ) a média de filhos por indivı́duo ou taxa de infeção.
Caso subcrı́tico (m < 1): Extinção do processo, tempo de extinção
com esperança finita;
Caso crı́tico (m = 1): Extinção do processo, tempo de extinção
com esperança infinita;
Caso supercrı́tico (m > 1): Probabilidade de extinção menor que
um.
O problema de estimação de m aparece quando se lida com polı́tica
de vacinação e prevenção de epidemias e pandemias.
27
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Urna de Ehrenfest
• Modelo para troca de calor ou gases entre dois corpos isolados.
• Temos duas caixas com um total de d bolas numeradas de 1 a d.
• Inicialmente algumas destas bolas estão na caixa 1 e o restante
na caixa 2.
• Em cada experimento selecionamos uma bola ao acaso (i.e,
selecionamos ao acaso um número entre 1 e d) e a trocamos de
caixa.
• Repita o procedimento sequencialmente. Seja Xn o número de
bolas na caixa 1 no instante n.
28
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Xn é uma cadeia de Markov com espaço de estados {0, 1, . . . , d} e
matriz de transição


(x/d), y = x − 1,


P (x, y) =
1 − (x/d), y = x + 1,



0, caso contrário
29
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Um estado a de uma cadeia de Markov é dito ser absorvente se
P (a, y) = 0, para y 6= a.
Ruı́na do jogador
• Um jogador começa com um capital inicial de i reais e faz uma
sequência de apostas de R$ 1,00.
• Assuma que ele tem probabilidade p de ganhar e probabilidade
1 − q de perder a cada aposta independentemente das apostas
anteriores.
• Se seu capital chegar a zero ele se arruinará e seu capital
continuará zero para sempre.
30
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Esta é uma CM com espaço de estados {0, 1, . . .} onde 0 é um
estado absorvente e para x ≥ 1



 1 − p, y = x − 1,
P (x, y) =
p, y = x + 1,



0, caso contrário
Se houver um adversário que inicia o jogo com d − i reais e o jogo
termina quando o capital do 1o. jogador atinge 0 ou d o espaço de
estados é {0, 1, . . .} onde 0 e d são estado absorventes e para
1≤x≤d−1



 1 − p, y = x − 1,
P (x, y) =
p,



31
y = x + 1,
0, caso contrário
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Cadeias de nascimento e morte
• Considere uma CM com espaço de estados I = {0, 1, . . .} ou
I = {0, 1, . . . , d}.
• Estando no estado x no próximo passo somente poderá estar
em x, x + 1 ou x − 1.
• Considere que a matriz de transição seja:


qx , y = x − 1,




 p , y = x + 1,
x
P (x, y) =

rx , y = x,




 0, caso contrário
onde para cada x, px , qx , rx ≥ 0, px + qx + rx = 1.
32
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Classificação de estados: Seja A um subconjunto do espaço de
estados I. O tempo de chegada a A é definido como:

 min{n > 0; X ∈ A}, se X atinge A,
n
n
TA =

∞,
caso contrário
Notaçao:
A = {a} usamos a notação: Ta .
Denotaremos por Px (·) as probabilidades dos diversos eventos
quando o estado inicial da cadeia for x. Assim,
Px (X1 = a, X2 = b) = P(X1 = a, X2 = b|X0 = x).
33
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Estados recorrentes e transientes
• ρxy = Px (Ty < ∞) = probabilidade que uma CM começando
em x consiga atingir o estado y em tempo finito.
• ρyy = probabilidade que uma CM começando em y alguma vez
retorne a y.
• Um estado y é dito ser:
1. recorrente se ρyy = 1;
2. transiente se ρyy < 1.
• Se y é um estado absorvente, então Py (T1 = y) = 1 e ρyy = 1 e
y é recorrente.
34
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Para cada estado y ∈ I defina a v.a.
N (y) =
∞
X
1y (Xn )
n=1
o número de vezes que a CM visita o estado y.
Note que:
Px (N (y) ≥ 1) = Px (Ty < ∞) = ρxy .
É fácil ver que a propriedade de Markov diz que: a probabilidade
da cadeia começando em x visitar pela primeira vez y após m
passos e retornar a y n passos depois é
Px (Ty = m)Py (Ty = n).
35
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Portanto,
Px (N (y) ≥ 2) =
=
∞ X
∞
X
Px (Ty = m)Py (Ty = n)
m=1 n=1
∞
X
!
Px (Ty = m)
m=1
∞
X
!
Py (Ty = n)
n=1
= ρxy ρyy .
Similarmente,
Px (N (y) ≥ m) = ρxy ρm−1
yy ,
m ≥ 1.
Usando o fato que
Px (N (y) = m) = Px (N (y) ≥ m) − Px (N (y) ≥ m + 1).
Px (N (y) = m) = ρxy ρm−1
yy (1 − ρyy ),
m ≥ 1.
e
Px (N (y) = 0) = (1 − ρxy ).
36
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Observe que
Ex (N (y))
∞
X
= Ex
!
1y (Xn )
n=1
=
=
∞
X
n=1
∞
X
Ex (1y (Xn ))
P n (x, y).
n=1
Defina
G(x, y) = Ex (N (y)) =
37
P∞
n
P
(x, y).
n=1
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
O seguinte teorema descreve a diferença fundamental entre estados
transientes e estados recorrentes:
Teorema: (i) Seja y um estado transiente. Então:
Px (N (y) < ∞) = 1
e
ρxy
G(x, y) =
.
1 − ρyy
(ii) Seja y um estado recorrente. Então:
Py (N (y) = ∞) = 1
e
G(y, y) = 1.
Mais ainda,
Px (N (y) = ∞) = Px (Ty < ∞) = ρxy .
Se ρxy = 0 então G(x, y) = 0 enquanto que ρxy > 0 implica que
G(x, y) = ∞.
38
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Seja y um estado transiente. Como
∞
X
n=1
P n (x, y) = G(x, y) < ∞
⇒
lim P n (x, y) = 0.
n
Uma CM é dita ser transiente se todos os seus estados são
transientes e recorrente se todos os seus estados são recorrentes.
É fácil ver que toda CM finita precisa ter pelo menos um estado
recorrente, i.e. não pode ter todos os seus estados transientes:
39
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Decomposição do espaço de estados:
x → y,
se
Sejam x e y ∈ I
ρxy > 0.
• x → y se, e somente se, P n (x, y) > 0 para algum n.
• x → y e y → z então x → z.
• Teorema: Seja x um estado recorrente e suponha que x → y.
Então y é recorrente e ρxy = ρyx = 1.
40
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Um conjunto não vazio C ⊂ I é dito ser fechado se nenhum
estado de dentro de C leva a um estado fora de C, i.e., se
ρxy = 0,
x ∈ C, y 6∈ C.
• Equivalentemente, C é fechado se, e somente se,
P n (x, y) = 0,
x ∈ C, y 6∈ C, para todo n ≥ 1.
• Se C é um conjunto fechado então uma CM começando em C
ficará em C com probabilidade 1.
• Se A é um estado absorvente, então {a} é fechado.
41
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Um conjunto fechado é dito ser irredutı́vel se x → y para
todos x, y ∈ C.
• Segue do teorema anterior que se C é uma classe
fechada e irredutı́vel, então ou todo estado de C é
recorrente, ou todo estado de C é transiente.
• Seja C uma classe fechada irredutı́vel de estados recorrentes.
então ρxy = 1, Px (N (y) = ∞) = 1 e G(x, y) = ∞ para todas as
escolhas de x, y ∈ C.
• Uma cadeia de Markov irredutı́vel é uma cadeia cujo espaço de
estados I é fechado e irredutı́vel. Segue que tais cadeias ou são
transientes ou são recorrentes.
42
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Seja C um conjunto finito de estados. Então todos os
estados em C são recorrentes.
Considere uma CM com um número finito de estados.
• Se a CM é irredutı́vel, deve ser recorrente.
• Se a CM não é irredutı́vel verificamos quais são as classes
irredutı́veis e quais estados são recorrentes e transientes.
43
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Exemplo: I = {0, 1, 2, 3, 4, 5}

1 0

 1 1
 4 2

 0 1

5

 0 0


 0 0

0 0
44
0
1
4
2
5
0
0
0
0

0
0
0
0
1
5
1
6
1
2
1
4
0

0 


1 
5 

1 
2 

1 
2 
1
3
0
0
3
4
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Note que a matriz abaixo
x → y, i.e, ρxy > 0.

+

 +


 +


 0


 0

0
traz os valores + e 0 de acordo com
0
0
0
0
0













+
+ +
+ +
+
+ +
+ +
0
0
+
+
+
0
0
+
+
+
0
0
+
+
+
Obviamente, se P (x, y) > 0 então ρxy > 0, mas a recı́proca não é
verdadeira pois P (2, 0) = 0 e ρ20 > 0 pois
1
11
=
> 0.
P (2, 0) = P (2, 1)P (1, 0) =
54
20
2
45
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• 0 é um estado absorvente, portanto é recorrente.
• Também vemos pela matriz acima que {3, 4, 5} é uma classe
finita, fechada e irredutı́vel portanto todos os seus estados são
recorrentes.
• 2 → 0 e 1 → 0 mas 0 6→ 2 e 0 6→ 1, sendo assim 1 e 2 tem que
ser estados transientes.
46
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Sejam:
IT o conjunto de estados transientes;
IR o conjunto de estados recorrentes.
Neste exemplo, IT = {1, 2} e IR = {0} ∪ {3, 4, 5}.
Sempre é possı́vel decompor IR numa união disjunta (finita ou
enumerável) de classes irredutı́veis.
47
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Cadeias de nascimento e morte
• CM irredutı́vel: ou todos os estados recorrentes, ou todos
estados transientes.
• CM irredutı́vel finita: todos os estados recorrentes.
• O que fazer no caso I infinito?
48
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Considere uma CM com espaço de estados I = {0, 1, . . .} ou
I = {0, 1, . . . , d}.
• Estando no estado x no próximo passo somente poderá estar
em x, x + 1 ou x − 1.
• Considere que a matriez de







P (x, y) =






transição seja:
qx ,
y = x − 1,
px ,
y = x + 1,
rx ,
y = x,
0, caso contrário
onde para cada x, px , qx , rx ≥ 0, px + qx + rx = 1. Note que
q0 = 0 e pd = 0 se d < ∞.
• Assuma que px , qx > 0 para 0 < x < d.
49
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Para a < b ∈ I, seja
u(x) = Px (Ta < Tb ),
a<x<b
e
u(a) = 1,
u(b) = 0.
Portanto, é fácil ver que
u(y) = qy u(y − 1) + ry u(y) + py u(y + 1),
a < y < b.
Como ry = 1 − py − qy temos
u(y + 1) − u(y) =
50
qy
(u(y) − u(y − 1)),
py
a < y < b.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Defina γ0 = 1 e
γy =
q1 ···qy
p1 ···py ,
0 < y < d.
Temos,
Pb−1
u(x) =
y=x γy
Pb−1 ,
y=a γy
a < x < b.
Portanto, da definição de u(x) temos
Px (Ta < Tb ) =
Px (Tb < Ta ) =
51
Pb−1
Py=x
b−1
γy
y=a
γy
Px−1
γy
y=a
γy
Py=a
b−1
,
a < x < b.
,
a < x < b.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Exemplo:
• Um jogador na roleta faz uma sequência de apostas de $1.00.
• Ele tem probabilidades 9/19 e 10/19 de ganhar e perder
respectivamente.
• O jogador decide que ele pára de jogar se ele lucra $25.00 ou se
ele perde $10.00.
(a) Ache a probabilidade dele parar de jogar ganhando.
(b) Ache sua perda esperada.
52
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Xn : capital do jogador no tempo n com X0 = 10.
• Xn é uma cadeia de nascimento e morte com I = {0, 1, . . . , 35}
• taxas px = 9/19, 0 < x < 35 e qx = 10/19, 0 < x < 35.
• Os estados 0 e 35 são aobsorventes.
Aplicar a fórmula para a = 0, x = 10, b = 35. Portanto,
γy = (10/9)y ,
Probabilidade de ganhar:
P9
P10 (T35 < T0 ) =
0 ≤ y ≤ 34,
y
y=0 (10/9)
P34
y
y=0 (10/9)
(10/9)10 − 1
=
= 0.047.
(10/9)35 − 1
Perda esperada: 10 − 35 × (0.047) = 8.36.
53
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Distribuição estacionária
• Seja Xn , n ≥ 0 uma CM com espaço de estados I e matriz de
transição P .
• Uma distribuição estacionária π(x), x ∈ I satisfaz:
1. π(x) ≥ 0, x ∈ I;
P
2.
x∈I π(x) = 1;
P
3.
x∈I π(x)P (x, y) = π(y), y ∈ I.
54
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Distribuição limite
• Suponha que temos
lim P n (x, y) = π(y),
n→∞
y ∈ I.
• Neste capı́tulo queremos determinar quando temos distribuição
estacionária, quando temos distribuição limite e quando elas
são iguais.
55
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Propriedades de distribuições estacionárias Seja π uma
distribuição estacionária para P . Então:
X
X
X
2
π(x)P (x, y) =
π(x)
P (x, z)P (z, y)
x∈I
z
x∈I
!
=
X X
=
X
z
π(x)P (x, z) P (z, y)
x
π(z)P (z, y) = π(y).
z
Portanto, por indução, usando a fórmula
X
n+1
P
(x, y) =
P n (x, z)P (z, y),
z
temos
P
56
x∈I
π(x)P n (x, y) = π(y),
y ∈ I.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Se π0 = π temos que
P (Xn = y) = π(y),
y∈I
e a distribuição de Xn é independente de n.
• Suponha reciprocamente que πn não dependa de n, então a
distribuição de X0 e X1 são idênticas e
P
π0 (y) = π1 (y) =
x π0 (x)P (x, y). Consequentemente, π0 é
distribuição estacionária.
• A distribuição de Xn é independente de n se, e
somente se, π0 é estacionária.
57
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Suponha que π é distribuição estacionária e
lim P n (x, y) = π(y),
y ∈ I.
n→∞
então P(Xn = y) =
P
x
π0 (x)P n (x, y),
y ∈ I.
Tirando o limite nos dois lados da equação e passando o limite
dentro do somatório, temos
X
n
lim P (x, y) =
π0 (x)π(y), y ∈ I.
n→∞
Como
P
x
x
π0 (x) = 1 temos
limn→∞ P n (x, y) = π(y),
58
y ∈ I.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Temos que se π é uma distribuição estacionária e
lim P n (x, y) = π(y),
n→∞
y∈I
, a distribuição πn se aproxima de π independemtemente da
distribuição inicial.
• Portanto, π é a única distribuição estacionária, senão
usarı́amos a outra distribuição para π0 e terı́amos π = π0 .
• Suponha que observamos nosso sistema por um tempo longo,
digamos n0 passos e seja
Yn = Xn0 +n ,
As v.a.’s Yn formam uma CM com a mesma matriz de
transição P . Se N0 for suficientemente grande, podemos supor
que a distribuição marginal de Yn é a mesma da distribuição
estacionária π.
59
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Exemplo 1:

P =
1−p
q
p
1−q


Se p + q > 0 temos
q
π(0) =
p+q
60
p
π(1) =
.
p+q
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Cadeias de nascimento e morte Considere uma cadeia de
nascimento e morte com I = {0, 1, . . .}. Vamos assumir que a
cadeia é irredutı́vel i.e.,
px > 0,
0≤x<∞
qx > 0,
0 < x < ∞.
O sistema de equações
X
π(x)P (x, y) = π(y)
x
será:
r0 π(0) + q1 π(1) = π(0)
py−1 π(y − 1) + ry π(y) + qy+1 π(y + 1) = π(y),
61
y ≥ 1.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Como px + rx + q + x = 1, temos
(1 − p0 )π(0) + q1 π(1) = π(0)
py−1 π(y − 1) + (1 − py − qy )π(y) + qy+1 π(y + 1) = π(y),
y ≥ 1.
Portanto,
qy+1 π(y + 1) − py π(y) = qy π(y) − py−1 π(y − 1),
y≥1
e consequentemente, por indução
qy+1 π(y + 1) − py π(y) = 0,
y ≥ 0.
Neste caso, obtemos
π(y + 1) =
62
py
qy+1 π(y).
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Usando novamente indução é fácil ver que:
π(x) =
p0 · p1 · · · px−1
π(0).
q1 · q2 · · · qx
Finalmente, se chamamos
π0 = 1,
p0 · p1 · · · px−1
, πx =
,
q1 · q2 · · · qx
x ≥ 1,
temos
π(x) = πx π(0),
63
x ≥ 0.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Temos que verificar se as soluções de (1) satisfazem
P
Caso 1:
x πx < ∞.
P
x
π(x) = 1.
!
1 =
X
π(x) =
x
X
πx
π(0)
x
Portanto,
π(0) =
P1
x
Caso 2:
P
x
πx ,
π(x) =
x
x ≥ 1.
πx = ∞.
!
X
Pπx
x πx
π(x) =
X
x
πx

 0,
π(0) =
 ∞,
se π(0) = 0
se π(0) > 0
Portanto, não existe distribuição estacionária.
Todas as deduções anteriores valem para o caso de cadeias de
nascimento e morte finitas, i.e. d < ∞.
64
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Urna de Ehrenfest d = 3

0
1

 1/3 0

P = 
 0 2/3

0
0
0

0

2/3
0 


0 1/3 

1
0
Esta é uma cadeia de nascimento e morte irredutı́vel com
π0 = 1,
π1 = 3,
π2 = 3,
π3 = 1.
Portanto, a única distribuição estacionária é dada por:
π(0) = 1/8,
π(1) = 3/8,
π(2) = 3/8,
π(3) = 1/8.
Note que neste caso, P n (x, y) = 0 para valores ı́mpares de n.
Assim,
P n (x, x) 6→ π(x).
65
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Urna de Ehrenfest modificada: Suponha que temos o mesmo
esquema da urna de Ehrenfest, mas a cada troca jogamos
independentemente uma moeda e se esta sair cara decidimos não
mudar a bola de urna.


1/2 1/
0
0


 1/6 1/2 2/6
0 


P = 

 0
2/ 1/2 1/6 


0
0
1/2 1/2
Entretanto, π0 = 1,
π1 = 3,
π2 = 3,
π3 = 1.
Portanto, a única distribuição estacionária é dada por:
π(0) = 1/8,
π(1) = 3/8,
π(2) = 3/8,
π(3) = 1/8.
Neste caso, veremos mais tarde,
P n (x, y) → π(y),
66
para todo y, quando n → ∞.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Estados recorrentes positivos e recorrentes nulos Um
estado é recorrente se
ρyy = Py (Ty < +∞) = 1
Se y é recorrente então:
y é recorrente positivo se my = Ey (Ty ) < +∞;
y é recorrente nulo se my = Ey (Ty ) = +∞;
67
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Número médio de visitas a um estado recorrente: Defina
Nn (y) o número de visitas ao estado y nos instantes 1, 2, . . . , n. Isto
Pn
é, Nn (y) = m=1 1y (Xm ).
Defina Gn (x, y) o número médio de visitas ao estado y dado que
X0 = x durante os instantes 1, 2, . . . , n
Gn (x, y) =
n
X
m=1
68
Ex [1y (Xm )] =
n
X
P m (x, y).
m=1
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
1.- Seja y um estado transiente. então
lim Nn (y) = N (y) < ∞ com probabilidade 1,
n
e
lim Gn (x, y) = G(x, y) < +∞.
n
Portanto,
Nn (y)
lim
= 0 com probabilidade 1,
n
n
e
Gn (x, y)
lim
= 0, x ∈ S.
n
n
69
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Seja y um estado recorrente. Então:
lim
n
1T <∞
Nn (y)
= y
com probabilidade 1,
n
my
e
Gn (x, y)
ρxy
lim
=
, x ∈ S.
n
n
my
Intuição: Uma vez que a cadeia chega ao estado y ela retorna a y,
“em média uma vez a cada my unidades de tempo”. Assim, se y
pode ser alcançado eventualmente e n é grande, a proporção de
tempo que a cadeia gasta no estado y é aproximadamente 1/my .
70
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Corolário: Seja C um conjunto fechado irredutı́vel de estados
recorrentes. Então,
Gn (x, y)
1
lim
=
, x, c ∈ C
n
n
my
e se P (X0 ∈ C) = 1,
Nn (y)
1
lim
=
com probabilidade 1.
n
n
my
Note que as fórmulas valem para my = +∞.
71
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Seja x um estado recorrente positivo e suponha que
x → y. então y é recorrente positivo.
Portanto, em uma classe de estados fechada, irredutı́vel ou todos os
estados são transientes, ou todos os estados são recorrentes
positivos ou todos os estados são recorrentes nulos.
72
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
• Se C é uma classe fechada e finita então C tem pelo menos um
estado recorrente positivo.
• Se C é uma classe fechada, irredutı́vel e finita de estados então
todo estado é recorrente positivo.
• Uma cadeia de Markov irredutı́vel com um número finito de
estados é recorrente positiva.
• Uma cadeia de Markov tendo um número finito de estados não
tem estados recorrentes nulos.
Note que se y é um estado recorrente, então y está contido
numa classe fechada de estados recorrentes. Como esta classe é
necessariamente finita, ela contém pelo menos um estado
recorrente positivo e portanto todos são recorrentes positivos.
73
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Existência e unicidade das distribuições estacionárias
Teorema: Seja π uma distribução estacionária. Se x é transiente
ou recorrente nulo, então π(x) = 0.
Prova: Se x é transiente ou recorrente nulo então
Gn (z, x)
lim
= 0, z ∈ S.
n
n
Portanto, se pudermos trocar a ordem da soma e do limite:
π(x) lim
n
X
z
π(z) lim
n
Gn (z, x)
= 0.
n
Teorema: Seja uma cadeia de Markov irredutı́vel, recorrente
positiva então existe uma única distribuição estacionária π dada
por:
1
π(y) =
, y ∈ S.
my
74
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Consequências:
Uma cadeia de Markov é positiva recorrente é irredutı́vel se, e
somente se tem uma única distribuição estacionária.
Se uma cadeia de Markov tem um número finito de estados e é
irredutı́vel então ela tem uma única distribuição estacionária.
Seja Xn , n ≥ 0 uma cadeia de Markov irredutı́vel, recorrente
positiva com distribuição estacionária π. então com
probabilidade 1,
min
n
75
Nn (y)
= π(y),
n
y ∈ S.
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Cadeia redutı́veis:
Teorema: Seja C um conjunto irredutı́vel fechado de estados
recorrentes positivos. Então a cadeia de Markov tem uma única
distribuição estacionária concentrada em C, isto é, π(x) = 0, se
x 6∈ C e π(x) = 1/mx se x ∈ C.
Suponha que a cadeia tenha dois conjuntos irredutı́veis fechados de
estados recorrentes positivos C0 e C1 . então a cadeia tem uma
distribuição estacionária π0 concentrada em C0 e uma distribuição
estacionária π1 concentrada em C1 . Mais ainda, as distribuições
πα (x) = (1 − α)π0 (x) + απ1 (x)
também são estacionárias para a CM.
76
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teoria de verossimilhança para Cadeias de Markov
L(P, x) = P(X0 = x0 )
n−1
Y
P(Xi+1 = xi+1 |Xi = xi )
i=0
= P(X0 = x0 )
n−1
Y
pxi ,xi+1
i=0
= P(X0 = x0 )
Y
N
pk,lk,l
(n)
k,l∈I
onde Nk,l (n) = número de vezes em que Xi = k, Xi+1 = l nos
instantes 1, . . . , n.
77
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
L(π0 , P, x) = π0 (x0 )
n−1
Y
P(Xi+1 = xi+1 |Xi = xi )
i=0
= π0 (x0 )
n−1
Y
pxi ,xi+1 = π0 (x0 )
i=0
= π0 (x0 )
Y
Y
N
pk,lk,l
(n)
k,l∈I
Lk (P)
k∈I
Q
N
(n)
onde Lk (P) = l∈I pk,lk,l
depende somente dos elementos na
k-ésima linha da matrix P.
Seja l(π0 , P, x) = log L(π0 , P, x). Então temos as equações,
X
l(π0 , P, x) = l0 (π0 , x0 ) +
lk (P, x).
k∈I
78
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Queremos maximizar l sujeita a condições que
X
X
π0 (x) = 1e que
P (k, j) = 1
x
j∈I
para todo k ∈ I. Usando multiplicadores de Lagrange e escrevendo
P
ni = j∈I temos as estimativas de MV
p̂ij
nij
=
quando ni > 0
ni
π̂0 (i) = 1(i = x0 ).
Se ni = 0 colocamos p̂ij = 0, j 6= i.
Seja
Î = {i ∈ I : ni > 0}
a porção observada do espaço de estados. Obviamente, Î é finito.
Note que (p̂ij , i, j ∈ Î) é uma matriz estocástica sobre Î. Denote
esta matriz por P̂.
79
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Se (Xn ) é uma cadeia de Markov ergódica (irredutı́vel,
recorrente positiva), então P̂ij → pij com probabilidade 1 para todo
i, j ∈ S independentemente da distribuição inicial.
Lembre-se que
1
Nij (n) → π(i)pij
n
e
1
Ni (n) → π(i).
n
80
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Se (Xn ) é uma cadeia de Markov ergódica, então
independentemente da distribuição inicial
hp
i
Ni (n)(P̂ij (n) − pij )
→ N (0, Σ)
i,j∈I
onde
σij,kl =



 pij (1 − pij ), (i.j) = (k, l)
−pij pil ,



0,
i = k, j 6= l
caso contrário.
Obs.: A covariância assintótica tem uma estrutura multinomial
dentro das linhas e independência entre as linhas.
81
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Aplicação a Snoqualmie Falls
Usando o resultado do Teorema anterior vemos que P̂01 e P̂11 são
assintóticamente independentes. Mais ainda
P̂11 ≈ N (p11 , p11 (1 − p11 )/nπ(1))
onde π é a distribuição estacionária da CM.
Podemos estimar a variância usando
N11
N1
P̂11 =
e π̂(1) =
N1
n
onde
N11 =
36
X
(i)
N11 , . . .
i=1
Como n11 = 643, n1 = 771, n01 = 123, n0 = 309 e n = 1080,
intervalos de confiança assintóticos de 95%:
IC(p11 , 95%) = (0.808; 0.860)
82
IC(p01 , 95%) = (0.343; .453).
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Note que cada intervalo tem 95% de confiança, mas conjuntamente,
usando a independência assintótica, (.95)2 = .903. a fim de
encontrar uma região de confiança com 95% devemos usar
intervalos individuais com 97.5%, obtendo o retângulo:
(.775; .893) × (.272; .524).
Algumas vezes, é natural parametrizar o modelo.
83
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Eugen Onegin
O próprio Markov deu um exemplo de Cadeia de Markov em 1924.
Markov estudou um extrato de um poema de Puskin chamado
Eugen Onegin e classificou 20.000 caracteres consecutivos em
vogais e consoantes.
84
Vogal seguinte
Consoante seguinte
Total
Vogal
1106
7536
8638
Consoante
7533
3829
11362
Total
8639
11361
20000
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
É bastante óbvio que a escolha de vogal e consoante para a letra
seguinte não é independente da letra atual. Um modelo muito
simples é assumir que a troca se faz de forma constante, isto é a
matrix de transição é:


1−p
p


P =
p
1−p
85
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teoria assintótica
Por simplicidade no caso paramétrico vamos assumir espaço de
estados finito. Assuma que as probabilidades de transição
dependam somente de um parâmetro θ, tomando valores em um
espaço paramétrico Θ ⊂ Rr . Vamos assumir as seguintes condições
de regularidade:
1. D = {(i, j); pij > 0} não depende de θ.
2. Cada pij (θ) é 3-vezes continuamente diferenciável.
3. A matriz de dimensão d × r, ∂pij (θ)/∂θk , i, j ∈ D, k = 1, . . . , r
e d é a cardinalidade de D, tem posto r.
4. Para cada θ existe somente uma classe ergódica e nenhum
estado transiente.
86
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Podemos escrver a verossimilhança como
X
l(θ, x) =
nij log pij (θ).
D
Diferenciando esta expressão obtemos as equações de
verossimilhança:
X ni j ∂pij (θ)
∂
ln (θ) =
= 0,
∂θk
pij (θ) ∂θk
k = 1, . . . , k.
D
Seja θ 0 o verdadeiro valor do parâmtro.
87
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Assuma as condições de regularidade:
(i) Existe uma solução θ̂ das equações de verossimilhança que é
consistente;
√
(ii) n(θ̂ − θ 0 ) → N (0, I −1 (θ 0 )), onde I é a matriz de
informação:
Iuv (θ 0 ) =
X π(i, θ 0 ) ∂pij (θ 0 ) ∂pij (θ 0 )
.
pij (θ 0 ) ∂θu
∂θv
(i,j)∈D
√
(iii) Var n(θ̂ − θ 0 ) pode ser estimada de forma consistente pelo
inverso da informação observada
−1
Nij 2
∇ log pij (θ̂)
.
−
n
88
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Exemplo: Eugen Onegin
Estimamos p pela equação:
l(p) = (n00 + n11 ) log(1 − p) + (n01 + n10 ) log p,
onde 0 = vogal e 1 = consoante. O máximo é obtido em:
N01 + N10
7532 + 7533
e p̂ =
= 0.753.
n
20000
A segunda derivada da verossimilahnça é:
P̂ =
n00 + n11
n01 + n10
l (p) = −
+
(1 − p)2
p2
00
Portanto, o erro padrão assintótico estimado é
−1/2
(−l00 (p̂))
= (p̂(1 − p̂)/n)1/2 = (.753 × .247/20000)1/2 . O que nos
dá um IC de nı́vel 95% como:
(.747; .759)
Note que nem p̂01 = .872 nem p̂10 = .663 pertence a este intervalo,
indicando que o modelo de um parmâmetro não é adequado.
89
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Assuma as condições de regularidade. Seja θ̂ o EMV
sob a hipótse paramétrica H0 . Também, seja P̂ o EMV não
paramétrico e θ 0 o verdadeiro valor do parâmetro, quando H0 é
verdadeira.
Então:
D
(i) 2 l(θ̂) − l(θ 0 ) → χ2 (r);
D
(ii) 2 l(P̂) − l(θ̂) → χ2 (d(d − 1) − r);
(iii) As estatı́sticas em (i) e (ii) são assintóticqamente
independentes.
90
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teorema: Assuma as condições de regularidade. Sejam θ̂ 0 o EMV
sob a hipótese paramétrica H0 : θ ∈ Θ0 e θ̂ 1 o EMV sob a hipótese
θ ∈ Θ0 ∪ Θ1 . Então para se testar H0 : θ ∈ Θ0 vs. H1 : θ ∈ Θ1 a
estatı́stica do teste a ser utilizada é:
D
−2 l(θ̂ 0 ) − l(θ̂ 1 ) → χ2 (s)
onde s = dim(Θ1 ∪ Θ0 ) − dim(Θ0 ).
91
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Teste para independência: Suponha que queremos testar a
hipótese de que a seqüência X1 , X2 , . . . tomando valores em
I = {0, 1, . . . , K} é independente vs. a hipótese de que pertença a
uma CM de ordem 1. Em termos de parametrização simplesmente
colocamos: H0 : pij = θj para todo i, j ∈ I.
Neste caso, precisamos calcular o máximo sob as duas hipóteses
(independência e CM de ordem 1).
92
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
CM de ordem 1: P̂ij = Nij /Ni .
Sob a hipótese de independência temos uma distribuição
P
multinomial, com n.j = i nij observações da categoria com
probabilidade θj . A verossimilhança é:
l(θ) =
K−1
X
j=0
n.j θj + n.K (1 −
K−1
X
θj ),
j=0
a qual é maximizada por θˆj = N.j /n. Portanto, a estatı́stica da
razão de verossimilhança é dada por:
X
Nij /Ni
2 l(P̂) − l(θ̂) = 2
Nij log
N.j /n
i,j
a qual assintoticamente tem uma distribuição χ2 com
K(K + 1) − K = K 2 graus de liberdade. No modelo de Snoqualmie
Falls K = 1.
93
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Em Inferência usamos o teste chi-quadrado de Pearson:
X (Nij − Ni p0ij )2
X =
Ni p0ij
Eugen Onegin Queremos testar a hipótese H0 : p01 = p10
Os valores esperados para a estatı́stica de Pearson são calculados
multiplicando-se as somas das linhas (n0 , n1 ) = (8.638; 11.362) pela
matriz de transição estimada sob H0 :


0.247 0.753


P̂ =
0.753 0.247
obtendo

(Eij ) = 
94
2131.4
8558.4
6506.6
2803.6


Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
A Estatı́stica chiquadrado para testar a hipótese uni-dimensional é:
X (nij − ni p̂0ij )2
χ =
= 1217.7.
0
n
p̂
i ij
ij
2
O valor exato da estatı́stica exata da verossimilhança é 1217.7.
(Aproximação excelente!!!)
95
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Ferrugem asiática
Variáveis coletadas:
• Molhamento foliar (codificada como 1 se há molhamento
superior a oito horas e 0 caso contrário),
• Velocidade do vento em m/s
• Umidade relativa do ar
• Precipitação em mm
• Temperatura média em ¡C.
Quatro estações meteorológicas - Lucas do Rio Verde (MT), Rio
Verde (GO), Passo Fundo (RS) e Holambra (SP).
Esse dados foram enviados diariamente para o CEPAGRI Unicamp
96
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Fonsechi(2006) analisou os dados através de um MLR, cujas
variáveis regressoras dependem do tempo anterior, por exemplo, se
choveu no tempo t − 1 influencia se haverá molhamento ou não no
tempo t. Obviamente não podemos esperar independência de um
tempo para o outro.
Modelo Logı́stico Regressivo para Observações Binárias
A decomposição da probabilidade de Y dado X, sendo (Y) o vetor
com a variável resposta e (X) a matriz de covariáveis no MLR é:
P (Y/X) = P (Yi |Y1 , Y2 , ..., Yi−1 , X)
97
(0.1)
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Pode-se definir o i-ésimo logito como:
θ = log
P (Yi = 1|Y1 , . . . , Yi−1 , Xi )
P (Yi = 0|Y1 , . . . , Yi−1 , Xi )
(0.2)
e assumir que θi é função linear de Y1 , . . . , Yi−1 , X.
Temos, então, um problema de regressão no qual a resposta Yi é
binária, mas o conjunto de valores da variável explicativa muda de
acordo com i.
98
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Para introduzir dependência no modelo é necessário criar variáveis
auxiliares. Considere Zi = Zi (Yi ) funções lineares dos Yi0 s dadas
por:

 2Y − 1, se Y = 0 ou 1
i
i
Zi =
 0,
se Yi é desconhecido.
Definimos a regressão logı́stica da seguinte forma:
θ1
θi
= α + βX1
= α+
i−1
X
γj Zj + βXi , i = 1, . . . , n
j=1
Temos:
P (Y |X) =
99
n
Y
θ i Yi
e
.
θ
i
(1 + e )
i=1
(0.3)
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Para (j < i)
• Se Yj = 1, a chance do dia i ter molhamento (Yi = 1) aumenta
em eγj ,
• Yj desconhecido não muda a chance,
• Yj =0 diminui a chance em eγj e
• um aumento de uma unidade em Xi aumenta a chance do dia i
ter molhamento em eβ .
100
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
O modelo na forma matricial fica:
0
θ = [θ1 . . . θn ] ,
0
Z = [Z1 . . . Zn ] ,
0
λ = [α γ1 γ2 . . . γn−1 β] ,





A=




1
0
1
Z1
1
..
.
Z1
..
.
1
Z1
0
...
0
0
X1





.




...
0
X2
..
.
0
..
.
X3
..
.
..
.
Z2 . . .
Zn−1
Xn
Z2
...
Então o modelo torna-se:
θ = Aλ
101
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Estruturas Markovianas de Dependência
Com a estrutura de primeira ordem (para o de segunda é analogo),
o modelo torna-se:
P (Y|X) = P (Y1 |X)
n
Y
P (Yi |Yi−1 , X)
(0.4)
i=2
Portanto, a probabilidade de ter molhamento foliar no dia i só
depende da resposta do dia imediatamente anterior. Nesse caso, os
logitos acima podem ser escritos como:
θi = α + γZi−1 + βXi .
102
(0.5)
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Método de Análise
• Foi utilizado o software livre R (www.r-project.org)
• Para as quatro estações testou-se o modelo com estrutura
Markoviana de dependência de primeira e segunda ordem.
• Ajustou-se primeiramente um modelo com todas as covariáveis
(Modelo completo) e depois selecionou-se as covariáveis
significativas ao modelo (Modelo reduzido).
• Para verificar a adequação do modelo foi utilizado a estatı́stica
”deviance”(−2logL, sendo L a funcão de verossimilhança),
• Distribuição χ2n−p−1 , sendo n − p − 1 o graus de liberdade, n é
o número de observações e p é o número de parâmetros.
103
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Passo Fundo - Estrutura Markoviana de 1a ordem
Tabela 1: Passo Fundo - Estrutura Markoviana de primeira ordem
(Modelo Completo)
104
Parâmetro
Estimação
teste-t
Intercepto
-13.80594
6.03e-06
Z
0.68004
0.00104
UR
0.15166
2.50e-08
Temp média
0.0995
0.12957
Velocidade Vento
-0.24003
0.28894
Chuva
0.05070
0.28251
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Tabela 2: Passo Fundo - Estrutura Markoviana de primeira ordem
(Modelo Reduzido)
Parâmetro
Estimação
teste-t
Intercepto
-15.67279
5.97e-08
Z
0.66143
0.00103
UR
0.16491
4.24e-11
Temp média
0.10751
0.09699
Para Passo Fundo, com estrutura markoviana com dependência de
primeira ordem a deviance foi 161,1 e o valor tabelado da χ2223 é
189.43, ou seja, pelo teste de bondade de ajuste esse modelo é
adequado.
105
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Tabela 3: Passo Fundo - Estrutura Markoviana de segunda ordem
(Modelo Completo)
106
Parâmetro
Estimação
teste-t
Intercepto
-13.80594
8.99e-06
Z1
0.52782
0.0197
Z2
0.36670
0.0960
UR
0.15069
4.24e-08
Temp média
0.10047
0.1332
Velocidade Vento
-0.25198
0.2793
Chuva
0.055070
0.2512
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Tabela 4: Passo Fundo - Estrutura Markoviana de segunda ordem
(Modelo Reduzido)
107
Parâmetro
Estimação
teste-t
Intercepto
-15.79363
6.88e-08
Z1
0.51292
0.0204
Z2
0.34475
0.1150
UR
0.16604
5.61e-11
Temp média
0.10841
0.100
Piracicaba- 05 a 09 de maio de 2012
57a. Reunião Anual da RBras
Conclusão
• Verificou-se a eficiência da utilização do Modelo Logı́stico
Regressivo para a estimação de molhamento foliar na cultura
da soja.
• Para as quatro estações testadas, o modelo que melhor ajusta
aos dados meteorológicos é o logı́stico regressivo com estrutura
markoviana de primeira ordem, ou seja, o modelo que leva em
consideração a dependência do dia anterior para a ocorrência
de molhamento foliar.
• Com as previsões meteorológicas e o uso do modelo proposto
será possı́vel um melhor monitoramento da cultura da soja,
acionando os produtores de soja para alertá-los quando houver
indı́cios da ocorrência de molhamento foliar superior a 8 horas,
ajudando assim o momento certo para aplicação de fungicida.
108
Piracicaba- 05 a 09 de maio de 2012