4. Cadeias de Markov Quest˜ao 27. Mostre que se X for uma

7
4. Cadeias de Markov
Questão 27. Mostre que se X for uma variável aleatória discreta com distribuição dada
por
+∞
X
P[X = αk ] = pk com (αk )k∈N ∈ RN e ainda, (pk )k∈N ∈ RN
e
pk = 1 ,
+
k=0
então a variável aleatória Y definida por:
Y (ω) :=
+∞
X
αk I] Pk−1 pi , Pk
i=0
i=0
pi ] (U (ω))
,
k=0
em que U é uma variável aleatória com distribuição uniforme sobre [0, 1],é tal que: LX =
LY . Descreva como simular uma variável aleatória com distribuição discreta dada.
Questão 28. Defina cadeia de Markov com espaço de estados S, distribuição inicial X0 e
matriz de transição P = (pij )i,j∈S . Sem perda de generalidade, considere S = N. Mostre
que se definir a função f de N × R em R por
f (i, u) :=
+∞
X
k I] Pk−1 pij , Pk
j=0
j=0
pij ] (u)
,
k=0
se (Un )n∈N for uma amostra da lei uniforme sobre [0, 1] e se definir a sucessão de variáveis
aleatórias (Xn )n≥1 por:
Xn+1 = f (Xn , Un+1 ) ,
então (Xn )n∈N é uma cadeia de Markov com espaço de estados S, distribuição inicial X0 e
matriz de transição P = (pij )i,j∈S . Descreva como simular uma tal cadeia de Markov.
Questão 29. Seja (Xn )n∈N uma cadeia de Markov. Demonstre a propriedade de Markov,
isto é, para i0 , i1 , . . . , i, j ∈ S:
P[Xn+1 = j | X0 = i0 , . . . , Xn = i] = P[Xn+1 = j | Xn = i] .
Questão 30. Mostre que (Xn )n≥0 é uma cadeia de Markov com espaço de estados S,
distribuição inicial X0 e matriz de transição P = (pij )i,j∈S se e só se para i0 , i1 , . . . , iN
pertencentes ao espaço dos estados S se verificar:
P[X0 = i0 , X1 = i1 , . . . , Xk = ik , ] = pi0 pi0 i1 pi1 i2 . . . pik−1 ik .
Explique o significado deste resultado.
Questão 31. Mostre que faz sentido definir para qualquer n ≥ 0 a matriz de transição de
(n)
ordem superior P n = (pij )i,j∈S . Mostre que para n ≥ 0 e i, j ∈ S se tem:
(n)
pij = P[Xn = j | X0 = i] .
(n)
Mostre ainda que se (pj )j∈S representar a lei de Xn , isto é:
(n)
P[Xn = j] = pj
,
então:
(n)
pj
=
X
i∈S
(n)
pi pij .
8
(n)
Questão 32. Descreva pelo menos dois métodos práticos gerais para determinar pij , para
uma cadeia de Markov com um número finito de estados e para quaisquer estados i e j.
Questão 33. Defina o tempo para uma cadeia de Markov atingir um boreliano. Defina
estado acessı́vel a partir de um outro. Mostre que para estados distintos i e j as afirmações
seguintes são equivalentes.
(i) i → j
(n)
(ii) pij > 0 para algum n ≥ 0.
Questão 34. Formule e demonstre as equações de Chapman-Kolmogorov.
Questão 35. Defina quando é que dois estados comunicam. Mostre que a relação definida
sobre S por i ↔ j é uma relação de equivalência. Defina classes de comunicação, cadeia
de Markov irredutı́vel, classe de estados fechada e estado absorvente. Mostre que uma
classe C é fechada se e só se:
∀i ∈ C ∀j ∈ C c pij = 0
Mostre que j ∈ S é absorvente se e só se pjj = 1.
Questão 36. Estude com toda a generalidade a cadeia de Markov com espaço de estados
S = {0, 1}.
Questão 37. Defina τi (1) o tempo de paragem correspondente à pimeira vez que o processo
regressa a i ∈ S. Defina estado recorrente, transiente e recorrente positivo. Defina para
(n)
j, k ∈ S a distribuição do tempo para aingir k partindo de j dada por (fjk )n≥0 ; defina fjk
a probabilidade de atingir k partindo de j. Mostre que i ∈ S é recorrente se e só se fii = 1.
Mostre que i ∈ S é recorrente positivo se e só se
+∞
X
(n)
n fii < +∞ .
n=0
Questão 38. Defina Fij (s) a função geradora do tempo para atingir j ∈ S a partir do
estado i e Gij (s) a função geradora das probabilidades de j ∈ S a partir do estado i. Mostre
que para i ∈ S e n ≥ 1:
+∞
X
(k) (n−k)
(n)
fii pii
piij =
k=0
e que para 0 < s < 1
Gii (s) =
1
1 − Fii (s)
Questão 39. Mostre que i ∈ S é recorrente se e só se
Nj :=
+∞
X
(n)
n=0 pii
P+∞
= +∞. Mostre que sendo
I{Xn =j}
n=1
o número de visitas a j após t = 0, i ∈ S é recorrente se e só se o número médio de visitas
do processo ao estado i é infinito.