EST-039 e EST-171 – Processos Estocásticos Lista de Exercícios

EST-039 e EST-171 – Processos Estocásticos
Lista de Exercícios # 3
1) Seja {Xn: n = 0, 1, ...} uma cadeia de Markov com dois estados, isto é, P(Xn+1 = 1 | Xn = 0) = p e
P(Xn+1 = 0 | Xn = 1) = q. Calcule:
a) P(X1 = 0 | X0 = 0, X2 = 0) ;
b) P(X1 ≠ X2 ).
2) Suponha que duas urnas possuem 2d bolas, das quais d são pretas e d são vermelhas. Inicialmente, d bolas são
colocadas na urna 1 e as restantes, na urna 2. A cada passo do experimento aleatório, uma bola é escolhida ao acaso
de cada urna e colocada na urna oposta. Seja X0 o número de bolas pretas inicialmente na urna 1 e Xn o número de
bolas pretas na urna 1 depois de n passos do experimento. Encontre a função de transição da cadeia de Markov
{Xn: n = 0, 1, ...}.
3) Seja {Xn: n = 0, 1, ...} a cadeia de Ehrenfest (Hoel, Example 2, pg. 7) e suponha que X0 tem distribuição binomial
com parâmetros d e 1/2.
a) Encontre a distribuição de X0 ;
b) Mostre que a distribuição estacionária π da cadeia coincide com a distribuição de X0
4) Considere a cadeia de Markov com espaço de estados E={0, 1, 2} e matriz de probabilidades de transição
 0
P = 1 − p
 0
1
0
1
0
p 
0 
a) Calcule P2;
b) Mostre que P4 = P2
c) Encontre Pn, n ≥ 1.
5) Considere uma cadeia de Markov com espaço de estados E = {0, 1, 2, ...}, tal que Pi, i+1 = p e Pio = 1-p.
a) Mostre que a cadeia é irredutível;
b) Encontre P0(τ0 = n), n ≥ 1;
c) Mostre que a cadeia é recorrente.
6) Considere a cadeia de Markov com E = {0, 1, 2, 3, 4, 5} e matriz de probabilidades de transição:
1 / 2
1 / 3

 0
P=
1 / 4
 0

 0
1/ 2
0
0
2/3 0
0
0 1/ 8 0
1/ 4
0
0
0 3/ 4 0
1/ 5
0 1/ 5
0
0 
0
0 
7/8 0 

1/ 4 1/ 4
1/ 4
0 

1 / 5 2 / 5
a) Determine que estados são transiente e quais são recorrentes;
b) Encontre f{0,1}j, j = 0, 1, 2, 3, 4, 5, onde f{0,1}j denota a probabilidade da primeira visita ao estado j a partir do
subconjunto de estados {0,1}.
7) Alguém, jogando roleta aposta R$1 a cada rodada, com probabilidade 9/19 de ganhar e 10/19 de perder. O jogador
decide parar de apostar tão logo ele tenha R$ 1 a mais do que tinha quando iniciou as apostas, ou quando tiver
perdido todos os R$ 1000 que tinha inicialmente.
a)
Calcule a probabilidade de que, quando o jogador parar de apostar, ele tenha perdido todo o seu capital de
R$ 1000;
b) Calcule sua perda esperada.
8) Suponha que chover ou não hoje depende da condição do tempo nos últimos três dias. Mostre como este sistema
pode ser analisado utilizando uma cadeia de Markov. Quantos estados são necessários
9) No problema anterior, suponha que, se choveu nos últimos três dias, então choverá hoje com probabilidade 0,8. Se
não choveu em nenhum dos últimos três dias, a probabilidade de chover hoje é 0,2. Em qualquer outro caso, a
probabilidade de ocorrer hoje o que ocorreu ontem será igual a 0,6. Determine a matriz de transição desta cadeia de
Markov
10) Considere uma cadeia de Markov com dois estados e matriz de transição
 p 1 − p
P=
p 
1 − p
Mostre por indução que
 1 + 1 (2 p − 1) n
P =  12 12
n
 2 − 2 (2 p − 1)
Obtenha a distribuição invariante π da cadeia.
1
2
1
2
− 12 (2 p − 1) n 

− 12 (2 p − 1) n 