4.6. Processos de Markov

Como vimos anteriormente, Processos de Markov, também chamados de cadeias de Markov, são processos estocásticos em que a mudança de estado para um estado futuro, conhecendo-se o estado atual, não depende dos estados passados. Mais precisamente, se {Xt}tI\{X_t\}_{t\in I} é um processo aleatório, t1<t2<<tn<tn+1t_1 < t_2 < \ldots < t_n < t_{n+1} pertencem a I,I, e E,E1,,EnE, E_1, \ldots, E_n são possíveis eventos, então, dados Xt1E1,Xt2E2,,XtninEn,X_{t_1} \in E_1, X_{t_2} \in E_2, \ldots, X_{t_n} in E_n, temos que a probabilidade de Xtn+1EX_{t_{n+1}} \in E só depende da informação dada no instante mais recente tn,t_n, ou seja

P(Xtn+1EXt1E1,Xt2E2,,XtnEn)=P(Xtn+1EXtnEn). \mathbb{P}(X_{t_{n+1}} \in E | X_{t_1} \in E_1, X_{t_2} \in E_2, \ldots, X_{t_n} \in E_n) = \mathbb{P}(X_{t_{n+1}} \in E | X_{t_n} \in E_n).

No caso em que o conjunto de eventos é discreto, podemos escrever

P(Xtn+1=xXt1=x1,Xt2=x2,,Xtn=xn)=P(Xtn+1=xXtn=xn). \mathbb{P}(X_{t_{n+1}} = x | X_{t_1} = x_1, X_{t_2} = x_2, \ldots, X_{t_n} = x_n) = \mathbb{P}(X_{t_{n+1}} = x | X_{t_n} = x_n).

Processos de Markov são chamados de sem memória. Processos de Markov podem ser contínuos ou discretos e o espaço de estados também pode ser contínuo ou discreto.

O processo de Bernoulli é um exemplo trivial de uma cadeia de Markov discreta. O passeio aleatório é outro exemplo. O modelo de Einstein para o movimento Browniano, por sua vez, é um exemplo de um processo de Markov contínuo. Já o modelo da urna sem recomposição, como tratado anteriormente, não é uma cadeia de Markov, já que cada passo depende do estado do sistema em todos os passos anteriores.

Revisitando o problema da urna

Conforme formulado inicialmente, o problema da urna não é uma cadeia de Markov. Mas podemos modelar o problema de outra forma, para que seja uma cadeia de Markov. Lembramos que começamos com NN bolinhas de cada cor. Podemos denotar por XnX_n o total de bolinhas vermelhas retiradas da urna até o passo n,n, inclusive. Para o passo n+1,n + 1, só há duas possibilidades: Xn+1=Xn+1,X_{n + 1} = X_n + 1, caso uma bolinha vermelha seja retirada, ou Xn+1=Xn,X_{n + 1} = X_n, caso a bolinha retirada seja da cor preta. Todos os outros estados tem probabilidade nula de ocorrer.

Observe que, inicialmente, temos um total de 2N2N bolinhas. Após nn retiradas, sobram 2Nn2N - n bolinhas. Por sua vez, inicialmente temos NN bolinhas de cada cor. Após retirarmos XnX_n bolinhas vermelhas, temos NXnN - X_n vermelhas restantes. As outras (2Nn)(NXn)=Nn+Xn(2N - n) - (N - X_n) = N - n + X_n são bolinhas pretas. Assim, podemos expressar as probabilidades de cada uma das duas realizações possíveis na forma

P(Xn+1=Xn+1)=NXn2Nn, \mathbb{P}(X_{n + 1} = X_n + 1) = \frac{N - X_n}{2N - n},

e

P(Xn+1=Xn+1)=Nn+Xn2Nn. \mathbb{P}(X_{n + 1} = X_n + 1) = \frac{N - n + X_n}{2N - n}.

Probabilidades de transição

Quando temos um número discreto de estados possíveis, podemos determinar a evolução do processo em termos das probabilidades do sistema ir de um estado i,i, no instante n,n, para um estado j,j, no instante n+1.n+1. Isso nos leva a definir as probabilidades de transição

pijn=P(Xn+1=jXn=i). p_{ij}^n = \mathbb{P}(X_{n+1} = j | X_n = i).

O processo é temporalmente homogêneo quando as probabilidades de transição são independentes do parâmetro, i.e. pijn=pijp_{ij}^n = p_{ij} independe de n.n.

Quando o conjunto de possíveis estados é finito, isso nos dá uma matriz de transição,

Pn=(pijn). P_n = (p_{ij}^n).

Observe que cada linha da matriz de transição deve ter soma igual a

jpij=1,j. \sum_j p_{ij} = 1, \qquad \forall j.

No caso de um processo de Bernoulli com estados {1,0}\{1, 0\} (e.g. sucesso e fracasso) ocorrendo com probabilidades pp e 1p,1 - p, respectivamente, temos a matriz de transição

Pn=P=[p1pp1p]. P_n = P = \left[ \begin{matrix} p & 1 - p \\ p & 1 - p \end{matrix} \right].

No caso de um objeto poder ser colocado em uma de duas possíveis posições, digamos 11 e 2,2, e que jogamos uma moeda viciada para decidir se objeto troca de posição, com probabilidade p,p, e se mantém na posição, com probabilidade 1p,1 - p, então a matriz de transição é

Pn=P=[p1p1pp]. P_n = P = \left[ \begin{matrix} p & 1 - p \\ 1 - p & p \end{matrix} \right].

No caso do passeio aleatório, temos um espaço de estados enumerável, Ω=Z,\Omega = \mathbb{Z}, e as probabilidades de transição são

pij=P(Xn+1=jXn=i)={1/2,j=i±1,0,caso contraˊrio. p_{ij} = \mathbb{P}(X_{n+1} = j | X_n = i) = \begin{cases} 1/2, & j = i \pm 1, \\ 0, & \text{caso contrário} \end{cases}.

Previsão ingênua de tempo

Vamos imaginar, agora, um problema de previsão de tempo, em que classificamos o tempo em três estados: "ensolarado", "nublado" e "chuvoso". Seja XnX_n o estado do sistema no nn-ésimo dia, com 1,1, 22 e 33 indicando cada um desses possíveis estados, respectivamente.

Vamos assumir que, a partir de uma "análise criteriosa do histórico do clima em uma determinada região e uma determinada época", observamos que, em média, após um dia ensolarado, temos 70% de chances de termos outro dia ensolarado, 20% de termos um dia nublado e 10% de termos um dia chuvoso. Após um dia nublado, as chances são de 30%, 40%, 30%, respectivamente. E após um dia chuvoso, as chances são de 20%, 40% e 40%.

Como temos um número finito de estados e as probabilidades de transição são estacionárias, podemos definir a matriz de transição de estados P=(pij)ijP = (p_{ij})_{ij} por

pij=P(Xn+1=jXn=i) p_{ij} = \mathbb{P}(X_{n+1} = j | X_n = i)

No nosso caso, temos

P=[0.70.20.10.30.40.30.20.40.4] P = \left[ \begin{matrix} 0.7 & 0.2 & 0.1 \\ 0.3 & 0.4 & 0.3 \\ 0.2 & 0.4 & 0.4 \end{matrix} \right]

Sabendo-se a distribuição de probabilidades representadas por um vetor linha Xnw=[p1,p2,p3],X_n \sim w = [p1, p2, p3], pi0,p_i \geq 0, p1+p2+p3=1p_1 + p_2 + p_3 = 1 no instante n,n, as probabilidades no instante Xn+1X_{n + 1} são dadas por

Xn+1wP=(Ptwt)t. X_{n + 1} \sim w P = ( P^t w^t)^t.

Previsões de longo prazo podem ser feitas iterando-se a matriz de transição:

Xn+kwPk,k=1,2,. X_{n+k} \sim wP^k, \quad k = 1, 2, \ldots.

Por exemplo, se em determinado momento nn temos Xn=1,X_n = 1, ou seja, temos um dia ensolarado, representado pelo vetor probabilidade w=[1,0,0],w = [1, 0, 0], então daqui a dois dias teremos

Xn+2wP2=([0.570.390.170.260.440.360.170.270.3](100))t=(0.570.260.17)t=[0.57,0.26,0.17], X_{n+2} \sim w P^2 = \left( \left[ \begin{matrix} 0.57 & 0.39 & 0.17 \\ 0.26 & 0.44 & 0.36 \\ 0.17 & 0.27 & 0.3 \end{matrix} \right] \left(\begin{matrix} 1 \\ 0 \\ 0 \end{matrix}\right) \right)^t = \left(\begin{matrix} 0.57 \\ 0.26 \\ 0.17 \end{matrix}\right)^t = [0.57, 0.26, 0.17],

ou seja, 57%57\% de termos um dia ensolarado, 13%13\% de termos um dia nublado e 17%17\% de termos um dia chuvoso.

Distribuições estacionárias de processos temporalmente homogêneos

No caso de um processo temporalmente homogêneo em um espaço de eventos finito {1,,J},\{1, \ldots, J\}, a matriz de transição PP é independente do parâmetro temporal. Além disso, como as linhas somam 1,1, a matriz tem necessariamente um autovalor igual a 1,1, com autovetor com todos os coeficientes iguais a 1.1. De fato,

P(11)=(j=1Jp1jj=1JpJj)=(11), P \left(\begin{matrix} 1 \\ \vdots \\ 1 \end{matrix}\right) = \left(\begin{matrix} \sum_{j=1}^J p_{1j} \\ \vdots \\ \sum_{j=1}^J p_{Jj} \end{matrix}\right) = \left(\begin{matrix} 1 \\ \vdots \\ 1 \end{matrix}\right),

Em particular, det(PI)=0,\det(P - I) = 0, portanto det(PtI)=det(PI)=0\det(P^t - I) = \det(P - I) = 0 e PtP^t também possui um autovalor igual a 1.1.

Isso implica na existência de (pelo menos) um vetor linha v=[v1,,vJ]v=[v_1, \ldots, v_J] tal que vtv^t seja um autovetor de PtP^t associado ao autovalor 11 e com norma 1,1, i.e. Ptvt=vt,P^t v^t = v^t, ou seja

vP=v, vP = v,

e tal que v1++vJ=1.v_1 + \ldots + v_J = 1. Isso nos dá uma distribuição estacionária

P(Xn=i)=vi. \mathbb{P}(X_n = i) = v_i.

Por exemplo, no caso da previsão ingênua de tempo,

Pt=[0.70.30.20.20.40.40.10.30.4] P^t = \left[ \begin{matrix} 0.7 & 0.3 & 0.2 \\ 0.2 & 0.4 & 0.4 \\ 0.1 & 0.3 & 0.4 \end{matrix} \right]

Os autovalores são aproximadamente 0.0438,0.0438, 0.45620.4562 e 1.1. O autoespaço associado ao autovalor 11 é

V1={(6s,4s,3s);  sR}. V_1 = \{(6s, 4s, 3s); \;s\in \mathbb{R}\}.

O autovalor com elementos não negativos e com norma 11 é

v=113[6,4,3][0.4615,0.3077,0.2308]. v = \frac{1}{13}[6, 4, 3] \approx [0.4615, 0.3077, 0.2308].

Assim, a distribuição com probabilidades de aproximadamente 46,15%46,15\% de sol, 30,77%30,77\% de nuvens e 23,08%23,08\% de chuva é uma distribuição estacionária. (Ela está associada a média de dias ensolarados, nublados e chuvosos coletados para a análise). Ou seja, se em um determinado dia essas são as probabilidades para a previsão para o dia seguinte, então as previsões a longo prazo serão iguais a essa. Podemos interpretar vv como sendo essa lei de distribuição de probabilidades.

Como, nesse caso, há um único autovalor igual a 11 e os outros dois são estritamente menores do que 1,1, então a previsão "assintótica" é igual a essa obtida pela análise de autovalores: limkwPn+kv.\lim_{k\rightarrow \infty} wP^{n + k} \sim v.

Além de, necessariamente, ter um autovalor igual a 1,1, qualquer matriz de transição tem autovalores com valor absoluto entre 00 e 1,1, mas eles podem ser negativos ou complexos.

Exercícios

  1. Qualquer matriz cujos elementos sejam não negativos e cujas linhas tenham soma igual a 11 define um processo de Markov. Tais matrizes são chamadas de matrizes de Markov. Encontre os autovalores das seguintes matrizes de Markov, observando que podemos ter (a) autovalores nulos; (b) autovalores negativos; (c) mais de um autovalor igual a 11; e (d) autovalores complexos conjugados:

(a) P=[1100],(b) P=[0110] \textrm{(a) } P = \left[ \begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix} \right], \qquad \textrm{(b) } P = \left[ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} \right] (c) P=[1001],(d) P=[010001100] \textrm{(c) } P = \left[ \begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix} \right], \qquad \textrm{(d) } P = \left[ \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0\end{matrix} \right]
  1. Mostre que quando 11 é o único autovalor com valor absoluto igual a 1,1, de uma matriz de Markov P,P, então uPkuP^k converge para um autovetor associado a esse autovalor. Se o autoespaço desse autovalor tiver dimensão um, então esse limite independe do vetor inicial u,u, desde que ele esteja associada a uma distribuição de probabilidades, ou seja, que seja um vetor com norma 1.1.

  2. Encontre os autoespaços associados aos autovalores das matrizes (c) e (d) do exercício acima, obtenha as distribuições de probabilidade associadas a esses autovalores e observe que existem distribuições cíclicas, ou seja, que se repetem após dois ou mais passos.

  3. Sejá PP é a matriz de transição de uma cadeia de Markov discreta em I=NI = \mathbb{N} e temporalmente homogênea, com um número finito JJ de estados possíveis. Seja v=(vj)j=1,,Jv = (v_j)_{j = 1, \ldots, J} uma distribuição inicial de probabilidades para o processo. Mostre que cada vPnvP^n é uma distribuição de probabilidades, i.e. 0(vPn)j10 \leq (vP_n)_j \leq 1 e j(vPn)j=1,\sum_j (vP^n)_j = 1, para cada nN,n\in \mathbb{N}, e que não pode haver autovalor da matriz de transição com módulo maior do que 1.1.



Last modified: July 20, 2025. Built with Franklin.jl, using the Book Template.