Como vimos anteriormente, Processos de Markov, também chamados de cadeias de Markov, são processos estocásticos em que a mudança de estado para um estado futuro, conhecendo-se o estado atual, não depende dos estados passados. Mais precisamente, se é um processo aleatório, pertencem a e são possíveis eventos, então, dados temos que a probabilidade de só depende da informação dada no instante mais recente ou seja
No caso em que o conjunto de eventos é discreto, podemos escrever
Processos de Markov são chamados de sem memória. Processos de Markov podem ser contínuos ou discretos e o espaço de estados também pode ser contínuo ou discreto.
O processo de Bernoulli é um exemplo trivial de uma cadeia de Markov discreta. O passeio aleatório é outro exemplo. O modelo de Einstein para o movimento Browniano, por sua vez, é um exemplo de um processo de Markov contínuo. Já o modelo da urna sem recomposição, como tratado anteriormente, não é uma cadeia de Markov, já que cada passo depende do estado do sistema em todos os passos anteriores.
Conforme formulado inicialmente, o problema da urna não é uma cadeia de Markov. Mas podemos modelar o problema de outra forma, para que seja uma cadeia de Markov. Lembramos que começamos com bolinhas de cada cor. Podemos denotar por o total de bolinhas vermelhas retiradas da urna até o passo inclusive. Para o passo só há duas possibilidades: caso uma bolinha vermelha seja retirada, ou caso a bolinha retirada seja da cor preta. Todos os outros estados tem probabilidade nula de ocorrer.
Observe que, inicialmente, temos um total de bolinhas. Após retiradas, sobram bolinhas. Por sua vez, inicialmente temos bolinhas de cada cor. Após retirarmos bolinhas vermelhas, temos vermelhas restantes. As outras são bolinhas pretas. Assim, podemos expressar as probabilidades de cada uma das duas realizações possíveis na forma
e
Quando temos um número discreto de estados possíveis, podemos determinar a evolução do processo em termos das probabilidades do sistema ir de um estado no instante para um estado no instante Isso nos leva a definir as probabilidades de transição
O processo é temporalmente homogêneo quando as probabilidades de transição são independentes do parâmetro, i.e. independe de
Quando o conjunto de possíveis estados é finito, isso nos dá uma matriz de transição,
Observe que cada linha da matriz de transição deve ter soma igual a
No caso de um processo de Bernoulli com estados (e.g. sucesso e fracasso) ocorrendo com probabilidades e respectivamente, temos a matriz de transição
No caso de um objeto poder ser colocado em uma de duas possíveis posições, digamos e e que jogamos uma moeda viciada para decidir se objeto troca de posição, com probabilidade e se mantém na posição, com probabilidade então a matriz de transição é
No caso do passeio aleatório, temos um espaço de estados enumerável, e as probabilidades de transição são
Vamos imaginar, agora, um problema de previsão de tempo, em que classificamos o tempo em três estados: "ensolarado", "nublado" e "chuvoso". Seja o estado do sistema no -ésimo dia, com e indicando cada um desses possíveis estados, respectivamente.
Vamos assumir que, a partir de uma "análise criteriosa do histórico do clima em uma determinada região e uma determinada época", observamos que, em média, após um dia ensolarado, temos 70% de chances de termos outro dia ensolarado, 20% de termos um dia nublado e 10% de termos um dia chuvoso. Após um dia nublado, as chances são de 30%, 40%, 30%, respectivamente. E após um dia chuvoso, as chances são de 20%, 40% e 40%.
Como temos um número finito de estados e as probabilidades de transição são estacionárias, podemos definir a matriz de transição de estados por
No nosso caso, temos
Sabendo-se a distribuição de probabilidades representadas por um vetor linha no instante as probabilidades no instante são dadas por
Previsões de longo prazo podem ser feitas iterando-se a matriz de transição:
Por exemplo, se em determinado momento temos ou seja, temos um dia ensolarado, representado pelo vetor probabilidade então daqui a dois dias teremos
ou seja, de termos um dia ensolarado, de termos um dia nublado e de termos um dia chuvoso.
No caso de um processo temporalmente homogêneo em um espaço de eventos finito a matriz de transição é independente do parâmetro temporal. Além disso, como as linhas somam a matriz tem necessariamente um autovalor igual a com autovetor com todos os coeficientes iguais a De fato,
Em particular, portanto e também possui um autovalor igual a
Isso implica na existência de (pelo menos) um vetor linha tal que seja um autovetor de associado ao autovalor e com norma i.e. ou seja
e tal que Isso nos dá uma distribuição estacionária
Por exemplo, no caso da previsão ingênua de tempo,
Os autovalores são aproximadamente e O autoespaço associado ao autovalor é
O autovalor com elementos não negativos e com norma é
Assim, a distribuição com probabilidades de aproximadamente de sol, de nuvens e de chuva é uma distribuição estacionária. (Ela está associada a média de dias ensolarados, nublados e chuvosos coletados para a análise). Ou seja, se em um determinado dia essas são as probabilidades para a previsão para o dia seguinte, então as previsões a longo prazo serão iguais a essa. Podemos interpretar como sendo essa lei de distribuição de probabilidades.
Como, nesse caso, há um único autovalor igual a e os outros dois são estritamente menores do que então a previsão "assintótica" é igual a essa obtida pela análise de autovalores:
Além de, necessariamente, ter um autovalor igual a qualquer matriz de transição tem autovalores com valor absoluto entre e mas eles podem ser negativos ou complexos.
Qualquer matriz cujos elementos sejam não negativos e cujas linhas tenham soma igual a define um processo de Markov. Tais matrizes são chamadas de matrizes de Markov. Encontre os autovalores das seguintes matrizes de Markov, observando que podemos ter (a) autovalores nulos; (b) autovalores negativos; (c) mais de um autovalor igual a ; e (d) autovalores complexos conjugados:
Mostre que quando é o único autovalor com valor absoluto igual a de uma matriz de Markov então converge para um autovetor associado a esse autovalor. Se o autoespaço desse autovalor tiver dimensão um, então esse limite independe do vetor inicial desde que ele esteja associada a uma distribuição de probabilidades, ou seja, que seja um vetor com norma
Encontre os autoespaços associados aos autovalores das matrizes (c) e (d) do exercício acima, obtenha as distribuições de probabilidade associadas a esses autovalores e observe que existem distribuições cíclicas, ou seja, que se repetem após dois ou mais passos.
Sejá é a matriz de transição de uma cadeia de Markov discreta em e temporalmente homogênea, com um número finito de estados possíveis. Seja uma distribuição inicial de probabilidades para o processo. Mostre que cada é uma distribuição de probabilidades, i.e. e para cada e que não pode haver autovalor da matriz de transição com módulo maior do que