Podemos classificar os processos aleatórios de várias formas diferentes. Vejamos algumas classificações e exemplos.
Um processo é dito identicamente distribuído quando as variáveis aleatórias são identicamente distribuídas, ou seja, quando as leis de probabilidade das variáveis são iguais entre si.
Por exemplo, o processo de Bernoulli tem para todo sendo, portanto, um processo identicamente distribuído.
Jogar um mesmo dado, não viciado, várias vezes, também é um processo identicamente distribuído, com com para todo Mesmo um dado viciado também gera um processo identicamente distribuído, já que é o mesmo dado que estamos jogando. A distribuição só não será uniforme.
O processo de contagem binomial, por outro lado, não é identicamente distribuído, pois cada incremento tem distribuição binomial diferente
Observe, como falamos antes, que não basta conhecermos apenas a função de probabilidade acumulada em cada instante de tempo. É preciso saber todas as probabilidades conjuntas. De fato, o processo de Bernoulli discutido acima é tal que, para algum vale para todo Por outro lado, se definirmos o processo constante onde ou seja, com medida de probabilidade e então também temos cada Mas os dois processos são bem diferentes entre si.
O processo de contagem binomial não é identicamente distribuído, mas os passos são testes de Bernoulli com a mesma probabilidade de sucesso, portanto identicamente distribuídos.
Se são identicamente distribuídos, então para todo Assim, para cada a família de "passos largos" também é identicamente distribuída, já que
Mais geralmente, dizemos que um processo é um processo com incrementos identicamente distribuídos quando, para cada as variáveis aleatórias definidas por são identicamente distribuídas. A distribuição pode variar com o tamanho do incremento mas não com o instante em que cada incremento é dado.
Um exemplo de processo contínuo que tem incrementos identicamente distribuídos é o de processo de Wiener, que veremos mais pra frente.
Já o processo de renovação não tem incrementos identicamente distribuídos. De fato, sejam variáveis aleatórias independentes, com distribuições para Seja o processo de renovação associado a esses saltos. Lembremos que
onde
Como ou então ou e para
Então para ; ou para ; para Portanto, mas ou com iguais probabilidades. Ou seja, esses incrementos não têm a mesma distribuição, não sendo identicamente distribuídos.
Um processo é dito independente quando as variáveis aleatórias são independentes entre si. Ou seja, as chances de são independentes de em momentos distintos e Podemos escrever isso na forma
O processo de Bernoulli, por exemplo, é independente. Pense, novamente, no lançamento de uma moeda. Se em um determinado lançamento foi obtido cara, isso não vai mudar as chances de se obter coroa no próximo lançamento. Mesma coisa com lançamentos sucessivos de um dado.
Já o caminho aleatório não é independente, pois as chances de termos dependem da posição Mais precisamente,
mas
Além disso, como a única chance de chegar em é dar três passos de modo que
O caminho aleatório não é independente, como vimos, mas os seus incrementos são independentes. De fato, as chances de darmos um passo ou em um determinado instante independe de qualquer passo dado anteriormente. Ou seja, os incrementos são independentes entre si. Nesse caso, dizemos que o processo tem incrementos independentes.
Mais geralmente, um processo tem incrementos independentes quando, para quaisquer os incrementos ..., são variáveis aleatórias mutuamente independentes.
Veremos que um processo de Wiener é um exemplo de processo contínuo com incrementos independentes.
O processo de renovação, por sua vez, também não tem incrementos independentes. De fato, sejam variáveis aleatórias independentes com distribuições e para Seja o processo de renovação associado a esses saltos. Lembremos que
onde
Observe que ou e para Assim, ou e para
Então para ; ou para e para Observe, ainda, que com iguais probabilidades de serem ou dependendo do resultado de Assim, esses incrementos não são independentes. Se então e necessariamente Já se então e necessariamente Todos os outros passos são mais longos e não interferem nesse movimento inicial.
Esses processos, chamados simplesmente de i.i.d., são aqueles, naturalmente, que são, ao mesmo tempo, independentes e identicamente distribuídos.
Como vimos, o processo de Bernoulli é independente e identicamente distribuído.
Um processo pode ser independente sem ser identicamente distribuído. De fato, pense em um processo de Bernoulli em que a cada passo temos um teste de Bernoulli com probabilidades diferentes, digamos com distintos. Por exemplo, jogamos, alternadamente, um dado viciado e um dado não viciado.
Um processo também pode ser identicamente distribuído sem ser independente. Por exemplo, digamos que, a cada mês, eu faça um sorteio, sempre do mesmo modo, para escolher uma certa quantidade de números para jogar na loteria e eu que eu repita os números em todas as semanas daquele mês. A probabilidade de um dos números ser igual a três é a mesma independente da semana. E as chances de eu jogar o número três na primeira semana de julho são as mesmas tendo eu jogado três na terceira semana de março ou não. Mas se um dos números jogados na primeira semana de julho for três, então certamente o três será jogado novamente na terceira semana de julho. Os números jogados em um mesmo mês não são independentes entre si.
Um exemplo contínuo é o processo
onde é a variável aleatória i.e. com lei uniforme no intervalo Como o cosseno é periódico com período essa lei é a mesma em todos os instantes ou seja, são identicamente distribuídos. Mas não são independentes.
O nome já diz, por si só, o que é um processo com incrementos independentes e identicamente distribuídos.
Um exemplo é o caminho aleatório. Processos de Wiener, que veremos mais adiante, são exemplos de processos contínuos com incrementos i.i.d..
Vale ressaltar aqui que, para a independência dos incrementos, os incrementos devem ser consecutivos, i.e. para ou, no mínimo, sem interseção nos intervalos de tempo. Já para a distribuição idêntica, os passos devem ser tomados com intervalos iguais, i.e. e mas pode haver interseção, ou seja e são arbitrários.
Um processo é dito estacionário quando as suas informações estatísticas não variam com o tempo. Mais precisamente, para quaisquer e tais que as distribuições conjuntas de e são iguais, o que pode ser expresso por
para eventos quaisquer
Em particular, considerando vemos que as distribuições simples também são idênticas, ou seja, processos estacionários são necessariamente identicamente distribuídos. Mas não precisam ser independentes. De fato, considere o processo de Bernoulli e defina ou seja, soma os resultados de dois lançamentos consecutivos, em uma série de lançamentos. A distribuição de é sempre a mesma, igual à binomial Mas não é independente de
Por outro lado, qualquer processo i.i.d. é estacionário. De fato, temos, trivialmente, que, como cada realização é independente,
Além disso, como são identicamente distribuídos, cada Usando isso e, novamente, a independência das realizações,
Nesse caso, podemos ir além e deduzir que essa distribuição conjunta é e independente de
Pedir que um processo seja estacionário é, invariavelmente, pedir muito. Em várias situações, apenas parte das informações estatísticas de um processo são estacionárias, a saber, o valor médio e a autocorrelação. Mais precisamente, dizemos que um processo é fracamente estacionário, ou estacionário no sentido fraco, quando
e
Observe a condição desses momentos serem finitos. Por conta disso, não podemos dizer, estritamente, que processos estacionários são fracamente estacionário. Mas qualquer processo estacionário com autocorrelação finita é fracamente estacionário.
Vale lembrar que a variável aleatória discreta com probabilidades dadas pelos termos da série de Euler, i.e. é um exemplo de variável aleatória com valor esperado (e autocorrelação) infinita. Assim, o processo dado por para todo é estacionário mas não é fracamente estacionário.
Um processo de Poisson com taxa, ou intensidade, é um processo contínuo com valores inteiros e com seguintes propriedades:
;
Os incrementos são independentes, i.e. para quaisquer os incrementos ..., são variáveis aleatórias independentes;
Para e o incremento é uma variável aleatória com distribuição de Poisson, i.e.
Os processos de Poisson são uma versão contínua do processo de contagem. Por definição, os processos de Poisson são processos com incrementos i.i.d..
Um processo Gaussiano é um processo contínuo em um intervalo tal que as distribuições conjuntas são normais (multivariadas).
Um exemplo é dado pela Gaussiana senoidal onde e são normais independentes,
Processos de Wiener também são processos Gaussianos.
Processos e cadeias de Markov são processos estocásticos em que a mudança de estado para um estado futuro, conhecendo-se o estado atual, não depende dos estados passados. São frequentemente chamados de processos sem memória.
É comum distinguir entre processos discretos e contínuos, denominando os primeiros como cadeias de Markov e os últimos como processos de Markov, mas nem todos os autores fazem essa distinção; em muitos contextos, a denominação cadeia de Markov se refere a processos que podem ser discretos ou contínuos.
No caso discreto, se é um processo aleatório em um conjunto discredo pertencem a e são possíveis eventos, então, dados temos que a probabilidade de só depende da informação dada no instante mais recente ou seja
No caso em que o conjunto de eventos também é discreto, podemos escrever
A definição formal no caso em que o processo estocástico é contínuo é um pouco delicada, pois a condição requer envolver não apenas um número finito de instantes anteriores mas, sim, um contínuo de instantes Para isso, é necessário o conceito de filtração. Veremos isso em outro momento.
O processo de Bernoulli é um exemplo trivial de uma cadeia de Markov discreta. O passeio aleatório é outro exemplo. Um processo de Wiener, modelando o movimento Browniano, por sua vez, é um exemplo de um processo de Markov contínuo. Já o modelo da urna sem recomposição, como tratado anteriormente, não é uma cadeia de Markov, já que cada passo depende do estado do sistema em todos os incrementos anteriores. Mas este pode ser reformulado como um processo de Markov. Veremos isso posteriormente, junto com o estudo de propriedades específicas de processos de Markov.
Processos do tipo Martingale são processos em que o valor esperado em um instante futuro é igual ao valor atual. Mais precisamente, no caso de discreto, um processo é Martingale se
e se, dados instantes pertencentes a e dados eventos vale
No caso contínuo, a segunda condição pode ser informalmente escrita na forma
Formalmente, a condicional deve ser escrita na forma
para qualquer em uma -algebra associada a uma filtração, como a filtração natural dada pela -algebra gerada por (i.e. a menor -algebra contendo)
O exemplo clássico de Martingale é o passeio aleatório. Se denota o passeio aleatório, então, dado podemos ter ou com iguais probabilidades, de modo que
Além disso, o conhecimento de posições anteriores não modifica esse valor esperado. Ou seja,
para qualquer na filtração natural até
Um processo Martingale não depende de valores anteriores. Mas ele não é necessariamente um processo de Markov, pois outras informações estatísticas diferentes do valor esperado podem depender de informações anteriores. E processos de Markov não são necessariamente Martingales, pois o valor esperado só depende da informação atual mas pode ser diferente do estado atual do processo.
Um processo de Wiener, ou processo Browniano, é um processo estocástico real tal que, para algum
;
possui incrementos independentes, i.e. para e onde temos que as variáveis aleatórias são independentes.
Para qualquer os incrementos são identicamente distribuídos, com distribuição normal com média zero e desvio padrão i.e.
Com probabilidade um, os caminhos amostrais são contínuos, i.e.
Quando ou seja,
o processo é chamado de processo de Wiener padrão, ou processo Browniano padrão. Dado um processo de Wiener padrão o processo é um processo de Wiener com
Esse tipo de processo estocástico, como modelo para o movimento Browniano, foi introduzido por N. Wiener, nos anos 1920, junto com a demonstração de existência de tal processo. O processo de Wiener é um dos temas centrais em equações diferenciais estocásticos. O estudaremos em detalhes em capítulos subsequentes. Em particular, veremos que o processo de Wiener é um exemplo de processo Gaussiano. Reciprocamente, se pode mostrar que um processo Gaussiano com caminhos contínuous quase certamente e satisfazendo e para todo é um processo de Wiener.
Um processo de Lévy é um processo estocástico contínuo tal que
;
Os incrementos são independentes, i.e. para quaisquer os incrementos ..., são variáveis aleatórias independentes;
Os incrementos são estacionários, i.e. para quaisquer e os incrementos ..., tem distribuição conjunta de probabilidades independente de ;
é contínuo em probabilidade, i.e. quando
Processos de Wiener são processos de Lévy, com incrementos normais com média zero e variância proporcional ao intervalo de tempo.
Processos de Poisson são processos de Lévy, com incrementos dados por uma distribuição de Poisson, com valor esperado proporcional ao intervalo de tempo.
Processos de Lévy podem ser caracterizados através de uma representação chamada de fórmula de Lévy-Khintchine, para a sua função característica.
O conceito de processo do tipo ruído branco é delicado. A ideia está associada à cor branca, que pode ser obtida pela mistura uniforme de fontes lumiosas de todas as cores visíveis, i.e. combinando-se, igualmente, todos os comprimentos de onda do espectro visível. No caso de um "ruído", pensamos em um processo com variável temporal contínua, digamos O espectro é obtido através das suas correlações, ou por suas covariâncias, como faremos a seguir. Pede-se, de início, que o processo tenha valor esperado nulo, para todo Assim, as suas covariâncias são dadas por
Pede-se, ainda, que seja um processo estacionário, de modo que as covariâncias só dependam do intervalo de tempo podendo ser escritas na forma
para alguma função Observe que de modo que podem ser arbitrários e pode, de fato, assumir qualquer valor real.
Caso não haja nenhuma correlação entre os sinais em instantes diferentes, teremos
Naturalmente,
Um exemplo de processo que satisfaz essas condições é o processo onde Apesar dos caminhos amostrais serem simples senoidais, este é um exemplo de ruído branco no sentido acima. De fato, temos
e
No entanto, não podemos dizer que uma função satisfazendo quando e tenha um espectro contínuo. As condições acima dão, na verdade, um ruído branco em um sentido mais fraco.
Para que seja um ruído branco "genuíno", a função de covariância não está definida no sentido clássico. É necessário que seja uma distribuição, com
para alguma e onde é a delta de Dirac. Assim, o seu espectro é, de fato, constante (usamos aqui, para denotar a frequência, como de costume nesse contexto, ao invés de denotar um elemento do espaço amostral):
Algumas definições pedem, ainda, que os eventos, em instantes diferentes, sejam independentes entre si.
Não vamos nos aprofundar nesse assunto tão delicado, mas veremos argumentos de que a "derivada" de um processo de Wiener pode ser considerada um ruído branco nesse sentido mais forte.
Mostre que, se é um processo i.i.d. e o processo é estacionário mas não é i.i.d..