5.1 - Tempos de Paradas na cadeia de Markov

Você está aqui

Uma importante propriedade da cadeia de Markov é quando usamos uma forma de dizer o passado em relação ao tempo, ou seja, quando a informação passada é aleatória e temporal. Essa variável é conhecida como tempo de parada, e cadeia de markov com essa propriedade é conhecida como tempo de Markov.

Definição 5.1.1:

Seja ~n=0,1,2\cdots\} $ um processo estocástico com um espaço de estado enumerável definida no espaço de probabilidade $ (\Omega,\mathcal{F},\mathbb{P}) $. Uma variável aleatórial $ \tau $ definida neste espaço de probabilidade é dita ser um tempo de parada se:

(i) Se assumir valores não negativos inteiros, sendo que existe a possibilidade dela assumir o valor $ +\infty $

(ii) Para todo inteiro não negativo m o evento \tau (\omega)\leq m\} $ é determinado por $ X_0,X_1,X_2,\cdots,X_m $.

Observe que essa definição é um caso particular da definição de tempo de parada anterior, pois essa definição refere-se apenas a um espaço enumerável e não a um espaço contínuo como dito anteriormente.

Intuitivamente, se $ \tau $ é um tempo de parada, então ele será parado ou não pelo tempo m o qual é decidido pela observação do processo estocástico até o momento m. Por exemplo consideremos o primeiro tempo de parada $ \tau_y $ o processo $ X_n $ atinge o estado x, definido por:

 X_n(\omega)=x\}. $

Se $ \omega $ é tal que $ X_n\neq x $ para qualquer n, ou seja, o processo nunca assume o valor x, então é claro que $ \tau_x(\omega)=\infty $. Observe que a seguinte igualdade é válida

 X_n(\omega)=x\}. $

Teorema 5.1.1:

Toda cadeia de Markov tem a propriedade forte de markov se para todo tempo de parada $ \tau $, a distribuição condicional do processo após $ \tau $, o qual é dado por n=0,1,2,\cdots\} $, dado que o passado até o tempo $ \tau $ é dado como sendo $ \mathbb{P}_{X_{\tau}} $ no conjunto

Demonstração:  

Escolhemos um m e k inteiros não negativos com m fixo, e k um tempo tal que $ 0\leq m_1\textless m_2\textless \cdots \textless m_{k} $ e estados $ i_0,i_1,\cdots , i_m $, $ j_1,j_2,\cdots, j_k $. Então

$$\mathbb{P}(X_{\tau+m_1}=j_1,X_{\tau+m_2}=j_2,\cdots, X_{\tau+m_k}=j_k|\tau=m, X_0=i_0,\cdots, X_m=i_m)=$$

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|\tau=m, X_0=i_0,\cdots, X_m=i_m)$$

 

Agora se $ \{\tau=m\} $ não é consistente com o evento $ \{X_0=i_0,\cdots, X_m=i_m\} $ então $ \{\tau=m, X_0=i_0,\cdots, X_m=i_m\}=\emptyset $, por outro lado se $ \{\tau=m\} $ é consistente com o evento $ \{X_0=i_0,\cdots, X_m=i_m\} $ então $ \{\tau=m, X_0=i_0,\cdots, X_m=i_m\}=\{X_0=i_0,\cdots, X_m=i_m\} $. Portanto temos que

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|\tau=m, X_0=i_0,\cdots, X_m=i_m)=$$

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|X_0=i_0,\cdots, X_m=i_m)$$

 

Usando a propriedade da cadeia de Markov temos que

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|X_0=i_0,\cdots, X_m=i_m)=$$

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|X_m=i_m)=$$

$$\mathbb{P}_{i_m}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k)= $$

$$\mathbb{P}_{X_\tau}(X_{m_1}=j_1,X_{m_2}=j_2,\cdots, X_{m_k}=j_k)$$

 

no conjunto $ \{\tau =m\} $. Como m é fixo porém arbitrário e portanto $ m\textless \infty $, temos então que o resultado segue.

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]