5.1 - Tempos de Paradas na cadeia de Markov

Você está aqui

Uma importante propriedade da cadeia de Markov é quando usamos uma forma de dizer o passado em relação ao tempo, ou seja, quando a informação passada é aleatória e temporal. Essa variável é conhecida como tempo de parada, e cadeia de markov com essa propriedade é conhecida como tempo de Markov.

Definição 5.1.1:

Seja $\{X_n:~n=0,1,2\cdots\}$ um processo estocástico com um espaço de estado enumerável definida no espaço de probabilidade $(\Omega,\mathcal{F},\mathbb{P})$. Uma variável aleatórial $\tau$ definida neste espaço de probabilidade é dita ser um tempo de parada se:

(i) Se assumir valores não negativos inteiros, sendo que existe a possibilidade dela assumir o valor $+\infty$

(ii) Para todo inteiro não negativo m o evento $\{\omega:\tau (\omega)\leq m\}$ é determinado por $X_0,X_1,X_2,\cdots,X_m$.

Observe que essa definição é um caso particular da definição de tempo de parada anterior, pois essa definição refere-se apenas a um espaço enumerável e não a um espaço contínuo como dito anteriormente.

Intuitivamente, se $\tau$ é um tempo de parada, então ele será parado ou não pelo tempo m o qual é decidido pela observação do processo estocástico até o momento m. Por exemplo consideremos o primeiro tempo de parada $\tau_y$ o processo $X_n$ atinge o estado x, definido por:

$\tau_y (\omega)=\inf\{n\geq 0: X_n(\omega)=x\}.$

Se $\omega$ é tal que $X_n\neq x$ para qualquer n, ou seja, o processo nunca assume o valor x, então é claro que $\tau_x(\omega)=\infty$. Observe que a seguinte igualdade é válida

$\{\omega:\tau_x(\omega)\leq m\}=\displaystyle \bigcup_{n=0}^{m}\{\omega: X_n(\omega)=x\}.$

Teorema 5.1.1:

Toda cadeia de Markov tem a propriedade forte de markov se para todo tempo de parada $\tau$, a distribuição condicional do processo após $\tau$, o qual é dado por $X_\tau^{+}=\{Y_{\tau+n}:n=0,1,2,\cdots\}$, dado que o passado até o tempo $\tau$ é dado como sendo $\mathbb{P}_{X_{\tau}}$ no conjunto

Demonstração:  

Escolhemos um m e k inteiros não negativos com m fixo, e k um tempo tal que $0\leq m_1\textless m_2\textless \cdots \textless m_{k}$ e estados $i_0,i_1,\cdots , i_m$, $j_1,j_2,\cdots, j_k$. Então

$$\mathbb{P}(X_{\tau+m_1}=j_1,X_{\tau+m_2}=j_2,\cdots, X_{\tau+m_k}=j_k|\tau=m, X_0=i_0,\cdots, X_m=i_m)=$$

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|\tau=m, X_0=i_0,\cdots, X_m=i_m)$$

 

Agora se $\{\tau=m\}$ não é consistente com o evento $\{X_0=i_0,\cdots, X_m=i_m\}$ então $\{\tau=m, X_0=i_0,\cdots, X_m=i_m\}=\emptyset$, por outro lado se $\{\tau=m\}$ é consistente com o evento $\{X_0=i_0,\cdots, X_m=i_m\}$ então $\{\tau=m, X_0=i_0,\cdots, X_m=i_m\}=\{X_0=i_0,\cdots, X_m=i_m\}$. Portanto temos que

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|\tau=m, X_0=i_0,\cdots, X_m=i_m)=$$

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|X_0=i_0,\cdots, X_m=i_m)$$

 

Usando a propriedade da cadeia de Markov temos que

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|X_0=i_0,\cdots, X_m=i_m)=$$

$$\mathbb{P}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k|X_m=i_m)=$$

$$\mathbb{P}_{i_m}(X_{m+m_1}=j_1,X_{m+m_2}=j_2,\cdots, X_{m+m_k}=j_k)= $$

$$\mathbb{P}_{X_\tau}(X_{m_1}=j_1,X_{m_2}=j_2,\cdots, X_{m_k}=j_k)$$

 

no conjunto $\{\tau =m\}$. Como m é fixo porém arbitrário e portanto $m\textless \infty$, temos então que o resultado segue.

Processo Estocástico

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]