Estado de retorno

El estado de retorno es el estado de la cadena de Markov visitado por ella un número infinito de veces.

Definición

Sea dada una cadena de Markov homogénea con tiempo discreto . Dejar ${\displaystyle \{X_{n}\}_{n\geq 0))$

f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots,n-1 \mid X_{0}=i)

es la probabilidad de salir del estado y volver a él exactamente en pasos. Después $i$ $norte$

{\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty}f_{ii}^{(n)))

es la probabilidad, habiendo salido del estado , de volver a él (por un tiempo finito o infinito). $i$

Un estado se llama recurrente (recurrente) si . De lo contrario, el estado se llama irrevocable (transitorio) . $i$ ${\ estilo de visualización f_ {ii} = 1}$

Criterio de retorno

Un estado es reembolsable si y solo si se cumple alguna de las siguientes condiciones: $i$

$\sum \limits _{n=1}^{\infty}p_{ii}^{(n)}=\infty$ , donde . $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

En consecuencia, el estado es irrevocable si y solo si se cumple alguna de las siguientes condiciones: $i$

$\sum \limits _{n=1}^{\infty}p_{ii}^{(n)}<\infty$ .
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Hora de regreso

Suponga que casi en todas partes , y defina una variable aleatoria , igual al tiempo del primer regreso al estado , es decir. ${\ estilo de visualización X_ {0} = i}$ $T_{yo}$ $i$

T_{i}=\inf\{n\geq 1\mid X_{n}=i\}

Entonces tiene una distribución discreta dada por la función de probabilidad $T_{yo}$

{\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)))

El estado de retorno se llama positivo si $i$

\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty}nf_{ii}^{(n)}<\infty

y cero si

\mathbb {E} [T_{i}]=\infty

Recurrencia de una clase indescomponible

Si los estados y se reportan , y son recíprocos, entonces el estado también es recíproco. $i$ $j$ $i$ $j$
Además, si el estado es positivo, entonces el estado también es positivo. $i$ $j$

Así, la recurrencia y la positividad son propiedades de la clase indescomponible . Si la cadena de Markov es indescomponible, entonces se habla de su recurrencia y positividad.

Clasificación de estados y cadenas de Markov
Estado	aperiódico retornable realizable irrevocable insignificante cero periódico positivo comunicado importante
Cadena	aperiódico retornable irrevocable indescomponible cero periódico positivo descomponible ergódico