Charakterisierung der rekurrenten Zustände einer auf einem Wahrscheinlichkeitsraum \((\Omega,{\mathfrak{A}},P)\) definierten zeiüich homogenen Markow-Kette \({({X}_{t})}_{t\in {{\mathbb{N}}}_{0}}\) mit abzählbarem Zustandsraum S im folgenden Satz.

Der Zustand i ∈ S ist genau dann rekurrent, wenn. \begin{eqnarray}\mathop{\sum ^{\infty }}\limits_{n=1}{p}_{ii}^{(n)}=\infty \end{eqnarray}gilt.

Dabei bezeichnet \({p}_{ii}^{(n)}\) für alle i ∈ S und n ∈ ℕ die Wahrscheinlichkeit dafür, daß die Kette ausgehend vom Zustand i nach n Schritten wieder zu i zurückkehrt.