Zustand einer zeitlich homogenen Markow-Kette mit abzählbarem Zustandsraum, der mit positiver Wahrscheinlichkeit nach endlich vielen Schritten verlassen wird, zu dem man aber niemals zurückkehrt.

Es bezeichne S den Zustandsraum der Markow-Kette und \({p}_{ij}^{(n)}\) für alle i, j ∈ S und n ∈ ℕ die Wahrscheinlichkeit, ausgehend von i in n Schritten zu j zu gelangen. Dann ist i ∈ S ein unwesentlicher Zustand, wenn ein Zustand j ≠ i und ein m ∈ ℕ mit \({p}_{ij}^{(m)}\gt 0\) existieren, für alle Zustände j ≠ i und n ∈ ℕ aber \({p}_{ji}^{(n)}=0\) gilt.