Zustand i ∈ S einer auf einem Wahrscheinlichkeitsraum \((\Omega,{\mathfrak{A}},P)\) definierten zeitlich homogenen Markow-Kette \({({X}_{t})}_{t\in {{\mathbb{N}}}_{0}}\) mit dem abzählbaren Zustandsraum S, derart daß \({f}_{ii}^{* }=1\) gilt.

Dabei ist \begin{eqnarray}{f}_{ij}^{* }:=\mathop{\sum ^{\infty }}\limits_{n=1}{f}_{ij}^{(n)}\end{eqnarray} mit \begin{eqnarray}{f}_{ij}^{(n)}:=P({X}_{n}=j,{X}_{n-1}\ne j,\ldots,{X}_{1}\ne j|{X}_{0}=i)\end{eqnarray} allgemein für alle i, j ∈ S die Wahrscheinlichkeit dafür, daß die Markow-Kette ausgehend vom Zustand i zum Zeitpunkt t = 0 den Zustand j jemals erreicht. Der Zustand i ist also rekurrent, wenn die in i startende Markow-Kette mit Wahrscheinlichkeit 1 irgendwann zu i zurückkehrt. Tatsächlich kehrt die Kette dann sogar P-fast sicher unendlich oft zu i zurück. Weiterhin sind mit einem Zustand i auch alle mit ihm verbundenen Zustände rekurrent. Siehe hierzu auch Rekurrenzkriterium.

Ist die Wahrscheinlichkeit für eine Rückkehr kleiner als Eins, d. h. gilt \({f}_{ii}^{* }\lt 1\), so heißt i ein transienter Zustand. Die Wahrscheinlichkeit, nicht zu i zurückzukehren, ist bei einem transienten Zustand positiv, und die Wahrscheinlichkeit, unendlich oft zurückzukehren, ist Null. Sind alle Zustände i ∈ S rekurrent bzw. transient, so heißt auch die Markow-Kette \({({X}_{t})}_{t\in {{\mathbb{N}}}_{0}}\) rekurrent bzw. transient.

Bei rekurrenten Zuständen i ∈ S werden des weiteren in Abhängigkeit von der sogenannten mittleren Rekurrenzzeit \begin{eqnarray}{\mu }_{i}:=\mathop{\sum ^{\infty }}\limits_{n=1}n{f}_{ii}^{(n)}\end{eqnarray} zwei Klassen unterschieden: Gilt \({\mu }_{i}\lt \infty \), so heißt i ein positiv-rekurrenter Zustand, während man i im Falle \({\mu }_{i}\lt \infty \) als null-rekurrenten Zustand bezeichnet. Ist der Zustand i positiv-rekurrent, so gilt dies auch für alle mit ihm verbundenen Zustände.