modelliert ein Mehrphasenspiel, bei dem zu jedem Zeitpunkt die „Geschichte“ des Spiels durch einen „Zustand“ beschrieben werden kann.

Die aktuellen Gewinne hängen von diesem Zustand sowie den aktuellen Aktionen ab. Der Zustand selbst verhält sich wie ein Markow-Prozeß, d. h., die Wahrscheinlichkeitsverteilung für den nächsten Zustand wird durch den aktuellen Zustand und die aktuellen Aktionen determiniert. Formal besteht ein stochastisches Spiel aus Zuständen z ∈ Z und Aktionsräumen A_i(z) für jeden Spieler i im Zustand z. Eine Funktion q(z^t+1 |z^t, a^t) beschreibt die bedingte Wahrscheinlichkeit dafür, daß z^t+1 der Zustand zum Zeitpunkt (t + 1) wird, wenn z^t derjenige zum Zeitpunkt t ist, und die Aktion a^t ausgeführt wird. Die Gewinnfunktionen haben dann die Form \begin{eqnarray}\displaystyle \sum _{t=0}^{\infty}{\delta}^{t}\cdot {g}_{i}({z}^{t},{a}^{t}).\end{eqnarray}

Dabei spielen die δ^t die Rolle von Normalisierungsfaktoren.