Verfahren, welche die Lösung einer Aufgabe als Grenzwert einer unendlichen Folge von Näherungslösungen berechnen.

Im Gegensatz dazu versteht man unter direkten Verfahren Methoden, welche (bei rundungsfehlerfreier Rechnung) die exakte Lösung der Aufgabe nach endlich vielen Schritten berechnen.

Bei einigen Problemen, z. B. bei der Lösung von Eigenwertproblemen, müssen stets Iterationsverfahren zur numerischen Lösung eingesetzt werden, da man diese Probleme i. allg. nicht direkt lösen kann.

Bei anderen Problemen, z. B. der Lösung von linearen Gleichungssystemen Ax = b, lassen sich direkte oder iterative Verfahren einsetzen. Dabei verändern Verfahren zur direkten Lösung linearer Gleichungssysteme typischerweise die gegebene Koeffizientenmatrix A und transformieren das ursprüngliche Problem in ein einfacher zu lösendes. Bei der iterativen Lösung linearer Gleichungssysteme wird die Koeffizientenmatrix A nicht verändert; hier besteht ein Iterationsschritt häufig in der Ausführung einer Matrix-Vektor-Multiplikation. Während direkte Verfahren zumindest theoretisch die exakte Lösung des Problems berechnen, sind bei Iterationsverfahren Fragen der Konvergenz und Konvergenzgeschwindigkeit von Bedeutung.

Von besonderem Interesse in der Numerischen Mathematik ist das Iterationsverfahren für Fixpunkte, worunter man ein Iterationsverfahren zur Berechnung eines Fixpunktes versteht, das auf dem Banachschen Fixpunktsatz beruht; siehe auch iterierte Abbildungen.

Abschließend noch Bemerkungen zum Verhalten eines Iterationsverfahrens zur Lösung einer Fixpunktgleichung T(x) = x in der Nähe des Fixpunktes. Es seien \(M\subseteq {{\mathbb{R}}}^{n}\) und \(T:M\to {{\mathbb{R}}}^{n}\) eine Abbildung. Ist x^* ein Fixpunkt von T, so verwendet man zur näherungsweisen Bestimmung des Fixpunktes oft das iterative Verfahren \({x}_{m+1}=T({x}_{m})\) mit einer fest gewählten Startnäherung x₀. Das Lösungsverhalten des Verfahrens in der Nähe des Fixpunktes kann man dann durch die Beschreibung der Ordnung des Verfahrens angeben. Gibt es eine Konstante c und ein \(p\in {\mathbb{N}}\), so daß gilt: \begin{eqnarray}||{x}^{m+1}-{x}^{* }||\le c\cdot ||{x}^{m}-{x}^{* }|{|}^{p},\end{eqnarray} mit 0 ≤ c< 1 für p = 1 und 0 ≤ c für p > 1, so heißt das durch T erzeugte Verfahren ein Verfahren der Ordnung p, sofern man mit einem x₀ aus einer passenden Umgebung von x^* startet.

Jedes Verfahren p-ter Ordnung konvergiert lokal, das heißt, es gibt eine Umgebung U von x^*, so daß für jedes \({x}_{0}\in U\) die zugehörige Iterationsfolge \({x}_{m+1}=T({x}_{m})\) gegen x^* konvergiert.