die Wahrscheinlichkeit, sich bei statistischen Schluß- und Prüfverfahren zu irren.

Speziell wird der Begriff Irrtumswahrscheinlichkeit zur Beurteilung der Güte von Hypothesentests und zur Beurteilung der Güte von Bereichsschätzungen verwendet.

Bei einer auf der Basis einer Stichprobe berechneten Bereichsschätzung für einen unbekannten Parameter mit der Überdeckungswahrscheinlichkeit α ist die Irrtumswahrscheinlichkeit gerade gleich 1 − α, d.h., die Irrtumswahrscheinlichkeit ist die Wahrscheinlichkeit, mit der der berechnete Bereich den gesuchten unbekannten Parameter nicht enthält. Bei statistischen Hypothesentests zum Prüfen einer Hypothese H₀ gegen eine Alternative H₁ unterscheidet man zwei Fehlerarten, den sogenannten Fehler erster Art:

Entscheidung gegen H₀, obwohl H₀ gilt, und den Fehler zweiter Art:

Entscheidung für H₀, obwohl H₀ nicht gilt.

Der Begriff Irrtumswahrscheinlichkeit wird dabei speziell für die Wahrscheinlichkeit des Fehlers erster Art verwendet.