B. Grabowski

Sei X eine zufällige Variable, deren Verteilungsfunktion F_γ(x) von einem unbekannten Parameter γ ∈ Γ ⊆ ℝ^p abhängt, und sei \(\overrightarrow{X}=({X}_{1},\mathrm{..},{X}_{n})\) eine mathematische Stichprobe von X. Unter einer Punktschätzfunktion für γ verstehen wir eine Vorschrift (Stichprobenfunktion) \(\hat{\gamma }\overrightarrow{X}=S({X}_{1},\mathrm{..},{X}_{n})\), die jeder konkreten Realisierung (x₁, …, x_n) der Stichprobe mit \(\hat{\gamma }(\overrightarrow{x})=S({x}_{1},\mathrm{..},{x}_{n})\) einen Schätzwert für γ zuordnet, bzw. γ mit diesem identifiziert. \(\hat{\gamma }(\overrightarrow{X})\) wird auch kurz als Punktschätzung oder Schätzung und \(\hat{\gamma }(\overrightarrow{x})\) als Punktschätzwert bzw. Schätzwert für γ bezeichnet.

Beispielsweise sind \begin{eqnarray}{\hat{\sigma }}_{* }^{2}=\frac{1}{n}\displaystyle \sum _{i=1}^{n}{({X}_{i}-\overline{X})}^{2}\end{eqnarray}

und \begin{eqnarray}{\hat{\sigma }}^{2}=\frac{1}{n-1}\displaystyle \sum _{i=1}^{n}{({X}_{i}-\overline{X})}^{2}\text{mit}\,\overline{X}=\frac{1}{n}\displaystyle \sum _{i=1}^{n}{X}_{i}\end{eqnarray}

zwei Schätzfunktionen für die unbekannte Varianz V (X) = σ² einer Zufallsgröße X, die bei Vorliegen einer konkreten Stichprobe zwei unterschiedliche Schätzwerte für σ² liefern. Es erhebt sich die Frage, welche der beiden Schätzfunktionen bessere Werte für den unbekannten Parameter liefert. Zur Beantwortung dieser Frage stellte R.A. Fisher 1930 Kriterien für die Auswahl einer Schätzfunktion auf. Er fordert, daß eine ’gute Schätzfunktion’ erwartungstreu, konsistent und effizient sein soll.

1. Eine Punktschätzfunktion \(\hat{\gamma }(\overrightarrow{X})\) eines Parameters γ heißt erwartungstreu (unverzerrt), wenn sie im Mittel über alle möglichen Stichprobenwerte den unbekannten Parameter trifft, d. h., wenn gilt: \begin{eqnarray}E\hat{\gamma }(\overrightarrow{X})=\gamma \,\text{f}{\rm\ddot{u}}\text{r}\,\text{alle}\,\gamma \in \Gamma \text{.}\end{eqnarray}

\({\hat{\sigma }}^{2}\) eine erwartungstreue Schätzung für die Varianz \({\sigma }^{2}=V(X)\) einer Zufallsgröße X, aber \({\hat{\sigma }}_{* }^{2}\) wegen \({\hat{\sigma }}_{* }^{2}=\frac{n-1}{n}{\hat{\sigma }}^{2}\) nur eine asymptotisch erwartungstreue Schätzung für V (X).

Bei nicht erwartungstreuen Schätzungen S = S(X₁, …, X_n) spielt die Differenz \begin{eqnarray}{b}_{n}(S)=E[\hat{\gamma }(\overrightarrow{X})-\gamma ]\end{eqnarray}

eine Rolle bei der Beurteilung der Güte für einen festen gegebenen Stichprobenumfang n. Diese Differenz wird auch als Bias oder Verzerrung bezeichnet.

2. Eine Punktschätzfunktion \(\hat{\gamma }(\overrightarrow{X})\) eines Parameters γ heißt (schwach) konsistent, wenn sie mit wachsendem Stichprobenumfang n in Wahrscheinlichkeit gegen γ konvergiert, d. h., wenn für jedes beliebige ϵ > 0 gilt: \begin{eqnarray}\mathop{\mathrm{lim}}\limits_{n\to \infty }P(|\hat{\gamma }(\overrightarrow{X})-\gamma |\lt \varepsilon )=1\end{eqnarray}

Es gilt folgender Satz:

Sei \(\hat{\gamma }(\overrightarrow{X})=S({X}_{1},\mathrm{...},{X}_{n})\)eine asymptotisch erwartungstreue Schätzung, deren Varianz mit wachsendem Stichprobenumfang n gegen 0 konvergiert, d. h., es gelte \({\mathrm{lim}}_{n\to \infty }E\hat{\gamma }(\overrightarrow{X})=\gamma \)und \({\mathrm{lim}}_{n\to \infty }V(\hat{\gamma }(\overrightarrow{X}))=0\). Dann ist \(\hat{\gamma }(\overrightarrow{X})\)(schwach) konsistent.

Wenn eine Folge \(\hat{\gamma }(\overrightarrow{X})=S({X}_{1},\mathrm{...},{X}_{n})\) von Schätzfunktionen für γ nicht nur in Wahrscheinlichkeit, sondern sogar fast sicher gegen γ konvergiert (Konvergenzarten für Folgen zufälliger Grö-ßen), so spricht man von starker Konsistenz der Schätzung \(\hat{\gamma }(\overrightarrow{X})\) für γ.

3. Seien \({\hat{\gamma }}_{1}(\overrightarrow{X})\) und \({\hat{\gamma }}_{2}(\overrightarrow{X})\) zwei erwartungstreue Schätzfunktionen für γ. Dann nennt man \({\hat{\gamma }}_{1}(\overrightarrow{X})\) effizienter (wirksamer) als \({\hat{\gamma }}_{2}(\overrightarrow{X})\) falls für die Varianzen der Schätzfunktionen gilt: \begin{eqnarray}V({\hat{\gamma }}_{1}(\overrightarrow{X})\le V({\hat{\gamma }}_{2}(\overrightarrow{X})).\end{eqnarray}

Das Verhältnis \begin{eqnarray}\eta :=\frac{V({\hat{\gamma }}_{1}(\overrightarrow{X}))}{V({\hat{\gamma }}_{2}(\overrightarrow{X}))}\end{eqnarray}

wird als Wirkungsgrad (Effizienz) von \({\hat{\gamma }}_{2}(\overrightarrow{X})\) in bezug auf \({\hat{\gamma }}_{1}(\overrightarrow{X})\) bezeichnet. Die für einen Parameter γ der Grundgesamtheit vorliegende Schätzfunktion mit der kleinsten Varianz wird als effektive (wirksamste) Schätzung bezeichnet. Eine Aussage über eine untere Schranke der Varianz von Punktschätzfunktionen liefert die Ungleichung von Rao-Cramer (Rao-Cramer, Ungleichung von). Diese besagt, daß eine erwartungstreue Punktschätzfunktion für einen eindimensionalen Parameter, deren Varianz gleich dem reziproken der Fisherschen Information ist, die effektive Schätzfunktion ist.

4. Im Rahmen der Schätztheorie und ihrer Anwendungen spielen lineare Schätzfunktionen eine wichtige Rolle. Eine Schätzfunktion S = S(X₁, …, X_n) für γ ∈ Γ = ℝ^p heißt linear, falls sie in der Form \(S=\overrightarrow{X}A\) mit einer reellen Matrix A vom Typ (n, p) darstellbar ist.

Es sei B_S die Kovarianzmatrix von S. Existiert in der Klasse 𝕂 aller linearen erwartungstreuen Punktschätzungen für γ eine Schätzfunktion S_o derart, daß die Differenzmatrix B_S − B_So positiv semidefinit ist, so heißt S_o die Gauß-Markow-Schätzung bzw. die beste lineare erwartungsstreue Punktschätzung (BLUE) für γ.

Läßt sich eine Schätzfunktion in der Form \begin{eqnarray}S=\overrightarrow{X}A+\overrightarrow{a}\end{eqnarray}

mit \(\overrightarrow{a}\in {{\mathbb{R}}}^{p}\) darstellen, so heißt S eine inhomogene lineare Schätzung. Die in der Klasse aller inhomogenen linearen erwartungstreuen Punktschätzungen beste Schätzung (in dem Sinne, daß B_S − B_So für alle S dieser Klasse positiv semidefinit ist) wird als beste inhomogene lineare Schätzung (BILUE) für γ bezeichnet.

Die am häufigsten angewendeten Methoden zur Konstruktion von Punktschätzungen mit den entsprechenden Eigenschaften sind die Maximum-Likelihood-Methode, die Momentenmethode, die Minimum-χ² -Methode, das Minimax-Verfahren und die Methode der kleinsten Quadrate.

Ein Beispiel. Der unbekannte Erwartungswert μ = EX (γ = μ, p = 1) einer Zufallsgröße X soll geschätzt werden. Die Momentenmethode liefert als Schätzfunktion das arithmetische Mittel einer Stichprobe von X: \begin{eqnarray}\overline{X}=\frac{1}{n}\displaystyle \sum _{i=1}^{n}{X}_{i}.\end{eqnarray}

Wegen \begin{eqnarray}\begin{array}{llll}E\overline{X} & =E\left[\frac{1}{n}\displaystyle \sum _{i=1}^{n}{X}_{i}\right]=\frac{1}{n}E\left[\displaystyle \sum _{i=1}^{n}{X}_{i}\right] & & \\ & =\frac{1}{n}\left[\frac{1}{n}\displaystyle \sum _{i=1}^{n}E[{X}_{i}]\right]=\frac{1}{n}nE[X]=EX & & (1)\end{array}\end{eqnarray}

ist \(\overline{X}\) erwartungstreu für EX, und wegen \begin{eqnarray}\begin{array}{llll}V\overline{X} & =V\left[\frac{1}{n}\displaystyle \sum _{i=1}^{n}{X}_{i}\right]=\frac{1}{{n}^{2}}V\left[\displaystyle \sum _{i=1}^{n}{X}_{i}\right] & & \\ & =\frac{1}{{n}^{2}}\left[\frac{1}{n}\displaystyle \sum _{i=1}^{n}V[{X}_{i}]\right] & & \\ & =\frac{1}{{n}^{2}}nV[X]=\frac{V(X)}{n}{\to }_{n\to \infty }0 & & (2)\end{array}\end{eqnarray}

ist \(\overline{X}\) schwach konsistent. Mehr noch, \(\overline{X}\) ist sogar eine stark konsistente Schätzung für EX (Gesetze der großen Zahlen).

Falls X einer Normalverteilung \(N(\mu, {\sigma }_{0}^{2})\) mit bekannter Varianz \({\sigma }_{0}^{2}\) genügt, so gilt für die Fishersche Information \begin{eqnarray}\begin{array}{lll}{I}_{n}(\mu ) & =nV\left[\frac{d\mathrm{ln}f(\overrightarrow{X};\mu )}{d\mu }\right] & \\ & =nV\left[\frac{d}{d\mu }\left(-\mathrm{ln}\sqrt{2\pi {\sigma }_{0}}-\frac{{(X-\mu )}^{2}}{2{\sigma }_{0}^{2}}\right)\right] & \\ & =nV\left[\frac{X-\mu }{{\sigma }_{0}^{2}}\right] & \\ & =n\frac{1}{{\sigma }_{0}^{4}}V[X]=n\frac{1}{{\sigma }_{0}^{4}}{\sigma }_{0}^{2}=\frac{n}{{\sigma }_{0}^{2}}=\frac{1}{V(\overline{X})}. & (3)\end{array}\end{eqnarray}

Das bedeutet, daß das arithmetische Mittel die effektive Schätzung für den Erwartungswert einer normalverteilten Grundgesamtheit bei bekannter Varianz ist. Außerdem ist \(\overline{X}=\overrightarrow{X}\cdot A\) mit \(A={({\scriptstyle \frac{1}{n}},\mathrm{...},{\scriptstyle \frac{1}{n}})}^{{T}}\in {{\mathbb{R}}}^{n}\) die BLUE für μ.