beschäftigt sich mit der mathematischen Beschreibung, der Analyse und Bewertung von Systemen, die – in einem sehr weiten Sinne – als Nachrichtenübertragungssysteme aufgefaßt werden können.

Als Geburtsdatum der Informationstheorie kann das Erscheinen der Arbeiten von C.E. Shannon in den Jahren 1947–1948 angesehen werden. Dabei stehen die statistischen Aspekte, die sich auf eine Wahrscheinlichkeitsverteilung der informationstragenden Elemente (z. B. Zeichen) beziehen, im Vordergrund. Man spricht deshalb auch von der ‚Shannonschen Informationstheorie‘. Der Shannonschen Informationstheorie wird das in der Abbildung dargestellte Modell einer gestörten Nachrichtenübertragung zugrunde gelegt.

Für die in der Abbildung enthaltenen Blöcke ‘Quelle’ und ‘Übertragungskanal’ werden wahrscheinlichkeitstheoretische Modelle entwickelt, mit denen die Quellinformation und die vom Kanal unter dem Einfluß von Störungen übertragenen Information (Transinformation) berechnet werden können. Unter der Quelle vertsteht man dabei eine Vorrichtung, die in einer Zeiteinheit genau eines aus einer Menge von Signalen (Zeichen) aussendet. Vom Standpunkt eines außenstehenden Beobachters erscheint das Austreten von Nachrichten aus einer Quelle als ein Zufallsprozeß. Mathematisch wird die Quelle durch ihr Alphabet A_Q (die Menge der möglichen Signale) und ein Wahrscheinlichkeitsmaß μ auf der σ-Algebra bzgl. der Menge aller Nachrichten ψ = (…, ψ₋₁, ψ₀, ψ₁, …), ψ_j ∈ A_Q, die aus Zeichen des Alphabets A_Q gebildet werden können, beschrieben; es ist μ(C) = P(ψ ∈ C). Ein Kanal wird mathematisch durch ein Tripel [A_K, v_x, B_K] beschrieben, wobei A_K das Eingangsalphabet des Kanals, B_K das Ausgangsalphabet des Kanals, und v_x für jede Nachricht x = (…, x₋₁, x₀, x₁, …), x_j ∈ A_K, ein Wahrscheinlichkeitsmaß auf der σ-Algebra bzgl. der Menge aller am Kanalausgang konstruierbaren Nachrichten y = (…,y₋₁, y₀, y₁,…), y_j ∈ B_K ist, falls x gesendet wurde; es gilt \begin{eqnarray}{v}_{x}(D)=P(y\in D/x\,\,\text{wurde gesendet}).\end{eqnarray} In der Regel betrachtet man gestörte Kanäle, d. h., aus der am Kanalausgang erhaltenen Nachricht y kann nicht stets mit Sicherheit die gesendete Nachricht x ermittelt werden.

Um eine Nachricht von einer Quelle zu einer Senke zu übertragen, muß sie in der Regel codiert werden. Von der Codierung der Information ist wesentlich die Effektivität der Informationsübertragung abhängig. Dabei geht es um zwei grundlegende Aspekte: Einerseits soll die Quellinformation in einer übertragungsfähigen Form eindeutig und rationell dargestellt werden (Quellcodierung); andererseits soll die Quellinformation gegen Störungen auf dem Übertragungskanal geschützt werden (Kanalcodierung). Einen Code kann man als Abbildung aller mit A_Q konstruierten Nachrichten ψ in die Menge aller im Eingangsalphabet A_K möglichen Nachrichten x auffassen. Shannon zeigte in seinem ersten Satz, daß es – unter Voraussetzungen, die in den Anwendungen als weitgehend erfüllt angesehen werden können – durch geeignete Wahl eines Codes zwischen A_Q und A_K immer möglich ist, auch über einem gestörten Kanal Nachrichten beinahe fehlerfrei zu senden. Genauer gesagt gab er hinreichende Bedingungen dafür an, daß sich – bei gegebenen A_Q und A_K – zu beliebigem ε > 0 immer ein n ∈ ℕ und ein Code zwischen A_Q und A_K so finden lassen, daß sich ein von der Nachrichtenquelle ausgesendetes Wort ψ_(n) = (ψ₁, …, ψ_n), ψ_i ∈ A_Q, aus n Buchstaben des Alphabets A_Q anhand des am Kanalausgang empfangenen Wortes y = (…, y₋₁, y₀, y₁, …), y_j ∈ B_k, mit einer Wahrscheinlichkeit von mehr als 1 − ε richtig bestimmen läßt. Der zweite Shannonsche Satz beinhaltet, daß dabei die Informationsmenge, die ein am Kanalausgang ankommender Buchstabe im Mittel mitbringt (die sogenannte Entropie), nur um beliebig wenig von der Informationsmenge abweicht, die ein Buchstabe am Kanaleingang im Mittel besitzt.

Sätze, die sich mit der Existenz, Konstruktion und den Eigenschaften solcher Codes befassen, heißen Codierungssätze und bilden den Inhalt der Codierungstheorie. Die Informationstheorie bestimmt dagegen die Möglichkeiten und Grenzen der Informationsübertragung bei einer geeigneten Codierung. Aus diesem Grunde spricht man auch von der ‚Informations- und Codierungstheorie‘ häufig im Zusammenhang.

[1] Mildenberger, O.: Informationstheorie und Codierung. Braunschweig/Wiesbaden: Vieweg, 1990.
[2] Heise, W.; Quattrocchi, P.: Informations- und Codierungstheorie. Springer-Verlag Berlin/Heidelberg/New York, 1995.