Informationsmaß, ein in der Informationstheorie benutztes Maß zur Quantifizierung der Information, genauer gesagt des Informationsgewinns.

Hierbei geht die Informationstheorie von dem Szenario aus, daß ein Versuch F gegeben ist. Bevor der Versuch ausgeführt wird, herrscht Unsicherheit über seinen Ausgang. Die Entropie ist ein Maß zur Quantifizierung dieser Unsicherheit. Sie wird über die Anstrengung gemessen, die aufgebracht werden muß, um den Ausgang des Versuches zu erfahren.

Hier kann man sich zur Anschauung folgendes Szenario überlegen. Man stellt sich vor, daß der Versuch F schon ausgeführt wurde, daß eine Person A den Ausgang des Versuches kennt, eine Person B aber nicht. Wieviel ist nun das Wissen von Person A wert? Oder anders formuliert, wieviele ja/nein-Fragen muß Person B der Person A wenigstens durchschnittlich stellen, bis sie über das Wissen über den Ausgang des Versuchs F verfügt?

Die geringste Unsicherheit über den Ausgang eines Experimentes F herrscht, wenn es sich um einen deterministischen Versuch handelt, bei dem also nur ein Ausgang möglich ist. Die Entropie H(F) eines solchen Versuches ist 0, da in diesem Fall Person B überhaupt keine Frage stellen muß.

Im allgemeinen ist die Entropie H(F) eines Versuches größer oder gleich 0. Steht ein Versuch F an, bei dem n ≥ 2 Ausgänge möglich sind, dann ist die Unsicherheit dann am größten, wenn alle Ausgänge gleichwahrscheinlich sind.

Formal ist die Entropie eines Versuches wie folgt definiert. Es sei F ein Versuch mit n Ausgängen, wobei der Ausgang i mit einer Wahrscheinlichkeit p_i eintritt. Die Entropie H(F) von F ist dann gegeben durch \begin{eqnarray}H(F)=-\displaystyle \sum _{i=1}^{n}{p}_{i}\cdot {\mathrm{log}}_{2}{p}_{i}.\end{eqnarray}

Zwischen Entropie und Information, d. h. Informationsgewinn, besteht ein sehr enger Zusammenhang. Vor der Ausführung eines Versuches F haben wir keinerlei Information über den Ausgang des Versuchs, und die Entropie ist H(F). Nach der Ausführung des Versuchs kennen wir den Ausgang des Versuchs und es herrscht keine Unsicherheit mehr über dessen Ausgang, sodaß die gewonnene <?PageNum _58Informationsmenge durch den Verlust an Entropie gemessen werden kann.

Die Entropie H einer Informationsquelle bestimmt, wieviele Bitstellen zur Übertragung der von der Informationsquelle erzeugten Nachrichten im Mittel wenigstens benötigt werden.

[1] Topsoe, F.: Informationstheorie. Teubner, Stuttgart, 1974.