Lexikon der Neurowissenschaft: Informationstheorie
Informationstheorie w, Abk. IT, Einformation theory, Theorie, die sich mit der mathematischen Definition des Informationsbegriffs und mit der Untersuchung von Codierungsverfahren zur optimalen Informationsübertragung befaßt. Die Informationstheorie entstand nach dem zweiten Weltkrieg aus den grundlegenden Arbeiten von C. Shannon; sie kann als ein Teilgebiet der Kybernetik und eine Grundlage der Informatikangesehen werden. Gegenstand der Informationstheorie ist die mathematische quantitative Definition des Informationsgehalts einer Nachricht oder Aussage. Diese Definition wird im Rahmen der Wahrscheinlichkeitstheorie gegeben als der negative Logarithmus der Wahrscheinlichkeit der Aussage: Je unwahrscheinlicher eine Aussage also a priori ist, desto größer ist die Information, die man durch sie erhält. Ein weiteres wichtiges Konzept ist der Informationskanal, nämlich eine statistische Beschreibung des Mediums, durch welches ein Nachrichtensender Information an einen Empfänger übermittelt. Es zeigt sich, daß jeder Informationskanal eine begrenzte Kapazität hat, also nur eine begrenzte Informationsmenge pro Zeiteinheit fehlerfrei übertragen kann. Die Informationstheorie untersucht und entwickelt Codierungsverfahren, welche die Redundanz der zu übertragenden Signale optimal an die statistischen Eigenschaften des Übertragungskanals anpassen und damit die Kapazität des Kanals näherungsweise oder vollständig ausnutzen. In neuerer Zeit ist zu der klassischen Informationsdefinition auf statistischer Basis eine alternative, im wesentlichen äquivalente Definition auf algorithmischer Basis (Algorithmus) hinzugekommen. Wichtig ist, daß die Shannon'sche Information nur ein quantitatives Maß für den Informationsgehalt einer Nachricht gibt, aber natürlich nicht den Inhalt (die Bedeutung) der Nachricht spezifizieren kann.
Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.