Am Abend eines ereignisreichen Tages mache ich es mir bequem, schließe die Augen und träume vor mich hin. Es sind nicht mehr Sinnesreize von außen, die meine Gedanken bestimmen, sondern meine Vorstellungen, die ich mit den Eindrücken des verflossenen Tages in Einklang zu bringen versuche. Das geschieht ohne bewußte Anstrengung; vielleicht schlafe ich auch eine Nacht darüber, und am anderen Morgen habe ich – ohne zu wissen wie – die Erfahrungen des Vortags auf den Begriff gebracht.

So oder so ähnlich muß man sich das Vorbild vorstellen, nach dem Geoffrey E. Hinton und seine Kollegen an der Universität Toronto (Kanada) eine neue Variante eines neuronalen Netzes konstruiert haben ("Science", Band 268, Seite 1158, 26. Mai 1995). Auch dieses Netz lernt, indem es seine Erfahrungen gleichsam überschläft. Was soll das heißen?

Zunächst gilt der übliche Vorbehalt: Was die Computerwissenschaftler ein künstliches neuronales Netz nennen, bleibt an Reichhaltigkeit und Komplexität um viele Größenordnungen hinter dem echten Nervennetzwerk zurück, das wir in unserem Kopf haben. Gleichwohl kann eine solche plumpe Nachbildung, aus Computerschaltkreisen zusammengesetzt oder auch nur durch ein Programm simuliert, aus Erfahrung lernen und zeigt bei Beschädigung Ausfälle, die echten Hirnschäden analog sind (siehe Spektrum der Wissenschaft, November 1992, Seite 134, und Dezember 1993, Seite 68).

Nach der klassischen Vorstellung ist ein solches Netz in Schichten aufgebaut, und Information fließt stets von unten nach oben: von einer Eingangsschicht (input layer), auf der Informationen aus der Außenwelt ankommen, über eine oder mehrere interne Zwischenschichten bis zu einer Ausgangsschicht (output layer). Dort ist das Ergebnis der Informationsverarbeitung präsent. Wenn beispielsweise die Eingangsschicht – analog der Netzhaut des Auges – ein digitales Bild entgegennimmt, enthält am Ende des Prozesses die Ausgangsschicht in dem Muster der in ihr aktiven Neuronen eine Information wie: "Das ist Thomas".

Das Netz hat nämlich in einer vorhergehenden Lernphase zahlreiche Gesichter zu sehen bekommen; die Information über das jeweilige Bild war von Schicht zu Schicht geflossen und hatte in der Ausgangsschicht ein – zunächst noch bedeutungsloses – Muster erzeugt. Dazu hatte ein Lehrer jeweils den richtigen Namen gesagt, das heißt einen erwünschten Output vorgegeben.

Das Netz revidierte daraufhin die Stärke der internen Verknüpfungen – die sogenannten synaptischen Gewichte – mit dem Ziel, beim nächsten Anblick desselben Gesichts einen Output zu produzieren, welcher der Vorgabe "Thomas" näherkommt. Diese Korrekturinformation fließt entgegen der allgemeinen Richtung von oben nach unten (backpropagation). Aus Erfahrung, das heißt durch zahlreiche Unterweisungszyklen dieser Art, hat also das Netz gelernt, verschiedene Gesichter zu identifizieren.

Daß es dazu einen Lehrer braucht, ist eine offensichtliche Schwäche des Konzepts. Echte neuronale Netze lernen Gesichter und die meisten anderen Dinge nicht nur ohne Lehrer zu erkennen, sondern sogar ohne explizites Lernziel. Außerdem gibt es zwei voneinander getrennte Informationswege mit verschiedenen Aufgaben: einen aufwärts zum Erkennen und einen abwärts zum Lernen nach dem Backpropagation-Algorithmus. Bei dem neuen Konzept spielen beide Wege nahezu gleichberechtigte Rollen, und der Lehrer erübrigt sich.

An die Stelle eines expliziten Lernziels tritt ein implizites: Das Netz strebt nicht mehr danach, äußere Vorgaben zu erfüllen, sondern in die verwirrende Vielfalt der äußeren Eindrücke eine möglichst große Ordnung zu bringen. Wenn also ein und dasselbe Gesicht häufig auftaucht, ist es zweckmäßig, wenn ein Ausgangsknoten sich auf dessen Identifizierung spezialisiert. So erkennt das Netz ein Gesicht wieder, ohne daß es von außen dazu angewiesen worden wäre.


Merkmal von Ordnung: sich kurz fassen können

Ordnung ist dabei im informationstheoretischen Sinne zu interpretieren. Der Input eines neuronalen Netzes, allgemein irgendeine Zeichenkette, gilt als geordnet, wenn zu ihrer Beschreibung wesentlich weniger Zeichen erforderlich sind, als die Kette enthält. Die sehr regelmäßige Kette 010101010101... ist erschöpfend beschreibbar durch "Wiederhole 01 beliebig oft", dagegen gibt es für eine Folge von Zufallszahlen keine kürzere Beschreibung als die Folge selbst.

Ein neuronales Netz, das in diesem Sinne nach Ordnung strebt, versucht also, sich so einzustellen, daß es seine Inputs im Durchschnitt auf möglichst ökonomische Weise beschreibt. Dabei würde es, entsprechend den Aussagen der Informationstheorie, die häufigsten Inputs durch die kürzesten Zeichenketten codieren. Das impliziert, daß es aus der bisherigen Erfahrung gelernt hat, welche Inputs häufig und welche selten sind.

Zum Begriff der Information gehört nach üblichem Verständnis ein Empfänger. Das kann in einem echten neuronalen Netz eine nachgelagerte Struktur sein, die den Output weiterverarbeitet; aber in Hintons Theorie kommt es auf Eigenschaften des Empfängers nicht sonderlich an. Es genügt, wenn das neuronale Netz gewissermaßen als Zielvorgabe einen fiktiven Empfänger vor Augen hat, der die Information in möglichst kondensierter Form entgegennehmen möchte.

In den synaptischen Gewichten, die ein solches neuronales Netz während der Lernphase eingestellt hat, steckt also implizit eine aus Erfahrung gewonnene Erwartung darüber, wie wahrscheinlich welche Inputs sind. Wahrnehmung – das heißt in diesem Kontext die Erzeugung von Output aus vorliegendem Input – ist demnach stets Abgleich mit vorgefaßten Erwartungen.

Hinton und seine Kollegen machen diese Erwartungen nun in ihrem Modell explizit. Ihr neuronales Netz verfügt außer den üblichen aufwärts gerichteten über abwärts gerichtete, sogenannte generative Verbindungen. Über diese fließt nach dem Backpropagation-Prinzip die fehlerkorrigierende Information. Nur ist jetzt der Fehler nicht mehr die Abweichung zwischen Output und extern vorgegebenem Lernziel, sondern eine Art Weitschweifigkeit: der Unterschied zwischen der vorliegenden und der geschicktesten Form, die Sache auszudrücken. (Zur Definition der geschicktesten Form müssen in die Theorie noch Ideen aus der statistischen Mechanik eingehen.) Ebenso wie die aufwärts gerichteten Wahrnehmungs-Verbindungen sind die generativen Verbindungen mit synaptischen Gewichten versehen, und Lernen besteht in einer geeigneten Veränderung dieser Zahlenwerte.


Träume

Im sogenannten Wachzustand verarbeitet das Netz Input zu Output; es lernt dabei auch, aber es sind nur die generativen Gewichte, die sich anpassen. Die zu minimierende Zielfunktion ist in diesem Falle eine spezielle Art von Weitschweifigkeit, nämlich der Aufwand, den Zustand der nächsttieferen aus dem der aktuellen Schicht zu beschreiben.

Ein Lerneffekt macht sich also im Verhalten des Netzes zunächst gar nicht bemerkbar, da die Wahrnehmungs-Gewichte nicht verändert werden. Das geschieht erst im sogenannten Schlafzustand: Das Netz arbeitet nun in umgekehrter Richtung. Es phantasiert gewissermaßen im Traum, das heißt, es erzeugt durch Zufall auf seiner Ausgangsschicht gewisse Zustände und reicht sie nach unten weiter; das geschieht auf dieselbe Weise wie das Wahrnehmen im Wachzustand, aber über die generativen Verbindungen. Aus einer Phantasie, sprich einem Input in der Outputschicht, wird ein Output in der Inputschicht (Bild).

Dabei verändern sich diesmal die Wahrnehmungs-Gewichte, und zwar mit dem Ziel, aus diesem Output die Phantasie möglichst genau zu rekonstruieren. Auf diese Weise eignen sich die Wahrnehmungs-Gewichte die Erfahrungen des Tages an, und zwar durch Rechenoperationen, die – wie bei neuronalen Netzen üblich – nur Material verwerten, das in dem rechnenden Knoten selbst oder in den zu ihm führenden Verbindungen vorliegt.

Weil das Lernen so indirekt stattfindet, hat das doppelte Netz größere Mühe als ein einfaches, aus dem Zustand totaler Unwissenheit herauszukommen. Aber der Ertrag der zusätzlichen Komplikation zeigt sich im Experiment: Bei einer klassischen Übungsaufgabe, dem Erkennen handgeschriebener Ziffern, zeigte ein Netz mit Wach- und Schlafphasen bessere Leistungen als ein übliches, selbst wenn dessen Eigenschaften auf dieses spezielle Problem sorgfältig abgestimmt worden waren (Bild).


Aus: Spektrum der Wissenschaft 6 / 1996, Seite 31
© Spektrum der Wissenschaft Verlagsgesellschaft mbH