Lexikon der Mathematik: Hopfield-Netz
spezielle Realisierung eines assoziativen Speichers im Kontext Neuronale Netze, der durch die Theorie der Spingläser in der theoretischen Physik motiviert ist.
Im folgenden wird die prinzipielle Funktionsweise eines Hopfield-Netzes anhand des von John Hopfield zu Beginn der achtziger Jahre eingeführten Prototyps erläutert (diskrete Variante).
Dieses spezielle Netz ist einschichtig aufgebaut und besitzt n formale Neuronen. Alle formalen Neuronen sind bidirektional mit jeweils allen anderen formalen Neuronen verbunden (vollständig verbunden) und können sowohl Eingabe- als auch Ausgabewerte übernehmen bzw. übergeben. Bei dieser topologischen Fixierung geht man allerdings implizit davon aus, daß alle Neuronen in zwei verschiedenen Ausführ-Modi arbeiten können (bifunktional): Als Eingabe-Neuronen sind sie reine fanout neurons, während sie als Ausgabe-Neuronen mit der sigmoidalen Transferfunktion T : ℝ → {−1, 0, 1},
In Hinblick auf die Abbildung sei ferner erwähnt, daß alle parallel verlaufenden und entgegengesetzt orientierten Vektoren sowie die Ein- und Ausgangsvektoren jedes Neurons wie üblich zu einem bidirektionalen Vektor verschmolzen wurden, um die Skizze übersichtlicher zu gestalten und die Bidirektionalität auch optisch zum Ausdruck zu bringen.
Struktur eines Hopfield-Netzes
Dem Netz seien im Lern-Modus die bipolar codierten Trainingswerte x(s) ∈ {−1,1}n, 1 ≤ s ≤ t, zur Speicherung übergeben worden und aus diesen die Gewichte wij =: wji ∈ ℝ, 1 ≤ j< i, 1 ≤ i ≤ n, in irgendeinem Lern-Prozeß, z. B. mit der Hebb-Lernregel, berechnet worden, sowie wii ≔ 0, 1 ≤ i ≤ n.
Wird nun dem Netz im Ausführ-Modus ein beliebiger bipolarer Eingabevektor \(x\space =:\space {x}^{[0]}\space =\space ({x}_{1}^{[0]},\space \ldots, {x}_{n}^{[0]})\space \in {\{-1,\space 1\}}^{n}\) übergeben, so erzeugt das Netz zunächst eine Folge von Vektoren (x[u])u∈ℕ gemäß
Als finalen Ausgabevektor liefert das Netz dann denjenigen bipolaren Vektor x[v] ∈ {−1, 1}n, für den erstmals x[v] = x[v+1] für ein v ∈ ℕ gilt, also
Daß ein erster solcher Vektor existiert oder – wie man auch sagt – daß das Netz in einen stabilen Zustand übergeht, zeigt man, indem man nachweist, daß das sogenannte Energiefunktional E : {−1, 1}n → ℝ,
Die Funktionalität eines assoziativen Speichers (genauer: eines autoassoziativen Speichers) realisiert das so erklärte Netz dadurch, daß es in vielen Fällen für einen geringfügig verfälschten bipolaren x-Eingabevektor der Trainingswerte den korrekten, fehlerfreien zugehörigen x-Vektor liefert.
Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.