spezielle Realisierung eines assoziativen Speichers im Kontext Neuronale Netze, der durch die Theorie der Spingläser in der theoretischen Physik motiviert ist.

Im folgenden wird die prinzipielle Funktionsweise eines Hopfield-Netzes anhand des von John Hopfield zu Beginn der achtziger Jahre eingeführten Prototyps erläutert (diskrete Variante).

Dieses spezielle Netz ist einschichtig aufgebaut und besitzt n formale Neuronen. Alle formalen Neuronen sind bidirektional mit jeweils allen anderen formalen Neuronen verbunden (vollständig verbunden) und können sowohl Eingabe- als auch Ausgabewerte übernehmen bzw. übergeben. Bei dieser topologischen Fixierung geht man allerdings implizit davon aus, daß alle Neuronen in zwei verschiedenen Ausführ-Modi arbeiten können (bifunktional): Als Eingabe-Neuronen sind sie reine fanout neurons, während sie als Ausgabe-Neuronen mit der sigmoidalen Transferfunktion T : ℝ → {−1, 0, 1}, \begin{eqnarray}T(\xi ):=\left \{\begin{array}{ll}-1 & \text{f}{\ddot{\text u}\text {r}}\space \xi \lt \text{0}\\ 0 & \text{f}{\ddot{\text u}\text {r}}\space \xi =\text{0}\\ 1 & \text{f}{\ddot{\text u}\text {r}}\space \xi \gt \text{0}\end{array}\right\},\end{eqnarray} arbeiten und Ridge-Typ-Aktivierung mit Schwellwert Θ ≔ 0 verwenden (zur Erklärung dieser Begriffe siehe formales Neuron).

In Hinblick auf die Abbildung sei ferner erwähnt, daß alle parallel verlaufenden und entgegengesetzt orientierten Vektoren sowie die Ein- und Ausgangsvektoren jedes Neurons wie üblich zu einem bidirektionalen Vektor verschmolzen wurden, um die Skizze übersichtlicher zu gestalten und die Bidirektionalität auch optisch zum Ausdruck zu bringen.

Dem Netz seien im Lern-Modus die bipolar codierten Trainingswerte x^(s) ∈ {−1,1}ⁿ, 1 ≤ s ≤ t, zur Speicherung übergeben worden und aus diesen die Gewichte w_ij =: w_ji ∈ ℝ, 1 ≤ j< i, 1 ≤ i ≤ n, in irgendeinem Lern-Prozeß, z. B. mit der Hebb-Lernregel, berechnet worden, sowie w_ii ≔ 0, 1 ≤ i ≤ n.

Wird nun dem Netz im Ausführ-Modus ein beliebiger bipolarer Eingabevektor \(x\space =:\space {x}^{[0]}\space =\space ({x}_{1}^{[0]},\space \ldots, {x}_{n}^{[0]})\space \in {\{-1,\space 1\}}^{n}\) übergeben, so erzeugt das Netz zunächst eine Folge von Vektoren (x^[u])_u∈ℕ gemäß \begin{eqnarray}\begin{array}{l}{a}_{j}^{[u]}:=\displaystyle \sum _{i=1}^{j-1}{w}_{ij}{x}_{i}^{[u+1]}+\displaystyle \sum _{i=j+1}^{n}{w}_{ij}{x}_{i}^{[u]},\\{x}_{j}^{[u+1]}:=\left\{\begin{array}{cc}T({a}_{j}^{[u]}), & {a}_{j}^{[u]}\ne 0,\\ {x}_{j}^{[u]} & {a}_{j}^{[u]}=0,\end{array}\right.\end{array}\end{eqnarray} 1 ≤ j ≤ n.

Als finalen Ausgabevektor liefert das Netz dann denjenigen bipolaren Vektor x^[v] ∈ {−1, 1}ⁿ, für den erstmals x^[v] = x^[v+1] für ein v ∈ ℕ gilt, also \begin{eqnarray}x:={x}^{[v]}=({x}_{1}^{[v]},\ldots, {x}_{n}^{[v]})\in {\{-1,1\}}^{n}.\end{eqnarray}

Daß ein erster solcher Vektor existiert oder – wie man auch sagt – daß das Netz in einen stabilen Zustand übergeht, zeigt man, indem man nachweist, daß das sogenannte Energiefunktional E : {−1, 1}ⁿ → ℝ, \begin{eqnarray}E(x):=-\displaystyle \sum _{i=1}^{n}\displaystyle \sum _{j=1}^{i-1}{w}_{ij}{x}_{i}{x}_{j},\end{eqnarray} auf den Zuständen des Netzes stets abnimmt, solange sich diese ändern. Aufgrund der Endlichkeit des Zustandsraums {−1, 1}ⁿ kann dies jedoch nur endlich oft geschehen und die Terminierung des Ausführ-Modus ist gesichert.

Die Funktionalität eines assoziativen Speichers (genauer: eines autoassoziativen Speichers) realisiert das so erklärte Netz dadurch, daß es in vielen Fällen für einen geringfügig verfälschten bipolaren x-Eingabevektor der Trainingswerte den korrekten, fehlerfreien zugehörigen x-Vektor liefert.