spezielle Realisierung eines assoziativen Speichers im Kontext Neuronale Netze, der eine Verallgemeinerung des klassischen Hopfield-Netzes durch die Berücksichtigung von multilinearen Sigma-Pi-Typ-Aktivierungen darstellt.

Im folgenden wird die prinzipielle Funktionsweise eines Sigma-Pi-Hopfield-Netzes erläutert (diskrete Variante). Dieses spezielle Netz ist einschichtig aufgebaut und besitzt n formale Neuronen. Alle formalen Neuronen sind bidirektional mit jeweils allen anderen formalen Neuronen verbunden (vollständig verbunden) und können sowohl Eingabeals auch Ausgabewerte übernehmen bzw. übergeben. Bei dieser topologischen Fixierung geht man allerdings implizit davon aus, daß alle Neuronen in zwei verschiedenen Ausführ-Modi arbeiten können (bifunktional): Als Eingabe-Neuronen sind sie reine fanout neurons, während sie als Ausgabe-Neuronen mit der sigmoidalen Transferfunktion T : ℝ → {−1, 0, 1}, \begin{eqnarray}T(\xi):=\left\{\begin{array}{ccc}-1 & \mathrm f\ddot{\mathrm u}\mathrm r\ & \xi \lt 0\\ 0 & \mathrm f\ddot{\mathrm u}\mathrm r\ & \xi =0\\ 1 & \mathrm f\ddot{\mathrm u}\mathrm r\ & \xi \gt 0\end{array},\right.\end{eqnarray} arbeiten und multilineare Sigma-Pi-Typ-Aktivierung verwenden (zur Erklärung dieser Begriffe siehe formales Neuron; in Hinblick auf die Abbildung sei ferner erwähnt, daß alle parallel verlaufenden und entgegengesetzt orientierten Vektoren sowie die Ein- und Ausgangsvektoren jedes Neurons wie üblich zu einem bidirektionalen Vektor verschmolzen wurden, um die Skizze übersichtlicher zu gestalten und die Bidirektionalität auch optisch zum Ausdruck zu bringen).

Dem Netz seien im Lern-Modus die bipolar codierten Trainingswerte x^(s) ∈ {−1, 1}ⁿ, 1 ≤ s ≤ t, zur Speicherung übergeben worden und aus diesen die Gewichte w_R ∈ ℝ, R ⊂ {1,…,n}, #R ≤ d + 1, in irgendeinem Lern-Prozeß, z. B. mit der Hebb-Lernregel, berechnet worden. Dabei bezeichne #R wie üblich die Anzahl der Elemente der Menge R, und d ∈ {1,…,n − 1} sei eine fest vorgegebene natürliche Zahl, über die die maximale Anzahl der Faktoren in den multilinearen Sigma-Pi-Typ-Aktivierungen fixiert wird (man spricht dann auch von einem Sigma-Pi-Hopfield-Netz d-ter Ordnung). Wird nun dem Netz im Ausführ-Modus ein beliebiger bipolarer Eingabevektor \begin{eqnarray}x=:{x}^{[0]}=({x}_{1}^{[0]},\ldots, {x}_{n}^{[0]})\in {\{-1, 1\}}^{n}\end{eqnarray} übergeben, so erzeugt das Netz zunächst eine Folge von Vektoren (x^[u])_u∈ℕ gemäß \begin{eqnarray}\begin{array}{ccl}{a}_{j}^{[u]} & := & \displaystyle \sum _{\mathop{R\subset \{1,\ldots, n\}}\limits_{\#R\le d+1j\in R}}{w}_{R}\displaystyle \prod _{\mathop{k\in R}\limits_{k\lt j}}{x}_{k}^{[u+1]}\displaystyle \prod _{\mathop{k\in R}\limits_{k\gt j}}{x}_{k}^{[u]},\\ {x}_{j}^{[u+1]} & := & \left\{\begin{array}{c}T({a}_{j}^{[u]}), & {a}_{j}^{[u]}\ne 0,\\ {x}_{j}^{[u]}, & {a}_{j}^{[u]}=0,\end{array}\right.\end{array}\end{eqnarray} 1 ≤ j ≤ n. Als finalen Ausgabevektor liefert das Netz dann denjenigen bipolaren Vektor x^[v] ∈ {−1, 1}ⁿ, für den erstmals x^[v] = x^[v+1] für ein v ∈ ℕ gilt, also \begin{eqnarray}x:={x}^{[v]}=({x}_{1}^{[v]},\ldots, {x}_{n}^{[v]})\in {\{-1, 1\}}^{n}.\end{eqnarray}Daß ein erster solcher Vektor existiert oder – wie man auch sagt – daß das Netz in einen stabilen Zustand übergeht, zeigt man, indem man nachweist, daß das sogenannte Energiefunktional E : {−1, 1}ⁿ → ℝ, \begin{eqnarray}E(x):=-\displaystyle \sum _{\mathop{R\subset \{1,\ldots, n\}}\limits_{\#R\le d+1}}{w}_{R}\displaystyle \prod _{k\in R}{x}_{k},\end{eqnarray} auf den Zuständen des Netzes stets abnimmt, solange sich diese ändern. Aufgrund der Endlichkeit des Zustandsraums {−1, 1}ⁿ kann dies jedoch nur endlich oft geschehen, und die Terminierung des Ausführ-Modus ist gesichert. Die Funktionalität eines assoziativen Speichers (genauer: eines autoassoziativen Speichers d-ter Ordnung) realisiert das so erklärte Netz dadurch, daß es in vielen Fällen für einen geringfügig verfälschten bipolaren x-Eingabevektor der Trainingswerte den korrekten, fehlerfreien zugehörigen x-Vektor liefert. Die Speicherkapazität wird für wachsendes d immer größer, allerdings für den Preis einer wachsenden Komplexität und abnehmenden Generalisierungsfähigkeit des Netzes.