eine spezielle Lernregel für Neuronale Netze, die auf der Abstraktion eines von Donald Hebb im Jahre 1949 formulierten neu-robiologischen Modells für den Prozeß des Lernensberuht und die Basis für eine Vielzahl von verfei-nerten Lernregeln ähnlichen Typs bildet. Stark ab-strahiert lautet das von Hebb propagierte generellePrinzip wie folgt:

Wenn zwei über eine Synapse verbundene Neu-ronen häufig simultan feuern, dann erhöht sichdie Effektivität des Einflusses des präsynapti-schen Neurons auf das postsynaptische Neuron.Im Lernprozeß werden synaptische Kopplungensimultan aktiver Neuronen gestärkt.

Im folgenden wird die formale Übertragung undkonkrete Realisierung der Hebb-Lernregel kurzim Kontext diskreter zweischichtiger neurona-ler Feed-Forward-Netze mit Ridge-Typ-Aktivierungund identischer Transferfunktion in den Ausgabe-Neuronen erläutert: Wenn man einem solchen Netzeine Menge von t Trainingswerten (x^(s), y^(s)) ∈ ℝⁿ × ℝ^m, 1 ≤ s ≤ t, präsentiert, setzt man generell Θ_j := 0, 1 ≤ j ≤ m, und ansonsten \begin{eqnarray}{w}_{ij}:=\displaystyle \sum _{s=1}^{t}{x}_{i}^{(s)}{y}_{j}^{(s)}\end{eqnarray} für 1 ≤ i ≤ n und 1 ≤ j ≤ m. Sind die Trainingsvektoren x^(s), 1 ≤ s ≤ t, nun orthonormal, dannarbeitet das entstandene neuronale Netz im Aus-führ-Modus perfekt auf den Trainingswerten, d. h. \begin{eqnarray}\displaystyle \sum _{i=1}^{n}{w}_{ij}{x}_{i}^{(s)}={y}_{j}^{(s)}\end{eqnarray} für 1 ≤ j ≤ m und 1 ≤ s ≤ t.

Dieses spezielle Netz wird in der Literatur auch(Hebb-trainierter) linearer Assoziierer genannt,und es spiegelt das Prinzip der neurophysiologischmotivierten Hebb-Lernregel im folgenden Sinne wider: Da das Netz im Ausführ-Modus für einen gege-benen Eingabevektor x = (x₁, …, x_n) ∈ ℝⁿ denzugehörigen Ausgabevektor y = (y₁, …, y_m) ∈ ℝ^m berechnet gemäß \begin{eqnarray}{y}_{j}=\displaystyle \sum _{i=1}^{n}{w}_{ij}{x}_{i},1\le j\le m,\end{eqnarray} gibt das Gewicht w_ij an, wie stark die Eingabe x_i auf die Ausgabe y_j Einfluß nehmen kann. Ist nun fürden s-ten Trainingswert (x^(s), y^(s)) die multiplikativgebildete Simultanaktivität \({x}_{i}^{(s)}{y}_{j}^{(s)}\) groß, dann sollauch die synaptische Kopplung w_ij entsprechendgestärkt werden, ist sie klein, wird das Gewichtentsprechend weniger verändert. In diesem Sinneentspricht die oben formulierte Vorschrift zur Fi-xierung der Gewichte des Netzes genau der neuro-physiologischen Hebb-Lernregel.