eine spezielle Lernregel für Neuronale Netze, die auf der Boltzmann-Verteilung (oder allgemeiner auch auf der Fermi-Dirac-Verteilung) aufbaut und durch das temperatur- und energieabhängige statistische Verhalten der Molekularteilchen in idealen Gasen motiviert ist.

Im folgenden wird die prinzipielle Idee der Boltzmann-Lernregel anhand einer einfachen Modifikation der Hebb-Lernregel für ein sog. Hopfield-Netz erläutert.

Dem Netz seien im Lern-Modus die bipolar codierten Trainingswerte

\begin{eqnarray}{x}^{(s)}\in {\{-1,1\}}^{n},\,1\le s\le t,\end{eqnarray}

\begin{eqnarray}{p}_{\tau }:=1/(1+\exp (-\frac{1}{\tau })),\end{eqnarray}

\begin{eqnarray}{x}_{i}^{(s,\tau )}:=\{\,{x}_{i}^{(s)},\text{\hspace{0.17em}}\text{mit}\text{\hspace{0.17em}}\text{Wahrscheinlichkeit}\text{\hspace{0.17em}}{p}_{\tau },\\ -{x}_{i}^{(s)},\text{\hspace{0.17em}}\text{mit}\text{\hspace{0.17em}}\text{Wahrscheinlichkeit}(1-{p}_{\tau }),\end{eqnarray}

Mit diesen τ-Trainingswerten wird dann unter Anwendung der Hebb-Lernregel ein Satz von τ-Gewichten für das Hopfield-Netz berechnet nach der Vorschrift

\begin{eqnarray}{{\mathscr{W}}}_{ij}^{\tau }:={{\mathscr{W}}}_{ji}^{\tau }:=\displaystyle \sum _{s=1}^{t}{x}_{i}^{(s,\tau )}{x}_{j}^{(s,\tau )}\end{eqnarray}

Dieses Vorgehen führt man nun für eine endliche Anzahl gegen Null strebender Werte τ_k > 0, 1 ≤ k ≤ m, durch („simuliertes Abkühlen”) und definiert dann die endgültigen Gewichte des Hopfield-Netzes z. B. als

\begin{eqnarray}{{\mathscr{W}}}_{ij}:={{\mathscr{W}}}_{ji}:={(\displaystyle \sum _{k=1}^{m}{p}_{{\tau }_{k}})}^{-1}\displaystyle \sum _{k=1}^{m}{p}_{{\tau }_{k}}{{\mathscr{W}}}_{ij}^{({\tau }_{k})},\end{eqnarray}

\begin{eqnarray}{{\mathscr{W}}}_{ii}:=0,1\le i\le n.\end{eqnarray}