Sammelbegriff für dreischichtige vorwärtsgerichtete Neuronale Netze, bei denen die rein abbildungstheoretischen Eigenschaften im Vordergrund stehen, und deren Konstruktion durch die von Kolmogorow im Jahre 1957 publizierte Lösung des dreizehnten Hilbert-Problems motiviert ist.

Zur generellen Einordnung dieser Netze ist es zunächst wesentlich, einen kurzen historischen Überblick zu geben. In der Basisarbeit von Kolmogorow aus dem Jahre 1957 geht es um die mit dem dreizehnten Hilbert-Problem verknüpfte Frage, ob es möglich ist, eine mehrdimensionale stetige Funktion auf einem gegebenen Kompaktum durch Superposition und Komposition lediglich eindimensionaler Funktionen exakt zu realisieren. Konkret lautet das Kolmogorow-Resultat wie folgt, wobei bereits eine auf George Lorentz zurückgehende Verschärfung berücksichtigt wird.

Es sei K ⊂ ℝⁿ, K ≠ ∅, eine kompakte Teilmenge des ℝⁿ und f : K → ℝ^meine auf K stetige vektorwertige Funktion ( f = (f₁, …, f_m)).

Dann gibt es stetige Funktionen φ_ip : ℝ → ℝ, 1 ≤ i ≤ n, 1 ≤ p ≤ 2n + 1, und T_j : ℝ → ℝ, 1 ≤ j ≤ m so, daß für alle x ∈ K und alle j ∈ {1, …, m} gilt\begin{eqnarray}{f}_{j}(x)=\displaystyle \sum _{p=1}^{2n+1}{T}_{j}\left(\displaystyle \sum _{i=1}^{n}{\varphi }_{ip}({x}_{i})\right).\end{eqnarray}

Der obige Satz läßt sich nun im Kontext neuronaler Netze wie folgt interpretieren: Es gibt eine als dreischichtiges neuronales Feed-Forward-Netz mit Kolmogorow-Typ-Neuronen interpretierbare exakte Darstellung der mehrdimensionalen stetigen Funktion f auf K mittels Superposition und Komposition endlich vieler, lediglich eindimensionaler stetiger Funktionen.

Nachdem Kolmogorow dieses Resultat zur Verblüffung der damaligen Fachwelt publiziert hatte, wurde natürlich sofort der Versuch unternommen, dieses zunächst reine Existenzresultat für den praktischen Umgang mit mehrdimensionalen Funktionen nutzbar zu machen. Dabei stellte sich jedoch relativ schnell heraus, daß insbesondere die angegebenen eindimensionalen Erzeugendenfunktionen T_j stets in außerordentlich komplexer Weise von den jeweils zu realisierenden mehrdimensionalen Funktionen f_j abhängen und so eine direkte praktische Anwendung des Resultats ausgesprochen schwierig ist.

Letzteres motiviert, das Kolmogorow-Problem im neuronalen Anwendungskontext wie folgt zu modifizieren: Man verzichtet darauf, eine gegebene mehrdimensionale stetige Funktion auf einem Kompaktum exakt zu reproduzieren, sondern begnügt sich mit einer beliebig (hinreichend) genauen näherungsweisen Simulation. Durch diesen Verzicht auf exakte Reproduktion hofft man, mit einem festen, für alle zu simulierenden Funktionen gleichen Satz von eindimensionalen Funktionen auszukommen, im Fall neuronaler Netze im wesentlichen mit nur einer Funktion, nämlich einer festen Transferfunktion.

Dieser Übertragungsversuch der Kolmogorow-Resultate auf neuronale Netze wurde erstmals gegen Ende der achtziger Jahre von Robert Hecht-Nielsen propagiert. Seinem Gedanken folgend wurden dann bald Resultate des folgenden Typs publiziert:

Es sei K ⊂ ℝⁿ, K ≠ ∅, eine kompakte Teilmenge des ℝⁿ und f : K → ℝ^meine auf K stetige vektorwertige Funktion ( f = (f₁, …, f_m)).

Dann gibt es für alle ε > 0 und alle stetigen sigmoidalen Transferfunktionen T : ℝ → ℝ Netzparameter q ∈ ℕ, w_ip, Θ_p, g_pj ∈ ℝ, 1 ≤ i ≤ n, 1 ≤ p ≤ q, 1 ≤ j ≤ m, so daß für alle x ∈ K und alle j ∈ {1, …, m} gilt\begin{eqnarray}{f}_{j}(x)-\displaystyle \sum _{p=1}^{q}{g}_{pj}T(\displaystyle \sum _{i=1}^{n}{w}_{ip}{x}_{i}-{\Theta }_{p})\le \epsilon.\end{eqnarray}

Dieses Resultat besagt mit anderen Worten: Es gibt ein dreischichtiges neuronales Feed-Forward-Netz mit sigmoidaler Transferfunktion und Ridge-Typ-Aktivierung in den verborgenen Neuronen, welches die gegebene stetige Funktion f auf dem Kompaktum K ⊂ ℝⁿε-genau simuliert.

Weitere Verallgemeinerungen, z. B. bezüglich der betrachteten Funktionenräume, der Art und Weise der Fehlermessung sowie des Typs und der Glattheit der benutzten Transfer- und Aktivierungsfunktionen, liegen auf der Hand und werden unter dem Stichwort Kolmogorow-Typ-Netze intensiv in der einschlägigen Literatur studiert.