Lexikon der Neurowissenschaft: Gradientenverfahren
Gradientenverfahren s, steilster Abstieg,Esteepest descent, ein Verfahren zur Lösung einer Optimierungsaufgabe bzw. zur Minimierung einer Energiefunktion. Das Verfahren beruht auf dem Prinzip der Bewegung in Richtung des stärksten Abstiegs (d.h. negativen Gradienten), ähnlich einer Kugel in hügeligem Gelände. Die Energiefunktion E( 
) kann entsprechend als Höhenfunktion über einer durch die Variable
aufgespannten Fläche interpretiert werden ( siehe Abb. ). Der Gradient grad E = 
E/
, berechnet an irgendeinem Punkt dieser Energielandschaft, zeigt immer in die Richtung der größten Zunahme der Energiefunktion. Geht man also von einem Startpunkt
0 ein kleines Stück in Gegenrichtung zum lokalen Gradienten,
= -γ grad E mit 0<γ<<1, so nimmt die Energiefunktion ab. Wird dieser Vorgang oft genug wiederholt, bewegt sich das System schließlich in ein Minimum der Energiefunktion, wo der Gradient zu null wird, das Optimierungsverfahren also stoppt. Die Schrittweite
darf beim Gradientenverfahren nicht zu groß gewählt werden, um ein Überschießen (E overshooting) zu vermeiden. Dazu existieren Verfahren zur adaptiven Schrittweitensteuerung. Besitzt die Energiefunktion nicht nur ein einziges globales Minimum, sondern noch zusätzliche lokale Minima, kann das Gradientenverfahren auch in diese lokalen Minima fallen, denn auch hier verschwindet der Gradient. Eine einfache Technik, doch noch das globale Minimum zu erreichen, besteht in der Einführung einer künstlichen Temperatur. Die dadurch erzeugten thermischen Fluktuationen können das System aus flachen lokalen Minima schieben. Bei geeignet gewählter Abkühlungsstrategie wird so das globale Minimum gefunden (Annealing). – Die Fehlerrückmeldung (Fehlerrückmeldungsverfahren) ist ein auf dem Gradientenverfahren basierendes Lernverfahren für Mehrschichtnetze (geschichtetes Netzwerk).
![](javascript:ShowPic("/lexika/images/neuro/fff421.jpg", "382", "266");)
Gradientenverfahren
Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.