»KI-Revolution im Reagenzglas«, »KI entschlüsselt Sprache der Tiere« oder »KI löst Rätsel um die Entstehung von Monsterwellen«: In den letzten Jahren überschlugen sich die Neuigkeiten zu Errungenschaften im Bereich der künstlichen Intelligenz (KI) geradezu. In den 2000er Jahren sah das noch ganz anders aus: Damals herrschte der »KI-Winter«. Gerade neuronale Netze, eine bestimmte Form des maschinellen Lernens, galten als gescheiterter Ansatz. Inzwischen sind es aber gerade diese Netzwerke, auf denen beeindruckende Anwendungen wie ChatGPT, Übersetzungssoftware wie DeepL oder Sprachassistenten wie Siri fußen.

Und nun wurde die Forschung dazu mit dem renommiertesten wissenschaftlichen Preis prämiert. »Für ihre bahnbrechenden Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen«, ehrt die schwedische Akademie der Wissenschaften die Informatiker John Hopfield von der Princeton University und Geoffrey Hinton von der University of Toronto mit dem Nobelpreis für Physik. Denn KI und Physik sind miteinander verbunden: Die zwei Laureaten haben in den 1980er Jahren Methoden aus der Physik genutzt, um KI-Netzwerke zu entwickeln – und heute sind es KI-Algorithmen, die die physikalische Forschung vorantreiben. Für Hopfield ist es bereits die zweite Auszeichnung dieser Größe: 2018 wurde er mit dem renommierten Turing-Award geehrt, einer Art Nobelpreis für Informatik.

Auch wenn KI-Anwendungen erst seit wenigen Jahren in unserem Alltag wahrnehmbar sind, reicht die Forschung zu künstlicher Intelligenz weit zurück. Bereits in den 1940er Jahren gab es erste Arbeiten zu diesem Thema. Damals hatten bloß einige militärische und wissenschaftliche Einrichtungen Zugang zu elektronischen Rechenmaschinen. Die Prinzipien von KI wurden daher größtenteils anhand von theoretischen Modellen digitaler Rechenmaschinen entwickelt. Aus dieser Zeit stammt auch die Idee, Algorithmen zu entwerfen, die Informationen ähnlich wie ein biologisches Gehirn verarbeiten. Das war die Geburtsstunde von neuronalen Netzen.

Anfangs schritt die Entwicklung von KI schnell voran. So versammelten sich bereits 1954 ausgewählte Pressevertreter in einem großen Raum der Georgetown University, der fast vollständig von einem Computer ausgefüllt wurde. Sie wurden Zeuge, wie das überdimensionierte Gerät russische Beispielsätze ins Englische übersetzte. »In fünf, vielleicht sogar nur drei Jahren wird sprachübergreifende Übersetzung durch elektronische Verfahren wahrscheinlich möglich sein«, prognostizierte der Linguist Leon Dostert damals in einem Interview. Doch Dostert verschätzte sich um gut 60 Jahre.

Der erste KI-Winter

Kurz nach den ersten beeindruckenden Fortschritten geriet der Bereich ins Stocken. Die Fähigkeiten der KI-Programme ließen sich nicht ausbauen. Daher wandten sich die Entwicklungsabteilungen großer Firmen anderen Themen zu; Forschungsgelder wurden gestrichen. So kam es in den 1970er Jahren zum ersten KI-Winter.

Das Problem war, dass die KI-Algorithmen noch nicht ausgereift und die Rechner nicht leistungsfähig genug waren, um die Programme überhaupt laufen zu lassen: »Die Computer waren noch millionenfach zu schwach, um Intelligenz zu entwickeln«, sagte der Informatiker Hans Moravec gemäß eines bei der Harvard University erschienenen Artikels. Die KI steckte in einer Sackgasse.

»Natürlich sehe ich die Welt immer durch die Brille der Physik. Ich bin in der Physik aufgewachsen«John Hopfield, Physiker

Aus dieser Notlage befreiten die Arbeiten von John Hopfield und Geoffrey Hinton den Bereich. In den 1980er Jahren näherte sich der damalige theoretische Physiker Hopfield dem Thema KI mit einem ungewöhnlichen Ansatz. »Natürlich sehe ich die Welt immer durch die Brille der Physik. Ich bin in der Physik aufgewachsen«, sagte er 2020 in einem Interview mit dem Podcaster Lex Fridman. Hopfield hatte zuvor an kollektiven Phänomenen geforscht: Dabei handelt es sich um großflächige Effekte, die aus wechselwirkenden einzelnen Bestandteilen hervorgehen – wie die wellenförmige Bewegung eines Vogelschwarms, bei denen jeder Vogel bloß dem Weg seiner unmittelbaren Nachbarn folgt. Hopfield fragte sich, ob solche Effekte auch mit künstlichen Neuronen entstehen könnten.

»Meine Eltern waren beide Physiker. Ich habe daraus das Gefühl mitgenommen, dass die Welt ein verständlicher Ort ist, und wenn man genug Experimente macht«, sagte Hopfield zu Fridman. Deshalb ging er seinem Verdacht mit einem Experiment nach: Er entwickelte im Jahr 1982 das inzwischen nach ihm benannte »Hopfield-Netz«.

Dieses ist recht einfach aufgebaut. Jedes künstliche Neuron ist mit jedem anderen durch je eine Synapse verbunden. Das Netzwerk besteht aus einer einzigen Schicht. Die Eingabedaten werden allen Neuronen übergeben, dann verarbeitet das Netzwerk die Informationen. Die Werte der Neurone werden mit den »Gewichten« (ebenfalls Zahlenwerte) der damit verbundenen Synapsen multipliziert und zum nächsten Neuron addiert, falls das Ergebnis einen bestimmten Schwellenwert überschreitet. Dadurch ändern sich nach und nach die Werte der Neurone und liefern ein Ergebnis, die »Ausgabe«. In Hopfields Modell können die Neurone nur zwei Arten von Zahlen verarbeiten und ausgeben, null oder eins.

Inspiration von magnetischen Systemen

Hopfield wollte das Verhalten des Netzwerks näher untersuchen. Dazu betrachtete er die mathematischen Gleichungen, die beschreiben, wie sich die Werte der Neurone verändern. Er erkannte, dass sie jenen physikalischen Formeln ähneln, die magnetische Systeme beschreiben. Mit diesem Wissen konnte er einen Lernalgorithmus für das neuronale Netzwerk entwickeln.

Das von Hopfield konstruierte Netz ist unter anderem in der Lage, handschriftliche Buchstaben oder Ziffern zu erkennen. Wenn man zum Beispiel von Hand den Buchstaben »J« schreibt, wird nicht jeder Pixel an exakt derselben Stelle landen wie ein elektronisches »J«. Einem Computer kann es daher schwer fallen, handschriftliche Notizen zu digitalisieren.

Hopfields Idee war folgende: Man übergibt dem neuronalen Netz einen handgeschriebenen Buchstaben in Form von Pixeln; schwarz steht zum Beispiel für 1 und weiß für 0. Die Gewichte der Synapsen müssen so gewählt sein, dass die Werte der Neurone sich verändern, damit sie am Ende den Pixeln eines digitalen Buchstabens entsprechen. Wie aber gelingt es, die Gewichte so anzupassen, dass immer das richtige Ergebnis herauskommt? Dafür ließ sich Hopfield von der Physik inspirieren.

In der physikalischen Analogie entsprechen die Neurone im Netzwerk kleinen Magneten, die mit dem Nordpol entweder nach oben (1) oder nach unten (0) zeigen. Je nachdem, wie stark die Magnete miteinander wechselwirken (das wird durch die Gewichte der Synapsen festgelegt), können sie ihre Ausrichtung ändern – eine 1 wird dann zu einer 0 und umgekehrt. Ein solches System wird versuchen, die Ausrichtungen der Magnete so einzustellen, dass die Energie minimal ist. Deshalb identifizierte Hopfield den Zustand kleinster Energie (der so genannte Grundzustand) mit den gewünschten Ergebnissen: den digitalen Buchstaben.

Übergibt man also einen handgeschriebenen Buchstaben in Form von Pixeln einem solchen Hopfield-Netzwerk, lässt sich dieses in ein physikalisches System aus Magneten übersetzen, das seine Energie minimiert und dadurch eine Konfiguration erzeugt, die einem digitalen Buchstaben entspricht. Hopfield konnte die Gewichte der Synapsen passend einstellen, indem er das physikalische System untersuchte und nach seinen Wünschen anpasste. Es funktionierte!

»Bemerkenswert ist, dass sowohl das vereinfachte biologische Modell als auch das künstliche Netzwerk sich durch den gleichen mathematischen Formalismus als dynamisches System beschreiben lassen«John Hopfield und David Tank, Physiker

»Schon ein stark vereinfachtes Neuronenmodell, das mit anderen auf geeignete Weise vernetzt ist, kann beachtliche Rechnungen abwickeln«, schrieben John Hopfield und der Biophysiker David Tank in einem »Spektrum«-Artikel von Februar 1988. »Bemerkenswert ist, dass sowohl das vereinfachte biologische Modell als auch das künstliche Netzwerk sich durch den gleichen mathematischen Formalismus als dynamisches System beschreiben lassen: als ein System mehrerer wechselwirkender Komponenten, dessen Zustand sich stetig mit der Zeit ändert.«

Kurze Zeit später gelang es Hopfield, das Netzwerk zu erweitern. Die künstlichen Neurone konnten somit nicht mehr nur Einsen und Nullen, sondern auch kontinuierliche Werte verarbeiten. Damit war das System außerdem in der Lage, farbige Bilder zu verarbeiten. Hopfields Ansatz eignet sich nicht nur zur Bildanalyse, sondern generell zur Lösung von Optimierungsproblemen. Indem man die Eingabedaten für die Neurone und die entsprechenden Gewichte passend wählt, kann das von Hopfield entwickelte Modell automatisch Minima finden, zum Beispiel die kürzeste Route für einen Lieferdienst oder die effizienteste Packung eines Lagers. Dieser Ansatz findet aktuell auch im Bereich von Quantencomputern Anwendung. So genannte Quantum-Annealer, die vorrangig die kanadische Firma D-Wave herstellt, funktionieren nach dem Prinzip. In diesem Fall arbeiten sie aber direkt mit den physikalischen Systemen, anstatt sie durch neuronale Netze zu simulieren.

Zum erneuten KI-Boom trug Geoffrey Hinton bei, der zuweilen als »Godfather of AI« bezeichnet wird. Allen Widrigkeiten zum Trotz begann Hinton bereits 1972, im tiefen KI-Winter, an neuronalen Netzen zu arbeiten. Er hatte zuvor Neurowissenschaften studiert und fragte sich, ob Maschinen in der Lage sein könnten, Informationen so zu verarbeiten wie das menschliche Gehirn – eine Frage, die ihn noch heute beschäftigt.

Eine KI nach Vorbild des menschlichen Gehirns

1983 widmete sich Hinton dem Hopfield-Netzwerk und veränderte es, damit es in der Lage ist, ähnlich wie das menschliche Gehirn komplexe Muster zu verarbeiten. Und so wie sein Kollege Hopfield ließ sich auch Hinton von physikalischen Systemen inspirieren.

Hinton wandte sich hierfür der statistischen Physik zu. Dieser Bereich wird genutzt, um die Strömungen von Gasen und Flüssigkeiten oder auch Vorgänge in Festkörpern zu beschreiben. Die statistische Physik kommt überall dort zum Einsatz, wo viele Teilchen involviert sind. Da es unmöglich ist, jedes von ihnen einzeln zu beschreiben und die Wechselwirkungen mit allen anderen zu untersuchen, nutzt man statistische Methoden, um das Verhalten des Kollektivs vorherzusagen. Auf diese Weise berechnet man etwa die Temperatur eines Systems. Manche Teilchen mögen sich zwar viel schneller oder viel langsamer als andere bewegen, aber die mittlere Geschwindigkeit liefert einen konkreten Temperaturwert.

Diese Idee übertrug Hinton auf neuronale Netzwerke. Die künstlichen Neuronen sollten Werte annehmen, die einer statistischen Verteilung, der so genannten Boltzmann-Verteilung folgen. Anschaulich funktioniert das folgendermaßen: Man übergibt dem Modell viele Daten, und das Netzwerk passt die Werte der Synapsen an, damit es Ergebnisse ausgibt, die möglichst wenig von der statistischen Verteilung der Trainingsdaten abweichen. Ein solches Netzwerk lässt sich zum Beispiel auf Katzen trainieren. Es würde dann auch Katzen in Bildern erkennen, die es zuvor noch nie gesehen hat.

Das von Hinton entwickelte Netzwerk unterscheidet sich von Hopfields Ansatz. In Hintons »Boltzmann-Netzwerken« übergibt man nur bestimmten Neuronen die Anfangsdaten (und liest an ihnen das Ergebnis aus). Die übrigen, »versteckten« Neurone sind nur an der Verarbeitung der Informationen beteiligt.

Die Idee schien damals aus theoretischer Sicht sehr interessant. Allerdings war der Algorithmus extrem langsam und kam dadurch kaum zum Einsatz. Hinton ließ sich nicht entmutigen. Er versuchte, seine Netzwerke zu verkleinern, um die geringe Rechenleistung damaliger Computer nutzen zu können. Zum Beispiel entfernte er manche Synapsen, wodurch nicht mehr alle Neurone in den Netzwerken miteinander verbunden waren. Und zur Überraschung der Fachwelt stellte er fest, dass die Programme dadurch effizienter wurden.

1986 wandte sich Hinton einer anderen Netzwerkstruktur zu: den so genannten Feed-Forward-Networks, die noch heute häufig zum Einsatz kommen. Diese bestehen aus hintereinander in Schichten angeordneten Neuronen, die Informationen nur in eine Richtung verarbeiten. Diese Anordnung ermöglichte es Hinton und seinen Kolleginnen und Kollegen, einen der wichtigsten Bestandteile von Algorithmen des maschinellen Lernens zu entwickeln: die »Backpropagation«, auch Fehlerrückführung genannt.

»Die Programme können verborgene Muster ohne menschliches Eingreifen lernen«Geoffrey Hinton, Informatiker

Dieser befähigt die Netzwerke dazu, die Gewichte so einzustellen, dass sie eine Aufgabe meistern können – etwa das Beschriften von Bildern. Der Backpropagation-Algorithmus funktioniert mit zwei Schritten, einem vorwärts- und einem rückwärtsgerichteten. Zuerst erhält das Netzwerk eine Eingabe, die es Schicht für Schicht verarbeitet und daraus ein Ergebnis liefert, das fehlerhaft sein kann. Anschließend passt das Netzwerk die Gewichte der Synapsen an, damit die Ausgabe besser mit dem Sollwert übereinstimmt. Die Backpropagation ermittelt dann im rückwärtsgerichteten Schritt – von der Ausgabe- zur Eingabeschicht –, welche Gewichte wie stark zum Fehler beigetragen haben, und verändert sie entsprechend. Damit hatte Hinton erstmals eine Möglichkeit gefunden, neuronalen Netzen beizubringen, wie man ohne Beschriftung aus Daten lernt. Die Programme können so »verborgene Muster ohne menschliches Eingreifen lernen«, sagte Hinton in einem Interview gegenüber dem Technikunternehmer Parasvil Patel im Jahr 2023.

Durch diese Fortschritte nahm der Bereich der KI wieder an Fahrt auf. Das führte zu ersten Anwendungen in den 1990er Jahren: Programme konnten automatisiert Muster in Bildern und medizinischen Daten erkennen, und US-Banken nutzten die ersten KI-Algorithmen, um handgeschriebene Ziffern zu digitalisieren. All diese Anwendungen waren zwar beeindruckend, aber stark auf einzelne Bereiche spezialisiert. Doch immer wieder wurde versichert, ein Durchbruch stünde kurz bevor, und KI werde bald menschliche Fähigkeiten übertreffen.

Der zweite KI-Winter

Doch wieder einmal erfüllten sich die Erwartungen nicht. Alle Versuche scheiterten, tiefe neuronale Netze (das heißt Netzwerke mit vielen versteckten Schichten) und zahlreiche Verbindungen auf Computern zu implementieren. Die dafür nötige Rechenleistung war damals unerreichbar. Damit setzte der zweite KI-Winter ein, und wieder einmal brachen Forschungsgelder weg. Erneut bewies Hinton Durchhaltevermögen. Auch Hopfield und andere Informatikerinnen und Informatiker forschten weiter an den Themen – mit Erfolg.

Hinton widmete sich weiterhin neuronalen Netzwerken und versuchte, sie so anzupassen, dass sie auf den damals verfügbaren Rechnern laufen konnten. Dadurch entwickelte er die »eingeschränkten Boltzmann-Netzwerke«, bei denen nur Neurone unterschiedlichen Typs miteinander verbunden sind. Für diese Netzwerke entwarf Hinton zudem spezialisierte Lernalgorithmen, unter anderem die Methode des »Pretrainings«. Dieses ermöglicht es, KI-Modelle vorab zu trainieren, damit sie in einem zweiten Schritt schneller und besser auf ihre präzise Aufgabe eingestellt werden können. Dieses Verfahren wird inzwischen auch für KI-Anwendungen wie ChatGPT genutzt.

Viele dieser Entwicklungen fanden im Hintergrund statt und erregten wenig Aufmerksamkeit. Auch wenn das Interesse an KI in den 2000er Jahren wieder wuchs – unter anderem durch die spektakuläre Schach-Partie zwischen einer KI von DeepMind und dem Großmeister Gary Kasparov –, bildeten neuronale Netze ein belächeltes Randgebiet. »Sie funktionierten in der Praxis nicht gut«, sagte Hinton im Interview mit Patel. 2007 versuchte Hinton zusammen mit einigen Kollegen bei einer renommierten KI-Konferenz einen Workshop zu neuronalen Netzen zu veranstalten – doch der Vorschlag wurde abgelehnt. Man wollte dem Gebiet nicht zu viel Aufmerksamkeit schenken.

Das Potenzial der neuronalen Netze entfaltet sich

Das änderte sich in den 2010er Jahren schlagartig, als Hinton zusammen mit anderen Forschenden beeindruckende Fortschritte bei der Bilderkennung mit neuronalen Netzen erzielte. Wie sich herausstellte, meistern die Netzwerke solche Aufgaben deutlich besser als alle anderen KI-Algorithmen. Das beförderte künstliche neuronale Netzwerke aus der Nische in den absoluten KI-Mainstream. Heute basieren die meisten bekannten KI-Anwendungen wie ChatGPT oder DeepL auf Transformer-Netzwerken; eine bestimmte Art künstliches neuronales Netz.

Die Anwendungsbereiche von KI und insbesondere von neuronalen Netzen scheinen unerschöpflich. In der Vergangenheit haben Analogien zu physikalischen Systemen die Entstehung dieser Netze überhaupt erst ermöglicht. Und nun ist es anders herum: KI-Modelle sind kaum noch aus der Physik wegzudenken – ob nun zur Datenauswertung, zur Weiterentwicklung von Modellen oder zur Aufstellung neuer Theorien.

Auch Hinton sieht in den Fortschritten der KI viele Chancen. »Das ähnelt einer industriellen Revolution«, sagte der Informatiker bei der Bekanntgabe des Nobelpreises. Er gehe davon aus, dass KI-Modelle bald die intellektuellen Fähigkeiten von Menschen übertreffen werden und eine bessere Gesundheitsversorgung und mehr Produktivität ermöglichen. »Es gibt aber auch die Gefahr, dass die Dinge außer Kontrolle geraten«, warnte er.

»Ich tröste mich mit der üblichen Ausrede: Wenn ich es nicht getan hätte, hätte es jemand anderes getan«Geoffrey Hinton, Informatiker

Schon seit längerem weist Hinton auf die Risiken der Forschung hin. 2023 kündigte er nach zehn Jahren seine Anstellung bei Google, um frei über die Risiken von KI sprechen zu können. Gegenüber der »New York Times« äußerte er im Jahr 2023, ein Teil von ihm bereue sein Lebenswerk. Bei der Bekanntgabe des Nobelpreises erklärte er aber, er würde dasselbe trotzdem wieder genau so tun. »Ich tröste mich mit der üblichen Ausrede: Wenn ich es nicht getan hätte, hätte es jemand anderes getan«, sagte Hinton zur »New York Times«.