Vor mehr als 70 Jahren präsentierten führende Forscher auf dem Gebiet der künstlichen Intelligenz neuronale Netze als revolutionäre Methode, um die Funktionsweise des Gehirns besser zu verstehen. Im menschlichen Gehirn interpretieren Netzwerke aus Milliarden miteinander verbundener Neurone die Daten unserer Sinnesorgane. Sie ermöglichen es uns, aus Erfahrungen zu lernen. Künstliche neuronale Netze können ebenfalls riesige Datenmengen durch miteinander verbundene Schichten verarbeiten, um Vorhersagen zu treffen und sich wiederholende Muster zu erkennen. Und zwar nach Regeln, die sie sich selbst beigebracht haben.

Inzwischen gelten neuronale Netze als eine Art Allheilmittel der KI, das technische Herausforderungen löst, indem es wiederkehrende Muster erkennt und interpretiert. Dank neuronaler Netze haben wir eine einigermaßen natürliche automatische Übersetzung; Foto-Apps nutzen neuronale Netze, um Gesichter zu erkennen und einer bereits bekannten Person zuzuordnen; und von neuronalen Netzen gesteuerte Programme haben die weltbesten Spieler in den Spielen Go und Schach besiegt.

Neuronale Netze sind jedoch in einem Bereich auffällig zurückgeblieben: bei der Lösung schwieriger Aufgaben der symbolischen Mathematik, also bei Formeln, die exakt gelöst werden müssen. Dazu gehören beispielsweise Integrale oder gewöhnliche Differenzialgleichungen – zentrale Inhalte des Mathematikunterrichts. Die Hürde liegt in einem fundamentalen Unterschied in der Herangehensweise. Die mathematischen Ausdrücke verlangen präzise Lösungen, neuronale Netze neigen jedoch dazu, Wahrscheinlichkeiten zu berechnen. Sie lernen, Muster zu erkennen – welche Übersetzung den meisten Beispielen am ähnlichsten ist oder wie ein Gesicht aussieht beispielsweise –, und können entsprechend solche Ergebnisse neu produzieren – stets mit einer gewissen Wahrscheinlichkeit, richtigzuliegen.

Mathematik lösen wie ein Sprachproblem

Doch die Situation änderte sich Ende 2019, als Guillaume Lample und François Charton, zwei Informatiker aus Facebooks KI-Forschungsgruppe in Paris, einen erfolgreichen ersten Ansatz zur Lösung symbolischer mathematischer Probleme mit neuronalen Netzen vorstellten. Ihre Methode beinhaltete weder das Rechnen mit Zahlen noch numerische Annäherungen. Stattdessen nutzen sie die Stärken der neuronalen Netze, indem sie die mathematischen Probleme in eine Form brachten, die für das maschinelle Lernen bereits gelöst ist: die Sprachübersetzung.

»Wir haben beide Mathematik und Statistik studiert«, sagt Charton, der sich mit Anwendungen der KI in der Mathematik beschäftigt. »Mathe war unsere ursprüngliche Sprache.« Infolgedessen konnte das Programm von Lample und Charton präzise Lösungen für komplizierte Integrale und Differenzialgleichungen finden. Darunter waren auch einige, die populäre Mathematik-Computerprogramme mit eingebauten expliziten Problemlösungsregeln überforderten.

Das neue Programm nutzt eine der Haupteigenschaften von neuronalen Netzen: Sie entwickeln ihre eigenen impliziten Regeln. Infolgedessen »gibt es keine Trennung zwischen den Regeln und den Ausnahmen«, so Jay McClelland, ein Psychologe an der Stanford University, der neuronale Netze als Modell dafür verwendet, wie Menschen Mathematik lernen. Bisher hat das Programm auf diese Weise selbst die härtesten Integrale gemeistert. Theoretisch könnte ein solcher Ansatz allerdings unkonventionelle »Regeln« ableiten, die Menschen bisher nicht kennen oder nutzen. Mit deren Hilfe könnte man bislang von Mensch und Maschine ungelöste Probleme lösen. So zum Beispiel mathematische Probleme wie die Entdeckung neuer Beweise oder das Verständnis der Natur neuronaler Netze selbst.

»Diese neuronalen Netze konnten Probleme lösen, die den Rahmen bisheriger regelbasierter Computerprogramme sprengen«Jay McClelland

Das ist natürlich noch nicht geschehen. Aber das Team hat die jahrzehntelang gestellte Frage beantwortet – kann KI symbolische Mathematik lösen? »Ihre Modelle sind gut erprobt. Die Algorithmen sind gut erprobt. Sie formulieren das Problem auf geschickte Weise«, sagt Wojciech Zaremba, Mitbegründer der KI-Forschungsgruppe OpenAI. »Es ist ihnen gelungen, neuronale Netze zu entwickeln, die Probleme lösen konnten, die den Rahmen bisheriger regelbasierter Programme sprengen«, so McClelland. »Das ist sehr aufregend.«

Computer waren schon immer gut darin, mit Zahlen zu rechen. Matheprogramme kombinieren Dutzende oder gar Hunderte vorgegebener Algorithmen mit festgelegten Anweisungen. Sie sind sehr gut darin, Regeln zu befolgen und vorgeplante Operationen auszuführen – aber keine Ausnahmen zuzulassen. Für viele symbolische Probleme erzeugen sie Lösungen in Form von Nummern und Zahlen, die für technische und physikalische Anwendungen gut genug sind.

Neuronale Netze sind anders. Sie haben keine fest vorgegebenen Regeln. Stattdessen lernen sie auf der Basis sehr großer Datensätze – je größer, desto besser – und verwenden Statistik, um sehr gute Annäherungen an das beste Ergebnis zu finden. Sprachübersetzungsprogramme sind dabei besonders erfolgreich: Anstatt Wort für Wort zu übersetzen, übersetzen sie Sätze im Kontext des gesamten Textes. Die Facebook-Forscher sahen darin einen Vorteil für die Lösung symbolischer Matheprobleme, kein Hindernis. Es gibt dem Programm eine Art Problemlösungsfreiheit.

Einem Computer beibringen, Mathematik zu sprechen

Diese Freiheit ist besonders nützlich für bestimmte Probleme mit offenem Ausgang, wie etwa Integration. Es gibt ein altes Sprichwort unter Mathematikern: »Differenzierung ist Mechanik; Integration ist Kunst.« Um die Ableitung einer Funktion zu finden, muss man lediglich einigen genau definierten Schritten folgen. Um ein Integral zu finden, ist jedoch oft etwas anderes erforderlich, etwas, was näher an der Intuition liegt als an der Berechnung.

Die Facebook-Forscher vermuten, dass sich Computer dank der Mustererkennung, mit der sie Probleme lösen, dieser Intuition annähern können. »Integration ist eines der mustererkennungsähnlichsten Probleme in der Mathematik«, sagt Charton. Selbst wenn das neuronale Netz vielleicht nicht versteht, was Funktionen tun oder was Variablen bedeuten, so entwickelt es doch eine Art Instinkt. Das neuronale Netz beginnt zu erahnen, was funktioniert, auch ohne zu wissen, warum.

Zum Beispiel wird ein Mathematiker, der gebeten wird, einen Ausdruck wie yy′(y²+1)^-1/2 zu integrieren, intuitiv vermuten, dass die Stammfunktion etwas enthält, das wie die Quadratwurzel aus y² + 1 aussieht.

Computer rechnen wie Menschen

Um es einem neuronalen Netz zu ermöglichen, die Symbole wie ein Mathematiker zu verarbeiten, begannen Charton und Lample damit, mathematische Ausdrücke in Formen zu übersetzen, die dabei helfen. Sie interpretierten sie schließlich als Baum – ein Format, das dem Prinzip eines schematisierten Satzes ähnelt. Mathematische Operatoren wie Addition, Subtraktion, Multiplikation und Division wurden zu Verzweigungen des Baumes. Das Gleiche gilt für Operationen wie Potenzieren oder trigonometrische Funktionen. Variablen und Zahlen wurden zu Blättern. Die Baumstruktur erfasste bis auf sehr wenige Ausnahmen die Art und Weise, wie mathematische Operationen in längeren Ausdrücken verschachtelt werden können.

»Wenn wir eine große Funktion sehen, können wir sehen, dass sie aus kleineren Funktionen zusammengesetzt ist, und wir haben eine gewisse Intuition, was die Lösung sein kann«, sagt Lample. »Wir denken, dass das Modell versucht, in den Symbolen Anhaltspunkte dafür zu finden, was die Lösung sein kann.« Dieser Prozess verlaufe ähnlich, wie Menschen Integrale – und eigentlich alle mathematischen Probleme – lösen: indem sie sie auf erkennbare Unterprobleme reduzieren, die sie schon einmal gelöst haben.

Nachdem die beiden Forscher diese Architektur entwickelt hatten, benutzten sie eine Datenbank mit Elementarfunktionen, um mehrere Trainingsdatensätze mit insgesamt etwa 200 Millionen (baumförmigen) Gleichungen und Lösungen zu generieren. Mit solche Daten »fütterten« sie dann das neuronale Netz, damit jenes lernen konnte, wie Lösungen für diese Probleme aussehen.

Nach dem Training wollten die Forscher sehen, was das Netz leisten konnte. Sie gaben ihm einen Testsatz von 5000 Gleichungen, diesmal ohne die dazugehörigen Antworten (keines der Testprobleme war als »unlösbar« eingestuft). Das neuronale Netz bestand mit Bravour: Es schaffte es, für die große Mehrheit der Probleme die richtigen Lösungen zu finden. Insbesondere bei der Integration war es hervorragend und löste fast alle Testprobleme, während es bei gewöhnlichen Differenzialgleichungen nicht ganz so erfolgreich war.

Für fast jedes Problem benötigte das Programm weniger als eine Sekunde, um die korrekte Lösung zu generieren. Und bei den Integrationsproblemen übertraf es in Bezug auf Geschwindigkeit und Genauigkeit einige bekannte Matheprogramme wie Mathematica und Matlab. Laut den Forschern hat das neuronale Netz Lösungen für Probleme gefunden, die keines dieser kommerziellen Programme lösen konnte.

In die Black Box

Der Mathematiker Roger Germundsson erhebt allerdings Einwände gegen den Vergleich. Er leitet die Forschung und Entwicklung bei Wolfram, dem Hersteller von Mathematica, und sagt, dass die Facebook-Forscher ihre Methode mit nur wenigen Funktionen von Mathematica verglichen haben – nämlich »integrate« für Integrale und »DSolve« für Differenzialgleichungen –, aber Mathematica-Nutzer können auf Hunderte von anderen Lösungswerkzeugen zugreifen.

Germundsson merkt auch an, dass der Trainingsdatensatz trotz seiner enormen Größe nur Gleichungen mit einer Variablen enthielt und nur solche, die auf elementaren Funktionen basierten. »Das ist bloß ein sehr kleiner Anteil möglicher Ausdrücke«, sagt er. Das neuronale Netz wurde nicht an jenen unübersichtlicheren Funktionen getestet, wie sie häufig in der Physik und im Finanzwesen verwendet werden, wie Fehlerfunktionen oder Bessel-Funktionen. Die Facebook-Forscher sagen, sie könnten das mit sehr einfachen Veränderungen in zukünftigen Versionen ermöglichen.

Und Frédéric Gibou, ein Mathematiker an der University of California in Santa Barbara, der untersucht hat, wie neuronale Netze zur Lösung partieller Differenzialgleichungen verwendet werden können, ist nicht davon überzeugt, dass das neuronale Netz der Facebook-Forscher in allen Fällen funktioniert. »Sie müssen sicher sein, dass es die ganze Zeit funktioniert, und nicht nur bei einigen ausgewählten Problemen«, sagt er, »und das ist hier nicht der Fall.« Andere Kritiker merken an, dass das neuronale Netz der Facebook-Gruppe die Mathematik nicht wirklich versteht; es ist eher ein außergewöhnlich guter Rater.

Das Netz rät – aber liegt es immer richtig?

Dennoch sind sie sich einig, dass der neue Ansatz sinnvoll ist. Germundsson und Gibou glauben, dass neuronale Netze in der nächsten Generation symbolischer Matheprogramme eine große Rolle spielen werden – neben vielen anderen.

Schließlich geht es nicht nur um die Lösung jenes speziellen Problems der symbolischen Mathematik. Die Arbeit der Facebook-Forscher ist ein ermutigender Beleg für das Potenzial eines solchen Ansatzes. »Mathematiker werden im Allgemeinen sehr beeindruckt sein, wenn diese Techniken es ihnen ermöglichen, Probleme zu lösen, die Menschen vorher nicht lösen konnten«, sagt Anders Hansen, Mathematiker an der University of Cambridge.

Ein solches neuronales Netz könnte möglicherweise auch automatisch neue Theoreme entwickeln. Mathematiker untersuchen zunehmend Möglichkeiten, KI zur Generierung neuer Beweise zu nutzen, obwohl »der Stand der Technik noch nicht sehr weit fortgeschritten ist«, sagt Lample. »Es ist etwas, das wir im Auge haben.«

KI als Assistent des Mathematikers

Charton fallen auf Anhieb mindestens zwei Möglichkeiten ein, wie ihr Ansatz das Finden von KI-Theoremen voranbringen könnte. Erstens könnte eine KI als eine Art Assistent des Mathematikers fungieren, die Hilfe bei bestehenden Problemen anbietet, indem sie Muster in bekannten Annahmen identifiziert. Zweitens könnte die Maschine eine Liste potenziell beweisbarer Ergebnisse erzeugen, die den Mathematikern entgangen sind. »Wir glauben, dass man, wenn man integrieren kann, auch Beweise erbringen kann«, sagt er.

Unterstützung für Beweise anzubieten, könnte letztendlich die entscheidende Anwendung sein, sogar über das hinaus, was das Facebook-Team beschrieben hat. Ein üblicher Weg, ein Theorem zu widerlegen, besteht nämlich darin, sich ein Gegenbeispiel auszudenken. Und das ist eine Aufgabe, für die diese Art von neuronalen Netzen eines Tages sehr gut geeignet sein könnte.

Ein weiteres ungelöstes Problem ist gleichzeitig einer der beunruhigendsten Aspekte neuronaler Netze: Niemand versteht wirklich, wie sie funktionieren. An einem Ende werden Trainingsbits eingespeist, und am anderen Ende kommen Vorhersagebits heraus. Aber was dazwischen passiert – der genaue Prozess –, bleibt eine entscheidende offene Frage.

»Indem wir spezifische mathematische Probleme als Test verwenden, können wir lernen, wie neuronale Netze funktionieren«François Charton

Die symbolische Mathematik hingegen ist entschieden weniger mysteriös. »Wir wissen, wie Mathematik funktioniert«, sagt Charton. »Indem wir spezifische mathematische Probleme als Test verwenden, um herauszufinden, wo Maschinen erfolgreich sind und wo sie versagen, können wir lernen, wie neuronale Netze funktionieren.«

Er und Lample wollen mathematische Ausdrücke in ihre Netzwerke einspeisen und beobachten, wie das Programm auf kleine Änderungen in den Ausdrücken reagiert. Wie Änderungen in der Eingabe zu Änderungen in der Ausgabe führen, könnte dazu beitragen, die Funktionsweise der neuronalen Netze zu verstehen.

Zaremba sieht diese Art des Verstehens als einen möglichen Schritt, neuronalen Netzen Vernunft beizubringen und die Antworten, die sie geben, tatsächlich zu verstehen. »In der Mathematik ist es einfach, die Nadel zu bewegen und zu sehen, wie gut [das neuronale Netz] funktioniert, wenn sich die Eingaben verändern. Vielleicht lernen wir wirklich, wie sie auf die Antworten kommen.«