Ganz gewöhnliche Gleichungen könnten der neue Star am KI-Himmel werden: Das Konzept wurde auf einer der bedeutendsten KI-Konferenzen, der NeurIPS, Ende 2018 im kanadischen Montreal, zu den besten der knapp 5000 eingereichten Forschungsarbeiten gewählt. Ihr Fachname: »ODE-Solver«, wobei ODE für »ordinary differential equations« steht, zu Deutsch: gewöhnliche Differenzialgleichungen, und »Solver« für deren Lösung. Sie modellieren mathematisch, wie sich verschiedene Größen oder Merkmale (Variablen) in Relation zueinander verhalten.

Künstliche neuronale Netze wurden schon in den 1950er Jahren erfunden. Zu den heute verbreitetsten zählen unter anderem so genannte Convolutional Neural Networks (CNN) wie GoogleNet, bekannt vor allem für ihr Talent zur Bilderkennung. Sie schieben ihren Input – zum Beispiel Bildpixel – durch ein Netzwerk von schichtweise angeordneten Knoten, dem Äquivalent zu den Neuronen im Gehirn. Die Informationen werden so gewichtet und miteinander verrechnet, dass sie die Welt möglichst gut abbilden, also ein möglichst optimales Modell ergeben. Das erfolgreiche GoogLeNet umfasst mehr als 20 Schichten, ein so genanntes ResNet kommt sogar auf 1000 und mehr.

Mit dem neuen ODE-Solver lassen sich nun Funktionen abbilden, die entstehen, wenn immer mehr Ebenen hinzukommen, erklären der Informatiker David Duvenaud und sein Team von der University of Toronto, dem kanadischen Silicon Valley für Deep Learning. Gewöhnliche Differenzialgleichung könnten so »die kontinuierliche Dynamik der versteckten Einheiten« eines künstlichen neuronalen Netzwerks erfassen, erläutern die Autoren in ihrem vorab auf der Plattform Arxiv veröffentlichten Paper. Neu sei die Idee zwar nicht, wie sie selbst einräumen; ein anderes kanadisches Team hatte dies schon 2017 vorgeschlagen. Doch sie würden »direkt einen ODE-Solver verwenden«, ohne Umweg über ein künstliches neuronales Netzwerk.

ODE-Solver könnten die Dynamik natürlicher Daten besser abbilden: Wenn Messwerte in unregelmäßigen Abständen eingehen, kämen sie damit besser zurecht als künstliche neuronale Netze. Indem Gleichungen an die Stelle von diskreten Schichten träten, müsse man auch nicht mehr nach der optimalen Zahl von Schichten suchen, schreibt das US-Wissenschaftsmagazin »MIT Technology Review«. Der Informatiker und Experte für Maschinenlernen Marc Deisenroth, Juniorprofessor am Imperial College London, kommentierte auf Twitter: »Interessante Idee, die Schichten neuronaler Netzwerke als diskrete Ereignisse einer kontinuierlichen Version zu begreifen.«

Als Nachwuchsstar der KI-Familie hatten sich zuletzt so genannte Generative Adversarial Networks (GAN) hervorgetan. Deren Konzept ist so einfach wie erfolgreich: Ein Netzwerk tritt gegen ein anderes an und lernt dabei durch seine Erfolge und Misserfolge. Es versucht beispielsweise, Bilder zu erzeugen, die das andere nicht von echten Bildern unterscheiden kann, oder es entwickelt Hacking-Strategien, um das gegnerische Netzwerk zu überlisten – wie ein Boxschüler, der sich an seinem Trainer abarbeitet. Auch dieses Konzept wurde bekannt, nachdem es auf der NIPS-Konferenz vorgestellt wurde.