Gudrun spricht mit Sebastian Lerch vom Institut für Stochastik in der KIT-Fakultät für Mathematik. Vor einiger Zeit – Anfang 2015 – hatten die beiden schon darüber gesprochen, wie extreme Wetterereignisse stochastisch modelliert werden können.

Diesmal geht es um eine Lehrveranstaltung, die Sebastian extra konzipiert hat, um für Promovierende aller Fachrichtungen am KIT eine Einführung in Machine Learning zu ermöglichen. Der Rahmen hierfür ist die Graduiertenschule MathSEED, die ein Teil des im Oktober 2018 gegründeten KIT-Zentrums MathSEE ist. Es gab schon lange (und vielleicht immer) Angebote am KIT, die insbesondere Ingenieure an moderne Mathematik heranführten, weil sie deren Methoden schon in der Masterphase oder spätestens während der Promotion brauchten, aber nicht durch die klassischen Inhalten der Höheren Mathematik abgedeckt werden. All das wird nun gebündelt und ergänzt unter dem Dach von MathSEED. Außerdem funktioniert das nun in beide Richtungen: Mathematiker:innen, werden ebenso zu einführenden Angeboten der anderen beteiligten Fakultäten eingeladen.

Das Thema Maschinelles Lernen und Künstliche Intelligenz war ganz oben auf der Wunschliste für neu zu schaffende Angebote. Im Februar 2020 hat Sebastian diese Vorlesung erstmalig konzipiert und gehalten – die Übungen wurden von Eva-Maria Walz betreut. Die Veranstaltung wird im Herbst 2020 wieder angeboten.

Es ist nicht ganz einfach, die unterschiedlichen Begriffe, die für Künstliche Intelligenz (kurz: KI) benutzt werden gegeneinander abzutrennen, zumal die Sprechweisen in unterschiedlichen Kontexten unterschiedlich sind. Hinzu tritt, dass mit der Verfügbarkeit großer Datenmengen und der häufigen Nutzung von KI und Big Data gemeinsam auch hier vieles vermischt wird.

Sebastian defininiert Maschinelles Lernen als echte Teilmenge von KI und denkt dabei auch daran, dass z.B. symbolisches Rechnen KI ist. Ebenso geben schon lange sogenannte Expertensysteme Hilfestellung für Entscheidungen. Hier geben Regeln ein Programm vor, das Daten-Input zu einem Output verwandelt.

Heute denken wir bei KI eher daran, dass z.B. der Computer lernt wie ein Bild eines Autos aussieht, ohne dass dafür klare Regeln vorgegeben werden. Dies ist eher vergleichbar damit, wie Kinder lernen. Die modernste Variante ist sogenanntes Deep Learning auf der Basis von Neuronalen Netzen. Die Abgrenzung zu statistischen Verfahren ist mitunter nicht so klar.

Das Neuronale Netz wird dabei eine Black Box, was wissenschaftlich arbeitende Menschen nicht ganz befriedigt. Aber mit ihrer Hilfe werden komplexere Probleme lösbar. Forschung muss versuchen, die Entscheidungen der Black Box nachvollziehbar zu machen und entscheiden, wann die Qualität ausreicht. Dazu muss man sich überlegen: Wie misst man Fehler? In der Bildverarbeitung kann es genügen, z.B. falsch erkannte Autos zu zählen. In der Wettervorhersage lässt sich im Nachhinein feststellen, welche Fehler in der Vorhersage gemacht wurden.

Es wird unterschiedliche Fehlertoleranzen geben für Erkennung von Fußgängern für selbst fahrende Autos und für die Genauigkeit von Wettervorhersage.

Ein Beispiel in der Übung war die Temperaturvorhersage anhand von vorliegenden Daten. Die Vorhersage beruht ja auf physikalischen Modelle in denen die Entwicklung von Temperatur, Luftdruck und Windgeschwindigkeit durch Gleichungssysteme nachgebildet wird. Aber diese Modelle können nicht fehlerfrei berechnet werden und sind auch recht stark vereinfacht. Diese Fehler werden mit Hilfe von KI analysiert und die Ergebnisse für die Verbesserung der Vorhersage benutzt.

Ein populäres Verfahren sind Random Forests oder Entscheidungsbäume. Hier werden komplexe Fragen stufenweise zerlegt und in den Stufen einfache Ja- oder Nein-Fragen beantwortet. Dies wird z.B. angewandt in der Entscheidung ob und wo eine Warnung vor einer Gewitterzelle erfolgen sollte.

Sehr bekannt und im praktischen Einsatz erprobt (beispielsweise in der Bildverarbeitung und in der Übersetzung zwischen gebräuchlichen Sprachen) sind Neuronale Netze. In mehrern Schichten sind hier sogenannte Neuronen angeordnet. Man kann sich diese wie Knoten in einem Netz vorstellen, in dem Daten von Knoten zu Knoten transportiert werden. In den Knoten werden die ankommenden Daten gewichtet aufaddiert und eine vorher festgelegte Aktivierungsfunktion entscheidet, was an die nächsten Knoten oder die nächste Schicht von Neuronen weitergegeben wird. Die einzelnen Rechenoperationen sind hier also ganz elementar, aber das Zusammenwirken ist schwer zu analysieren.

Bei vielen Schichten spricht man von Deep Learning. Das ist momentan noch in den Kinderschuhen, aber es kann weit reichende Konsequenzen haben. In jedem Fall sollte man Menschen im Entscheidungsprozess beteiligen.

Die konkrete Umsetzung hat Sebastian als Vorlesung und Übung zu gleichen Teilen gewählt. Er hat einen Schwerpunkt auf einen Überblick zu methodischen Aspekten gelegt, die die Teilnehmenden dazu befähigt, später selbst weiter zu lernen. Es ging also unter anderem darum, wie man Trainingsdaten auswählt, wie Qualitätssicherung funktioniert, wie populäre Modelle funktionieren und wie man einschätzt, dass die Anpassung an Daten nicht zu stark erfolgt.

In der Übung fand großen Anklang, dass ein Vorhersagewettbewerb der entwickelten Modelle durch Kaggle competions online live möglich war.

Literatur und weiterführende Informationen

• Forschungsergebnisse mit Hilfe von Maschinen Lernen, an denen Sebastian Lerch beteiligt ist:
  • M.N. Lang e.a.: Remember the past: A comparison of time-adaptive training schemes for non-homogeneous regression Nonlinear Processes in Geophysics, 27: 23–34 2020. (eher stochastisch)
  • S. Rasp und S. Lerch: Neural networks for post-processing ensemble weather forecasts Monthly Weather Review, 146(11): 3885–3900 2018.

• Lehrbücher
  • T. Hastie, R. Tibshirani, J. Friedman: The Elements of Statistical Learning Springer 2017 (2nd Edition).
  • G. James, D. Witten, T. Hastie and R. Tibshirani: An Introduction to Statistical Learning Springer 2013 (7nd Edition)
  • I. Goodfellow and Y. Bengio and A. Courville: Deep Learning MIT-Press 2016.

• Online Kurse
  • Pytorch-based Python library fastai
  • Deeplearning

• Dystopie für alltägliche KI
  • C. Doctorow: Little Brother Tor Teen, 2008. download beim Author
  • C. Doctorow: Homeland Tor Books, 2013, ISBN 978-0-7653-3369-8
  • im Gespräch angesprochene Bildbearbeitung, die eigene Fotos mit Kunstwerken verschmilzt

• Meetups im Umland von Karlsruhe
  • Karlsruhe ai Meetup
  • Heidelberg ai Meetup
  • Machine Learning Rhein-Neckar (Mannheim)

Podcasts

• Leben X0 – Episode 6: Was ist Machine Learning? November 2019.
• Streitraum: Intelligenz und Vorurteil Carolin Emcke im Gespräch mit Anke Domscheit-Berg und Julia Krüger, 26. Januar 2020
• P. Packmohr, S. Ritterbusch: Neural Networks, Data Science Phil, Episode 16, 2019.