Dean Pomerleau kann sich noch gut daran erinnern, als er sich zum ersten Mal mit dem Blackbox-Problem herumschlug. Man schrieb das Jahr 1991, und Pomerleau versuchte, einem Computer das Autofahren beizubringen. Inzwischen ist das dank Forschung an autonomen Fahrzeugen alltäglicher geworden. Seinerzeit war es eine echte Pioniertat.

Pomerleau klemmte sich hinter das Steuer seines speziell umgerüsteten Humvees und lotste den Militärtruck durch die Straßen der Stadt. An Bord hatte der Forscher, damals Robotik-Doktorand an der Carnegie Mellon University in Pittsburgh, einen Computer, den er darauf programmiert hatte, durch eine Kamera zu blicken, die Geschehnisse auf der Straße zu interpretieren und jedes Manöver, das Pomerleau machte, abzuspeichern. Die Hoffnung war, dass das Gerät irgendwann genügend Assoziationen hergestellt haben würde, um das Auto selbstständig zu lenken.

Bei jeder Fahrt trainierte er das System ein paar Minuten lang, dann ließ er es eigenständig fahren. Alles schien prima zu laufen – bis der Humvee eines Tages vor einer Brücke plötzlich seitwärts ausscherte. Nur durch einen schnellen Griff ins Lenkrad konnte Pomerleau einen Crash verhindern.

Wieder zurück im Labor, versuchte er zu ermitteln, was den Computer auf Abwege geführt hatte. "Das war Teil meiner Doktorarbeit: die Blackbox zu öffnen und herauszufinden, was das Gerät denkt", erklärt Pomerlau. Aber wie? Er hatte dem Rechner ein "neuronales Netz" einprogrammiert – ein Verfahren der künstlichen Intelligenz (KI), das sich am Aufbau des menschlichen Gehirns orientiert und gemeinhin besser mit komplexen Alltagssituationen umgehen kann als die Standardalgorithmen jener Zeit.

Ebenso undurchsichtig wie das Gehirn

Leider sind solche Netze aber auch ebenso undurchsichtig wie das Gehirn. Statt das Gelernte fein säuberlich als Datenblock im digitalen Speicher abzulegen, verteilen sie die Informationen in einer Art und Weise, die außerordentlich schwierig zu entschlüsseln ist. Erst nachdem Pomerleau die Reaktion seiner Software auf verschiedene visuelle Reize eingehend untersucht hatte, konnte er das Problem ausfindig machen: Das neuronale Netz hatte nämlich die grasbewachsenen Seitenstreifen als Orientierungshilfe für den Straßenverlauf benutzt. Als dann unvermittelt eine Brücke auftauchte, war die Irritation groß.

Heute, 25 Jahre später, wird es immer schwieriger, aber auch immer wichtiger, das Rätsel der Blackbox zu lösen. Die Technologie der KI hat sich, was Komplexität und Anwendungsfelder angeht, geradezu explosionsartig weiterentwickelt. Pomerleau, der an der Carnegie Mellon University inzwischen Robotik in Teilzeit lehrt, beschreibt sein kleines System auf dem Transportfahrzeug als "Arme-Leute-Version" der riesigen neuronalen Netze, die heutzutage auf den Rechnern laufen. Für die Technik des "Deep Learning", bei dem neuronale Netze mit Hilfe riesiger Datenbanken trainiert werden, gibt es inzwischen sogar erste kommerzielle Einsatzbereiche – von selbstfahrenden Autos bis zu Internetseiten, die aus dem Browserverlauf eines Benutzers Produktempfehlungen generieren.

Auch in der Wissenschaft deutet sich die Allgegenwart von Deep Learning an. Künftige Radioteleskope werden ohne die Hilfe der KI kaum sinnvolle Signale in ihren enormen Datenmengen ausmachen können; in Gravitationswellendetektoren soll Deep Learning noch die kleinsten Störquellen ausfindig machen und eliminieren helfen; Verlagshäuser werden Millionen wissenschaftlicher Veröffentlichungen und Bücher durchforsten und per KI verschlagworten. Und schließlich, so prognostizieren es zumindest einige Forscher, könnten mit Deep Learning ausgestattete Computer sogar Vorstellungsvermögen und Kreativität entwickeln. "Man würde dem Computer einfach große Datenmengen vorsetzen und bekäme dann die Naturgesetze ausgespuckt", meint der Physiker Jean-Roch Vlimant vom California Institute of Technology in Pasadena.

Aber derartige Fortschritte würden das Blackbox-Problem nur umso drängender machen. Wie genau findet die Maschine eigentlich die sinnvollen Signale? Und wie kann man sicher sein, dass sie auch Recht hat? Bis zu welchem Punkt sollten wir Deep Learning trauen? "Wie verlieren gegenüber diesen Algorithmen zusehends an Boden", sagt Hod Lipson, Robotiker an der Columbia University in New York. Es sei, wie einer intelligenten fremden Spezies zu begegnen. Wenn deren Augen nicht nur Rezeptoren für Rot, Grün und Blau haben, sondern auch noch für eine vierte Farbe, dann hätte man als Mensch große Schwierigkeiten zu verstehen, wie die Fremden die Welt sehen. Und für die Aliens wäre es genauso schwierig, meint Lipson. Der Computer stehe irgendwann vor demselben Problem. "Es ist dann so, als wolle man einem Hund Shakespeare erklären."

Angesichts solcher Herausforderungen reagieren KI-Forscher wie damals Pomerleau – sie öffnen die Blackbox und versuchen, fast schon wie Neurowissenschaftler, die darin befindlichen Netze zu verstehen. Die Antworten, die so ein Netz zu geben im Stande sei, stellten für sich noch keinen Erkenntnisgewinn dar, meint Vincenzo Innocente, Physiker vom Genfer CERN und einer der Wegbereiter der KI in der Teilchenphysik: "Als Wissenschaftler reicht es mir nicht, Katzen und Hunde bloß auseinanderhalten zu können. Ich möchte sagen können: 'Das-und-das ist der Unterschied.'"

Schicht um Schicht

Die ersten künstlichen neuronalen Netze wurden in den frühen 1950er Jahren entwickelt, kurz nachdem es Computer gab, die die nötigen Rechenvorschriften ausführen konnten. Sie basieren auf der Idee, kleine Berechnungseinheiten – "Neurone" – zu simulieren, die in Schichten angeordnet sind und über eine Vielzahl von "Synapsen" miteinander verbunden sind. Jede Einheit der untersten Schicht nimmt einen Wert von außen entgegen, beispielsweise die Helligkeit eines bestimmten Bildpixels, und leitet diese Informationen an einige oder alle Einheiten der nächsthöheren Ebene weiter. Unter Anwendung einer einfachen mathematischen Regel integrieren jene Einheiten daraufhin die Eingänge aus der ersten Schicht und geben die Ergebnisse nach oben weiter, bis schließlich die letzte Ebene eine Antwort liefert – etwa indem sie das ursprüngliche Bild als "Katze" oder "Hund" klassifiziert.

Die Leistungsfähigkeit solcher Netze liegt in ihrem Lernvermögen begründet. Füttert man sie mit Trainingsdatensätzen und den dazugehörigen richtigen Antworten, können sie ihre Leistung schrittweise verbessern, indem sie die Stärke jeder einzelnen Verbindung so lange anpassen, bis eine Eingabe auf der untersten Ebene zu korrekten Ergebnissen auf der obersten Ebene führt. Aus diesem Prozess, der ein wenig an die Lernvorgänge im Gehirn erinnert, entsteht am Ende ein Netzwerk, dem es gelingt, neue, nicht im Trainingsdatensatz enthaltene Eingaben richtig zu klassifizieren.

Diese Lernfähigkeit begeisterte in den 1990er Jahren CERN-Physiker. Sie zählten zu den Ersten, die die Netze routinemäßig und in nennenswerter Größe in der Forschung einsetzten; die Technik erwies sich später als unschätzbare Hilfe, um die Flugbahnen subatomarer Splitter zu rekonstruieren, die der Large Hadron Collider mit seinen Abermilliarden Teilchenkollisionen produzierte.

"Wir verstehen wir diese Netze genauso wenig wie das menschliche Gehirn"
Jeff Clune

Diese Art des Lernens ist allerdings auch der Grund, weshalb die Informationen so diffus im Netz lokalisiert sind: Gedächtnisinhalte sind, wie auch im Gehirn, in der Stärke einer Vielzahl von Verbindungen verschlüsselt und nicht wie in einer herkömmlichen Datenbank an einem definierten Ort. "Wo speichert dein Gehirn die erste Zahl deiner Telefonnummer? Wahrscheinlich in einem Bündel von Synapsen, wahrscheinlich nicht allzu weit von den anderen Ziffern entfernt", erklärt Pierre Baldi, der an der University of California in Irvine auf dem Gebiet des maschinellen Lernens forscht. Es existiert jedoch keine genau definierte Bitsequenz, in der die Nummer verschlüsselt ist. Deshalb, fügt Informatiker Jeff Clune von der University of Wyoming in Laramie hinzu, "verstehen wir diese Netze, obwohl wir sie selbst bauen, genauso wenig wie das menschliche Gehirn".

Antworten ohne Einsicht?

Wer als Forscher mit Big Data, mit gewaltigen Datenmengen, zu tun hat, findet im Deep Learning ein Werkzeug, das mit Vorsicht zu genießen ist. Warum das so ist, erklärt Informatiker Andrea Vedaldi von der University of Oxford in Großbritannien mit einem Vergleich. Man stelle sich vor, es gäbe ein mit Deep Learning ausgestattetes neuronales Netz, das mit älteren Mammografieaufnahmen trainiert werde. Für jede Aufnahme liegt die Information vor, ob die betreffende Frau später an Brustkrebs erkrankte oder nicht. Nach einem solchen Training könne es passieren, dass dem System das Gewebe einer dem Anschein nach gesunden Frau bereits als hochgradig verdächtig erscheint. "Das neuronale Netz könnte implizit gelernt haben, bestimmte Marker zu erkennen – Merkmale, von denen wir nichts wissen, die aber ein Vorzeichen für Krebs sein können", sagt Vedaldi.

Wenn der Computer aber nicht erklären könne, wie er zu seinen Schlüssen kommt, würde das Ärzte und Patienten vor ein ernsthaftes Dilemma stellen. Für eine Frau ist es bereits schwierig genug, sich für eine präventive Mastektomie zu entscheiden, wenn sie auf Grund einer genetischen Prädisposition ein erhöhtes Krebsrisiko besitzt. Aber eine solche Entscheidung zu treffen, wenn man den Risikofaktor nicht einmal kennt, das könnte noch viel schwieriger sein – selbst wenn das Gerät mit seinen Vorhersagen bislang immer richtiglag.

"Das Problem ist: Das Wissen wird ins Netz integriert und nicht in uns", erläutert der Biophysiker und Google-Entwickler Michael Tyka. "Sind wir es, die etwas verstanden haben? Eigentlich nicht – das Netz hat etwas verstanden."

Im Jahr 2012 begannen mehrere Arbeitsgruppen, sich mit diesem Blackbox-Problem zu beschäftigen. Seinerzeit konnte ein Team um Geoffrey Hinton von der University of Toronto bei einem Wettbewerb für maschinelles Sehen erstmalig zeigen, dass Deep Learning die Fotos einer 1,2 Millionen Bilder umfassenden Datenbank weit besser klassifizieren konnte als jeder bisherige KI-Ansatz.

Auf der Suche nach dem Grund für diese außergewöhnliche Leistungsfähigkeit nahm sich Vedaldis Team Algorithmen vor, mit denen Hintons Gruppe die Netze trainiert hatte, und ließ sie sozusagen im Rückwärtsgang laufen. Statt einem Netz beizubringen, ein Bild richtig zu interpretieren, griff das Team auf bereits trainierte Netze zu und versuchte, diejenigen Bilder zu rekonstruieren, die dem Netz zu Grunde lagen. Dies half den Wissenschaftlern herauszufinden, wie das Netz verschiedene Merkmale repräsentierte – es war, als würde man der hypothetischen Brustkrebs-KI die Frage stellen: "Welcher Teil dieser Mammografie ist deiner Meinung nach ein Anzeichen für hohes Krebsrisiko?"

Im Traumland der KI

2015 verfolgte Tyka gemeinsam mit Forscherkollegen bei Google einen ganz ähnlichen Ansatz. Ihr Algorithmus, den sie Deep Dream nannten, geht von einem Bild aus – etwa einer Blume oder einem Strand – und modifiziert dieses so lange, bis die Antwort eines ausgewählten Neurons auf der obersten Ebene möglichst groß wird. Wenn das Neuron beispielsweise Bilder bevorzugt in die Kategorie "Vögel" einordnet, werden im modifizierten Bild schließlich überall Vögel zu sehen sein. Die resultierenden Abbildungen erinnern an LSD-Trips, bei denen Vögel aus Gesichtern, Gebäuden und Ähnlichem hervortreten. "Meiner Meinung nach ist es eher eine Halluzination als ein Traum", erklärt Tyka, der auch als Künstler tätig ist. Als er und seine Kollegen das Potenzial des Algorithmus für kreative Zwecke erkannten, stellten sie ihn für andere Nutzer frei zur Verfügung. Innerhalb weniger Tage entwickelte sich Deep Dream zum viralen Hit.

Doch das Blackbox-Problem könnte womöglich noch kritischer sein als gedacht. Hinweise darauf entdeckte das Team um Jeff Clune schon einige Monate zuvor, im Jahr 2014. Es stellt sich heraus, dass neuronale Netze überraschend leicht hinters Licht zu führen sind.

Die Forscher entwickelten ein Verfahren, mit dem sich nicht nur die Antwort eines einzelnen Neurons der obersten Schicht, sondern auch die aller übrigen maximieren lässt. So lassen sich Bilder konstruieren, die für den Menschen wie Zufallsrauschen oder nach abstrakten Mustern aussehen. Das Netzwerk ist jedoch absolut davon überzeugt, nicht simple Wellenlinien, sondern einen Seestern vor sich zu haben. Statt schwarzen und gelben Streifen sieht es einen amerikanischen Schulbus. Sogar neuronale Netze, die mit unterschiedlichen Datensätzen trainiert worden waren, fielen auf dieselben Täuschungsbilder herein.

Deep Learning lässt sich zu einfach austricksen

Wissenschaftler haben bereits zahlreiche Verfahren vorgeschlagen, um das Problem des "foolings" in den Griff zu bekommen; bislang zeichnet sich jedoch noch keine allgemein einsetzbare Lösung ab. Das könnte sich allerdings im wirklichen Leben als gefährlich erweisen. Ein besonders beängstigendes Szenario sei, so Clune, dass böswillige Hacker sich diese Schwächen zu Nutze machten. Sie könnten dann beispielsweise ein selbstfahrendes Auto in eine für den menschlichen Betrachter völlig unverdächtige Plakatwand rasen lassen, die das Fahrzeug jedoch für eine Straße hält, oder etwa einen Retinascanner so austricksen, dass er einem Eindringling Zutritt ins Weiße Haus gewährt – in der Annahme, es handle sich um den US-Präsidenten. "Wir müssen jetzt die Ärmel hochkrempeln und echte Forschung betreiben, damit maschinelles Lernen weniger fehleranfällig und intelligenter wird", schlussfolgert Clune.

Derartige Aspekte haben einige Informatiker zu dem Schluss geführt, dass sie in der KI vielleicht nicht alles auf ein Pferd setzen sollten. So zum Beispiel Zoubin Ghahramani, der an der University of Cambridge forscht: "Wenn die KI uns nachvollziehbare Antworten liefern soll, dann gibt es ganze Klassen von Problemen, für die Deep Learning einfach nicht das Mittel der Wahl ist." Ein vergleichsweise transparentes, auch für wissenschaftliche Zwecke geeignetes Verfahren wurde 2009 von Hod Lipson zusammen mit dem Bioinformatiker Michael Schmidt, damals an der Cornell University in Ithaca in New York, erstmalig vorgestellt. Der von ihnen entwickelte Algorithmus Eureqa war in der Lage, aus der bloßen Beobachtung eines relativ einfachen mechanischen Objekts – eines Systems von Pendeln – die newtonschen Gesetze der Physik erneut abzuleiten.

Ausgehend von einer zufälligen Kombination mathematischer Grundbausteine, wie etwa plus, minus, Sinus und Cosinus, modifiziert Eureqa mit Hilfe einer in Anlehnung an die darwinsche Evolutionstheorie entwickelten Methode von Versuch und Irrtum diese Elemente so lange, bis eine Formel erreicht wird, die die Daten am besten wiedergibt. Anschließend schlägt der Algorithmus Experimente vor, um seine Modelle zu überprüfen. Einer seiner Vorteile läge in der Einfachheit, meint Lipson. "Ein von Eureqa entwickeltes Modell enthält üblicherweise ein Dutzend Parameter, ein neuronales Netz dagegen Millionen."

Die Blackbox wollte es so!

2015 veröffentlichte Ghahramani einen Algorithmus, der die Arbeit eines Daten auswertenden Wissenschaftlers automatisiert – von der Rohdatenanalyse bis zum Verfassen einer Publikation. Der "Automatic Statistician" erkennt in Datensätzen sowohl Trends als auch Anomalien, zieht daraus Schlussfolgerungen und liefert zudem noch eine ausführliche Erklärung, wie er zu seinem Ergebnis kommt. Eine solche Transparenz, so Ghahramani, sei für wissenschaftliche Anwendungen "absolut entscheidend", aber auch für viele kommerzielle Einsatzbereiche. Beispielsweise seien in vielen Ländern Banken, die eine Darlehensgewährung verweigerten, gesetzlich verpflichtet, eine Begründung ihrer Entscheidung abzugeben – wozu ein Deep-Learning-Algorithmus kaum in der Lage wäre.

Ellie Dobson, Leiterin der Abteilung Datenwissenschaften beim Big-Data-Unternehmen Arundo Analytics in Oslo, sieht ähnliche Bedenken bei einer ganzen Reihe von Institutionen. Geht die Wirtschaft Großbritanniens bergab, weil die Leitzinsen falsch festgelegt wurden, "kann sich die Bank of England nicht einfach hinstellen und sagen: 'Die Blackbox wollte es aber so.'"

Trotz dieser Befürchtungen beharren viele Informatiker darauf, dass eine transparente KI kein Ersatz, sondern nur eine Ergänzung für Deep Learning sein sollte. Einige dieser Techniken würden wohl am ehesten für Fragestellungen taugen, die sich in Form abstrakter Regeln beschreiben ließen – und weniger für Wahrnehmungsaufgaben, bei denen es darum geht, in Rohdaten die Fakten überhaupt erst einmal zu erkennen.

Ohne die komplexen Antworten des Maschinenlernens würde im wissenschaftlichen Werkzeugkasten ein wichtiges Instrument fehlen, argumentieren die Forscher. Denn die reale Welt sei nun einmal komplex: Für manche Phänomene wie das Wetter oder den Aktienmarkt existiert vielleicht nicht einmal eine reduktionistische und synthetische Beschreibung. "Manche Dinge kann man einfach nicht verbalisieren", meint Stéphane Mallat, Mathematiker an der École Polytechnique in Paris. "Frag einen Arzt, warum er dies oder das diagnostiziert, und er wird dir ein paar Gründe liefern. Aber wieso dauert es 20 Jahre, um ein guter Arzt zu werden? Weil die nötige Information eben nicht nur in Büchern steht."

Für Pierre Baldi sollten Wissenschaftler Deep Learning annehmen, ohne "allzu pedantisch" in Bezug auf die Blackbox zu sein. Schließlich hätte jeder von ihnen eine Blackbox in seinem Kopf. "Du benutzt dein Gehirn ständig, du vertraust ihm immer – und du hast keine Ahnung, wie es eigentlich funktioniert."

Dieser Artikel erschien unter dem Titel "Can we open the black box of AI?" in "Nature".