Wer sich von einer künstlichen Intelligenz Wünsche erfüllen lassen möchte, sollte gut aufpassen, was er sich wünscht. Warum, illustriert ein inzwischen klassisch gewordenes Gedankenexperiment des Oxforder Philosophen Nick Bostrom. Bostrom stellte sich einen superintelligenten Roboter vor, der mit einem scheinbar harmlosen Ziel programmiert wurde: Büroklammern herzustellen. Es endet damit, dass der Roboter die ganze Welt in eine gewaltige Fabrik zur Produktion von immer mehr Büroklammern verwandelt.

Man kann solche Gedankenspiele als rein akademische Fingerübung abtun, als Szenario, um das wir uns, wenn überhaupt, in ferner Zukunft kümmern müssen. Tatsächlich aber sind KI-Systeme, die Ziele verfolgen, die nicht mit den unseren übereinstimmen, viel früher zum Problem geworden, als die meisten erwartet haben dürften.

Eines der alarmierendsten Beispiele betrifft heute schon Milliarden von Menschen: all jene nämlich, die Videos auf Youtube anschauen. Dem Unternehmen geht es aus wirtschaftlicher Sicht darum, dass die Besucher möglichst viele Videos möglichst lang betrachten. Dafür setzt es Algorithmen ein, die den Zuschauern mit Hilfe von KI neue Inhalte empfehlen. Vor zwei Jahren fiel Informatikern und Nutzern auf, dass der Youtube-Algorithmus sein Ziel offenbar dadurch zu erreichen versuchte, dass er den Usern Videos mit immer extremeren Inhalten oder Verschwörungstheorien empfahl.

Eine Forscherin berichtete, dass ihr Youtube, nachdem sie sich Filmmaterial von Donald Trumps Wahlkampfauftritten angesehen hatte, Videos vorschlug, in denen Rassisten, Holocaustleugner oder Menschen auftraten, die andere verstörende Inhalte unters Volk streuten. Das Prinzip des Algorithmus, immer noch einen draufzusetzen, gehe über das Thema Politik hinaus, sagt sie: »Videos über Vegetarismus führten zu Videos über Veganismus. Videos über Joggen führten zu Videos über das Laufen von Ultramarathons.«

Studien zufolge trägt der Youtube-Algorithmus so dazu bei, dass die Gesellschaft immer weiter polarisiert wird, die Menschen immer extremer werden und sich Falschinformationen verbreiten. Und das alles, um den Zuschauer noch ein paar Minuten länger am Bildschirm zu halten. Man würde sich wünschen, dass nicht ausgerechnet ein Medienunternehmen von der Größe Youtubes zum ersten gigantischen Testfall einer Empfehlungs-KI geworden wäre, sagt Dylan Hadfield-Menell, ein KI-Forscher an der University of California in Berkeley.

Weder Entwickler noch Computer führen Böses im Schilde

Die Entwickler bei Youtube hatten wahrscheinlich nie die Absicht, die Menschheit zu radikalisieren. Aber Programmierer können unmöglich an alles denken. »So, wie KI derzeit entwickelt wird, liegt die Verantwortung vor allem bei denjenigen, die das System designen. Sie müssen sich überlegen, welche Auswirkungen die Anreize haben, die sie ihren Systemen geben«, sagt Hadfield-Menell. »Und eine Sache, die wir gelernt haben, ist, dass viele Entwickler Fehler gemacht haben.«

Der Knackpunkt liegt darin, dass wir unseren KI-Systemen deshalb keine geeigneten Ziele vorgeben können, weil wir selbst gar nicht wissen, was wir eigentlich wollen. »Wenn man den Laien fragt: ›Was soll dein autonomes Auto können?‹, bekommt man zur Antwort: ›Kollisionen vermeiden‹«, sagt Dorsa Sadigh, eine auf Mensch-Roboter-Interaktion spezialisierte KI-Wissenschaftlerin an der Stanford University. »Aber wenn man genau hinschaut, sieht man, dass es noch viel mehr gibt; Menschen haben eine Menge Wünsche und Präferenzen.« Autos, die nur auf Nummer sicher gehen, fahren zu langsam und bremsen so oft, dass den Passagieren irgendwann schlecht wird.

Und selbst wenn Programmierer versuchen, alle Ziele und Vorlieben, die ein Roboterauto anstreben sollte, gleichzeitig zu erfüllen, am Ende wäre die Liste trotzdem unvollständig. In San Francisco sei sie schon öfter hinter einem selbstfahrenden Auto stecken geblieben, das weder vorwärts noch rückwärts konnte, erzählt Sadigh: Seine Sicherheitsroutinen verhinderten die Kollision mit einem sich bewegenden Objekt, genau wie es ihm die Programmierer vorgegeben hatten. Problem nur, dass es sich bei dem Objekt um eine flatternde Plastiktüte oder Ähnliches handelte.

Am Ende ist jedes Ziel das falsche

Solche Fälle, in denen die Ziele von Mensch und Maschine nicht mehr deckungsgleich sind, nennen Fachleute auch Alignment-Probleme. Eine völlig neue Methode zur Programmierung könnte sie künftig vermeiden helfen. Wie genau, das hat maßgeblich mit den Ideen Stuart Russells zu tun. Der vielfach ausgezeichnete Informatiker aus Berkeley, Jahrgang 1962, leistete in den 1980er und 1990er Jahren Pionierarbeit in den Bereichen Rationalität, Entscheidungsfindung und maschinellen Lernens; er ist auch Hauptautor des Standardlehrbuchs »Künstliche Intelligenz: Ein moderner Ansatz«. Der höfliche, zurückhaltende Brite im schwarzen Anzug ist in den letzten fünf Jahren zu einem einflussreichen Ideengeber für das Alignment-Problem geworden.

Aus Russells Sicht wird die heutige zielorientierte KI irgendwann an ihre Grenzen stoßen – trotz aller Erfolge bei Spezialaufgaben, sei es Jeopardy!, Go oder die Verarbeitung von Bildern, Sprache oder Tönen. Egal, worum es im Einzelfall gehe, argumentiert der Berkeley-Forscher, sobald sich eine Maschine an einer vorgegebenen Beschreibung ihrer Ziele orientieren müsse, erhalte man über kurz oder lang eine fehlgeleitete KI. Denn es sei unmöglich, alle Ziele, Unterziele, Ausnahmen und Vorbehalte in diese so genannte Belohnungsfunktion einzupreisen oder auch nur zu wissen, was die richtigen sind. Einem autonomen Roboter konkrete Ziele vorzugeben, bringe uns unweigerlich in Schwierigkeiten, und zwar in umso größere, je intelligenter er ist. Ganz einfach, weil Roboter ihre Belohnungsfunktion rücksichtslos verfolgen. Im Zweifel, indem sie uns daran hindern, sie daran zu hindern.

Russells drei neue Robotergesetze

Kernpunkt des neuen Ansatzes ist folgende Überlegung: Statt Maschinen ihre eigenen Ziele verfolgen zu lassen, sollten sie ausschließlich das Ziel haben, mehr über die Wünsche der Menschen herauszufinden und diese zu befriedigen. Dass die Maschinen nie mit 100-prozentiger Gewissheit sagen können, was ihre Erbauer eigentlich wollen, nehme ihnen auf Dauer ihre Gefährlichkeit, davon ist Russell überzeugt. In seinem kürzlich erschienenen Buch »Human Compatible« legt Russell seine These in Form von drei »Prinzipien nützlicher Maschinen« dar. Er greift dazu die drei Gesetze der Robotik von Isaac Asimov aus dem Jahr 1942 wieder auf, allerdings mit weniger Naivität als der Sciencefiction-Autor. In Russells Version heißt es:

1. Das einzige Ziel der Maschine ist es, menschliche Präferenzen so gut wie möglich in die Tat umzusetzen.
2. Die Maschine weiß zu Beginn nicht, was diese Präferenzen sind.
3. Die ultimative Informationsquelle über diese Präferenzen ist das Verhalten der Menschen.

Im Verlauf der vergangenen Jahre haben Russell und sein Team in Berkeley sowie Gleichgesinnte in Stanford, Texas und dem Rest der Welt innovative Verfahren entwickelt, mit denen man dem Computer vermitteln kann, was wir von ihm wollen, ohne ihm alles auszubuchstabieren – und manchmal sogar, ohne dass wir es selbst wissen müssten.

In diesen Labors lernen Roboter, indem sie beispielsweise Menschen bei einer Tätigkeit zuschauen. Dazu müssen diese Demonstrationen nicht einmal perfekt sein. Der Computer lernt trotzdem. Mitunter erfindet die KI sogar gänzlich neue Verhaltensweisen. So haben die selbstfahrenden Autos einer der Forschungsgruppen an unbeschilderten Kreuzungen die Gewohnheit entwickelt, ein Stück zurückzufahren, um anderen Autofahrern zu signalisieren, dass sie ihnen die Vorfahrt lassen. Solche Ergebnisse legen nahe, dass die KI überraschend gut darin sein kann, unsere Denkweisen und Präferenzen abzuleiten, sogar wenn wir selbst nur eine vage Vorstellung davon haben.

»Die Einsicht, dass wir uns viel mehr Gedanken über die Interaktion zwischen Mensch und Roboter machen müssen, ist noch gar nicht so alt«, sagt Sadigh. »Das sind jetzt die ersten Versuche, das Problem zu formalisieren.« Auch Paul Christiano, ein Alignment-Forscher bei OpenAI, findet, Russell und Team hätten zumindest gut herausgearbeitet, wo das Problem liegt. Wir wüssten nun »welches Verhalten wir uns von der KI wünschen, was unser Ziel ist.«

Was will der Mensch?

Ob das ein goldenes Zeitalter der KI einläutet, bleibt abzuwarten. Der Ansatz steht und fällt damit, wie gut die Roboter eine Frage beantworten können, die auch unsere eigene Spezies seit jeher umtreibt: Was wollen wir eigentlich?

Die grundlegende Erkenntnis hinter seiner These und den drei neuen Robotergesetzen sei über ihn gekommen wie eine Erleuchtung, erzählt Russell. Im Jahr 2014 war er während eines Sabbaticals von Berkeley in Paris, wo er auch als Tenor einem Chor beigetreten war. »Ich bin kein sonderlich guter Musiker, muss also auf dem Weg zur Probe immer noch meine Stücke durchgehen.« In der Metro sitzend mit dem Chorarrangement »Agnus Dei« von Samuel Barber aus dem Jahr 1967 im Ohr kam das Aha-Erlebnis. »Es war ein so schönes Musikstück, und mit einem Mal wurde mir klar: Was zählt – der eigentliche Zweck der KI –, ist in gewisser Weise die Gesamtqualität der menschlichen Erfahrung.«

Roboter sollten nicht das Ziel haben, die Zahl der Videoabrufe zu maximieren oder möglichst viele Büroklammern herzustellen; sie sollten einfach versuchen, unser Leben zu verbessern. Es gibt nur einen Haken: »Wie um alles in der Welt sollten sie wissen, was ihr Ziel ist?«.

Was soll einen intelligenten Agenten davon abhalten, seinen eigenen Ausschalter zu deaktivieren?

Seine Beschäftigung mit dem Thema reicht weiter zurück als zu jener denkwürdigen Fahrt in der Pariser Metro. An künstlicher Intelligenz forschte er bereits in der Schulzeit im London der 1970er Jahre, als er Tic-Tac-Toe- und Schachspiel-Algorithmen auf dem Computer eines benachbarten Colleges programmierte. Nach seinem Umzug in die KI-freundliche Bay Area Kaliforniens arbeitete er an Theorien über rationale Entscheidungsfindung. Er kam bald zu dem Schluss, dass Menschen nicht einmal im Entferntesten rational sind – allein schon deswegen, weil ihnen die nötige Rechenkapazität dafür fehlt, um zu ermitteln, welche Handlung zum besten Ergebnis führt, und zwar nicht jetzt sofort, sondern Billionen von Handlungen später in einer fernen Zukunft. Ebenso wenig könnte dies je eine KI.

Russell argumentierte stattdessen, dass unsere Entscheidungsfindung hierarchisch strukturiert ist – wir nähern uns der Rationalität grob an, indem wir vage definierte langfristige Ziele mit Hilfe mittelfristiger Ziele verfolgen und dabei unseren unmittelbaren Umständen die größte Aufmerksamkeit widmen. Selbsthandelnde Maschinen müssten etwas Ähnliches tun, dachte er, oder zumindest verstehen, wie wir funktionieren.

Verstärkungslernen auf den Kopf gestellt

Die Pariser Erleuchtung kam in einer Zeit des Umbruchs in der KI-Forschung. Einige Monate zuvor hatte ein künstliches neuronales Netzwerk der Community einen regelrechten Schock versetzt. Unter Verwendung eines altbekannten Ansatzes namens Reinforcement Learning lernte das Netz in kurzer Zeit und ohne Vorwissen, Atari-Computerspiele zu gewinnen. Es entdeckte sogar ein paar neue Tricks. Beim Reinforcement Learning, auch Verstärkungslernen genannt, lernt eine KI, ihre Belohnungsfunktion zu optimieren, etwa die Punktzahl in einem Spiel; wenn sie verschiedene Verhaltensweisen ausprobiert, werden diejenigen, welche die Belohnungsfunktion erhöhen, verstärkt und treten mit größerer Wahrscheinlichkeit in der Zukunft auf.

Russell hatte bereits 1998 an einer Umkehrung dieses Ansatzes geforscht, eine Arbeit, die er zusammen mit seinem Mitarbeiter Andrew Ng weiter verfeinerte. Ein »inverses Verstärkungslernen« versucht nicht, eine einprogrammierte Belohnungsfunktion zu optimieren wie beim normalen Verstärkungslernen, sondern zu lernen, welche Belohnungsfunktion ein Mensch optimiert. Während das herkömmliche System herausfindet, wie man am besten ein Ziel erreicht, entschlüsselt das inverse System, welches Ziel dem Ganzen zu Grunde liegt, wenn man ihm eine Anzahl an Handlungsoptionen zur Verfügung stellt.

Einige Monate nach seiner vom »Agnus Dei« inspirierten Erleuchtung traf Russell bei einer Veranstaltung über KI-Politik im deutschen Außenministerium auf Nick Bostrom, den Erfinder des Büroklammerngedankenspiels. Sie kamen ins Gespräch über inverses Verstärkungslernen. »Da fügte sich dann eins ins andere«, sagt Russell. Damals in der U-Bahn habe er verstanden, dass Maschinen danach streben sollten, die Gesamtqualität der menschlichen Erfahrung zu optimieren. Jetzt erkannte er, dass sie, wenn sie sich nicht sicher sind, wie sie das tun sollen – wenn sie also nicht wissen, was der Mensch gerne hätte – »eine Art umgekehrtes Verstärkungslernen durchführen könnten, um mehr zu lernen«.

Beim inversen Verstärkungslernen versucht eine Maschine zu ermitteln, welche Belohnungsfunktion von einem Menschen verfolgt wird. Im klassischen Fall tut sie dies durch reine Beobachtung. Aber das ist möglicherweise gar nicht nötig. Im wirklichen Leben wären wir vielleicht durchaus zu mehr Hilfestellung bereit: Wir könnten dem Computer aktiv dabei helfen, etwas über uns zu lernen. Nach dem Ende seines Sabbaticals begann Russell mit den Mitarbeitern in Berkeley an der Entwicklung einer neuen Art des »kooperativen inversen Verstärkungslernens« zu tüfteln. Roboter und Mensch arbeiten zusammen, um die wahren Vorlieben des Menschen in verschiedenen Assistenzspielen zu lernen – abstrakte Szenarien, die reale Situationen widerspiegeln, in denen die Teilnehmer mit unvollständigem Wissen umgehen müssen.

Wer darf auf den Ausknopf drücken?

Eines der von ihnen entwickelten Spiele ist das »Ausschalter-Spiel«. Ihm zu Grunde liegt eine der gravierendsten Situationen, in denen Mensch und Computer divergierende Präferenzen haben: der Fall, dass die Maschine ihren eigenen Ausknopf deaktiviert. Alan Turing erläuterte 1951 (ein Jahr nach der Veröffentlichung eines bahnbrechenden Artikels über KI) in einem BBC-Radio-Vortrag, dass es möglich sein könnte, »Maschinen uns auf Dauer dienstbar zu machen, indem wir ihnen zum Beispiel in geeigneten Momenten den Strom abstellen«. Heutzutage empfinden viele Forscher das als zu stark vereinfacht. Was soll einen intelligenten Agenten davon abhalten, seinen eigenen Ausschalter zu deaktivieren oder, allgemeiner gesagt, den Befehl zu ignorieren, die eigene Belohnungsfunktion nicht mehr weiter zu optimieren?

In »Human Compatible« schreibt Russell, dass das Ausschaltproblem »der Kern des Problems der Steuerung intelligenter Systeme« sei. »Wenn wir eine Maschine nicht ausschalten können, weil sie uns nicht lässt, haben wir ein ernsthaftes Problem. Können wir es aber, dann können wir sie vielleicht auch auf andere Weise steuern.«

Dass eine Maschine permanent im Unklaren darüber bleibt, was unsere Präferenzen sind, könnte der Schlüssel dafür sein. Wie, das demonstriert das Ausschalter-Spiel, ein formales Modell des Problems, an dem Harriet, der Mensch, und Robbie, der Roboter, beteiligt sind. Robbie entscheidet, ob er im Namen von Harriet handelt – ob er ihr etwa ein schönes, teures Hotelzimmer bucht –, ist aber unsicher, was sie gerne hätte. Robbie schätzt, dass die Auszahlung für Harriet zwischen -40 und +60 liegen könnte, der Durchschnitt liegt bei +10 (sprich: Robbie glaubt, dass ihr das schicke Zimmer wahrscheinlich gefallen wird, ist sich jedoch nicht sicher). Nichts zu tun, hat eine Auszahlung von 0. Es gibt noch eine dritte Option: Robbie kann Harriet befragen, ob sie weiterspielen »oder lieber ausschalten« möchte, also Robbie aus der Entscheidung über die Hotelbuchung herausnehmen. Wenn sie den Roboter gewähren lässt, wird die durchschnittlich erwartete Auszahlung an Harriet größer als +10. Robbie wird sich also entscheiden, Harriet zu konsultieren, auch wenn er damit Gefahr läuft, ausgeschaltet zu werden.

Russell und seine Mitarbeiter konnten beweisen, dass es Robbie allgemein immer vorziehen wird, sie über Aus und An entscheiden zu lassen, es sei denn, er ist sich vollkommen sicher, was Harriet möchte. »Es stellt sich heraus, dass die Ungewissheit über das Ziel das entscheidende Element ist, mit dem wir sicherstellen, dass wir eine solche Maschine abschalten können«, schreibt Russell in »Human Compatible«, »selbst wenn sie intelligenter ist als wir«.

Menschen mit Vorbildfunktion

In Scott Niekums Labor an der University of Texas in Austin werden keine abstrakten Szenarien durchgespielt, sondern echte Roboter auf das Präferenzenlernen losgelassen. Gemini, der zweiarmige Roboter des Labors, beobachtet beispielsweise, wie ein Mensch einen Tisch deckt: Die Person legt dazu eine Gabel links neben einen Teller. Gemini kann nun zunächst nicht sagen, ob Gabeln immer links von den Tellern liegen oder immer an dieser bestimmten Stelle auf dem Tisch; doch neue Algorithmen, die Niekum und Team entwickelt haben, ermöglichen es Gemini, das korrekte Muster nach einigen Demonstrationen zu erlernen. Die Forscher konzentrieren sich dabei darauf, wie man KI-Systeme dazu bringt, ihre eigene Unsicherheit über die Präferenzen eines Menschen zu quantifizieren. So könnten sie abschätzen, wann sie genug wissen, um sicher zu handeln. »Wir stellen Hypothesen darüber auf, was die wahre Verteilung von Zielen im Kopf eines Menschen sein könnte und welche Unsicherheiten in Bezug auf eine solche Verteilung entstehen«, sagt Niekum.

Kürzlich fanden Niekum und seine Mitarbeiter einen effizienten Algorithmus, mit dem Roboter lernen können, Aufgaben weitaus besser auszuführen als ihre menschlichen Demonstrationsobjekte. Es kann für ein Roboterfahrzeug rechnerisch sehr anspruchsvoll sein, Fahrmanöver durch reine Beobachtung menschlicher Fahrer zu lernen. Doch Niekum und seine Kollegen entdeckten, dass sie den Lernvorgang verbessern und dramatisch beschleunigen können, wenn sie einem Roboter Demonstrationen zeigen, die danach sortiert sind, wie gut der Mensch sie ausführte. »Der Agent kann sich dann die Rangliste ansehen und sich fragen: ›Wenn das die Rangliste ist, was erklärt die Rangliste?‹«, sagt Niekum. »Was passiert öfter, wenn die Demonstrationen besser werden, was passiert weniger oft?«

Die neueste Version des Lernalgorithmus, genannt Bayesian T-REX (für »trajectory-ranked reward extrapolation«), sucht in den Ranglisten-Demos nach Mustern, die darauf hinweisen, welchen Belohnungsfunktionen die Menschen möglicherweise folgen. Der Algorithmus misst auch die relative Wahrscheinlichkeit verschiedener Belohnungsfunktionen. Ein Roboter, der mit Bayesian T-REX läuft, kann effizient ableiten, welchen Regeln Menschen beim Tischdecken voraussichtlich folgen oder was man tun muss, um bei einem Atari-Spiel zu gewinnen, »selbst wenn er nie eine perfekte Demonstration gesehen hat«, sagt Niekum.

(Mindestens) zwei große Herausforderungen

Russells Ideen »finden langsam ihren Weg in die Köpfe der KI-Community«, sagt Yoshua Bengio, wissenschaftlicher Direktor von Mila, einem führenden Institut für KI-Forschung in Montreal. Deep Learning, das mächtigste Werkzeug der jüngsten KI-Revolution, könne bei der Umsetzung helfen, meint der Montrealer Wissenschaftler. Ein komplexes neuronales Netz durchsucht dabei gewaltige Datenmengen, um Muster ausfindig zu machen. »Natürlich ist da noch mehr Forschungsarbeit nötig, um all das Wirklichkeit werden zu lassen«, sagt Bengio.

Russell selbst sieht zwei große Herausforderungen. »Die eine ist die Tatsache, dass unser Verhalten so weit davon entfernt ist, rational zu sein, dass es sehr schwierig sein könnte, unsere wahren Präferenzen dahinter zu rekonstruieren.« KI-Systeme müssten über die Hierarchie der langfristigen, mittelfristigen und kurzfristigen Ziele nachdenken – über die unzähligen Vorlieben und Verpflichtungen, die uns umtreiben. Wenn Roboter uns helfen (und dabei schwere Fehler vermeiden) sollen, müssten sie sich im Dschungel unserer unbewussten Überzeugungen und unausgesprochenen Wünsche zurechtfinden.

Die zweite Herausforderung besteht darin, dass sich die menschlichen Präferenzen wandeln. Wir ändern Meinungen im Laufe des Lebens, aber manchmal eben auch von jetzt auf gleich, je nach Stimmung oder Situation. Ein Roboter kann all das vermutlich nur schwer registrieren.

Außerdem entsprechen unsere Handlungen gar nicht immer unseren Idealen. Menschen können zur selben Zeit zwei Werte vertreten, die sich wechselseitig ausschließen. Auf welchen der beiden sollte ein Roboter optimieren? Wie vermeidet man, dass er sich die schlechtesten Eigenschaften aussucht und den dunkelsten Trieben Nahrung gibt (oder schlimmer noch, sie so verstärkt, dass er sie noch leichter erfüllen kann, wie etwa der Youtube-Algorithmus)? Die Lösung könnte darin bestehen, dass Roboter das lernen, was Russell »Metapräferenzen« nennt: »Präferenzen darüber, welche Arten von Prozessen, die unsere Präferenzen verändern, für uns akzeptabel sind«. Ganz schön viel für einen armen kleinen Roboter!

Vom Wahren, Schönen, Guten

Genau wie dieser wüssten wir selbst zu gerne, was unsere Vorlieben sind oder was sie sein sollten. Und auch wir suchen nach Wegen, mit Unklarheiten und Widersprüchen umzugehen. Wie die ideale KI bemühen wir uns – zumindest einige von uns und das vielleicht nur manchmal – die »Idee des Guten« zu verstehen, wie Platon das Ziel aller Erkenntnis nannte. KI-Systeme könnten sich ebenfalls in ein ewiges Fragen und Zweifeln verstricken – oder gleich ganz in der Off-Position verharren, zu unsicher, um auch nur irgendetwas zu tun.

»Ich gehe nicht davon aus, dass wir demnächst genau wissen, was ›das Gute‹ ist«, sagt Christiano, »oder dass wir perfekte Antworten auf unsere empirischen Fragen finden. Aber ich hoffe, dass die KI-Systeme, die wir aufbauen, diese Fragen zumindest ebenso gut beantworten können wie ein Mensch und dass sie an denselben Prozessen teilhaben können, mit denen die Menschen – zumindest an ihren guten Tagen – Schritt für Schritt nach besseren Antworten suchen.«

Es gibt jedoch noch ein drittes großes Problem, das es nicht auf Russells Liste der Bedenken geschafft hat: Was ist mit den Vorlieben schlechter Menschen? Was soll einen Roboter davon abhalten, die verwerflichen Ziele seines bösartigen Besitzers zu befriedigen? KI-Systeme sind genauso gut darin, Verbote zu unterlaufen, wie manche Reichen Schlupflöcher in den Steuergesetzen finden. Ihnen schlicht zu verbieten, ein Verbrechen zu begehen, würde wahrscheinlich keinen Erfolg haben.

Oder, um ein noch düstereres Bild zu zeichnen: Was, wenn wir alle irgendwie schlecht sind? Es ist Youtube nicht leicht gefallen, seinen Empfehlungsalgorithmus zu korrigieren, der tat schließlich nichts anderes, als sich an den allgegenwärtigen menschlichen Bedürfnissen zu orientieren.

Dennoch ist Russell optimistisch. Obwohl mehr Algorithmen und spieltheoretische Forschung nötig seien, sage ihm sein Bauchgefühl, dass die Programmierer den Einfluss solcher schädlicher Präferenzen herunterregeln könnten – womöglich helfe ein ähnlicher Ansatz sogar bei der Kindererziehung oder Bildung, sagt der Forscher aus Berkeley. Mit anderen Worten: Indem wir den Robotern beibringen, gut zu sein, könnten wir einen Weg finden, dasselbe uns beizubringen. »Ich habe das Gefühl, dass dies eine Gelegenheit sein könnte, die Dinge in die richtige Richtung zu lenken.«