In seiner Kurzgeschichte "Runaround" formulierte der Schriftsteller Isaac Asimov erstmals eine berühmte Sicherheitsmaßnahme für Roboter, die er in zahlreichen seiner späteren Werke wieder aufgreifen und bekannt machen sollte: die drei Robotergesetze. Sie lauten wie folgt:

1. Ein Roboter darf einen Menschen nicht verletzen oder durch Untätigkeit zu Schaden kommen lassen.
2. Ein Roboter muss den Befehlen des Menschen gehorchen, es sei denn, diese stehen im Widerspruch zum ersten Gesetz.
3. Ein Roboter muss seine eigene Existenz schützen, solange dies nicht mit dem ersten oder zweiten Gesetz im Konflikt steht.

"Runaround" spielt übrigens im Jahr 2015. Und auch Asimovs Gesetze wurden inzwischen von der Wirklichkeit eingeholt: Denn einige Kreationen der modernen Robotik sind inzwischen autonom genug, um solche Leitlinien tatsächlich nötig zu haben. Im Mai dieses Jahres ging es bei einer Podiumsdiskussion an der Brookings Institution, einem Thinktank in Washington, D. C., um fahrerlose Autos. Doch schnell mündete das Gespräch in eine Debatte um die Frage, wie sich autonome Fahrzeuge in einer Notfallsituation verhalten würden. Was wäre, wenn ein abruptes Bremsmanöver die Insassen schützt, aber zu einer Massenkarambolage unter den nachfolgenden Autos führt? Oder wenn das Auto einem Kind ausweicht – auch auf die Gefahr hin, jemand anderen zu treffen?

"In unserem täglichen Leben gibt es immer mehr autonome oder automatisierte Systeme", sagt Forumsteilnehmer Karl-Josef Kuhn, der als Ingenieur bei Siemens in München arbeitet. Aber wie lassen sich Roboter so programmieren, "dass sie eine Entscheidung zwischen zwei schlechten Möglichkeiten treffen können?", fragte er in die Runde.

Ein Problem mit Zukunft

So wie die Entwicklung derzeit verläuft, ist anzunehmen, dass das Problem schon bald medizinische Roboter ebenso betreffen wird wie die Drohnen des Militärs oder jedes andere autonome System, das über Wohl und Wehe von Menschen entscheiden kann. Nach Meinung vieler Wissenschaftler wird die Gesellschaft solche Maschinen nur dann akzeptieren, wenn sie auf maximale Sicherheit programmiert werden, sich mit sozialen Normen konform verhalten und Vertrauen aufbauen. "Es ist noch eine Menge Forschung nötig, bis wir künstliche Intelligenz dazu bringen können, bei ethischen Konflikten sinnvoll zu urteilen", erklärt der Philosoph Marcello Guarini von der University of Windsor in Kanada.

Mit dem Thema beschäftigen sich inzwischen verschiedenste Initiativen, auch offizielle Geldgeber wie das US Office of Naval Research oder Förderinstitutionen der britischen Regierung sitzen mit im Boot. Es stehen schwierige wissenschaftliche Fragen im Raum, etwa welche Art von Intelligenz – und wie viel davon – für das Fällen ethischer Entscheidungen nötig ist, oder auch, wie sich solche Erkenntnisse in Anweisungen für Maschinen übersetzen lassen. Computerspezialisten, Roboteringenieure, Ethiker und Philosophen sind hier gleichermaßen gefragt.

"Hätten Sie vor fünf Jahren von mir wissen wollen, ob wir ethisch agierende Roboter bauen können, hätte ich das verneint", sagt Alan Winfield, ein Roboteringenieur vom Bristol Robotics Laboratory in Großbritannien. "Inzwischen halte ich das für eine gar nicht so verrückte Idee."

Lernende Maschinen

In einem häufig zitierten Experiment wurde der kommerzielle Spielzeugroboter Nao so programmiert, dass er seinen Besitzer an die Einnahme seiner Medizin erinnerte. "Das klingt zunächst einfach", erklärt die Philosophin Susan Leigh Anderson von der University of Connecticut in Stamford, die das System mit ihrem Ehemann, dem Computerwissenschaftler Michael Anderson von der University of Hartford in Connecticut, entwickelte. "Doch selbst diese kleine Aufgabe führt zu nicht ganz unerheblichen ethischen Fragen." Wie soll sich Nao zum Beispiel verhalten, wenn der Patient die Medikamente verweigert? Lässt der Patient sie weg, könnte er zu Schaden kommen; besteht Nao aber auf die Einnahme, würde das die Autonomie des Patienten verletzen.

"Es ist noch eine Menge Forschung nötig, bis wir künstliche Intelligenz dazu bringen können, bei ethischen Konflikten sinnvoll zu urteilen", erklärt der Philosoph Marcello Guarini

Als Hilfestellung bei einer solchen Zwickmühle stellen die Andersons dem Roboter Beispiele zur Verfügung, in denen Bioethiker ähnliche Konflikte über Autonomie, Schaden und Nutzen für den Patienten gelöst haben. Lernfähige Algorithmen durchsuchen die Fälle nach Mustern, die den Roboter in einer unbekannten Situation anleiten könnten.

Mit dieser Art "maschinellen Lernens" kann der Roboter dann selbst aus mehrdeutigen Daten noch sinnvolle Informationen ziehen. Und theoretisch sogar mit jedem neuen Erlebnis seine Entscheidungsfindung verbessern. Aber viele fürchten, dass diese Vorteile ihren Preis haben. Die Prinzipien, nach denen ein solcher Roboter dann entscheidet, sind kein fixer Bestandteil seiner Programmierung mehr, sondern von ihm selbst erzeugt. "Dadurch ist nicht mehr feststellbar, wie die Software auf eine bestimmte Regel kam, die nun vorgibt, was ethisch richtig oder falsch ist", erklärt Jerry Kaplan, der künstliche Intelligenz und Ethik an der Stanford University in Kalifornien lehrt.

Viele Ingenieure sprechen sich deshalb für einen anderen Ansatz aus. Statt es den Robotern selbst zu überlassen, Regeln zu finden, sollen die Programme lieber explizit einprogrammierte Regeln befolgen. Letztes Jahr veröffentlichte Winfield die Ergebnisse eines Experiments zu folgender Frage: Welcher minimale Satz an Regeln erlaubt es einer Maschine, jemanden zu retten, der in ein Loch zu fallen droht? Zunächst einmal sind einige Grundfähigkeiten notwendig, überlegte Winfield: Der Roboter muss seine Umgebung erfassen können und die Position des Lochs, der Person und seiner selbst relativ zu beiden anderen. Zusätzlich bräuchte der Roboter aber auch Regeln, um die möglichen Auswirkungen seiner eigenen Handlungen vorhersagen zu können.

In Winfields Experiment bewegten sich Roboter so groß wie Hockeypucks auf einer Oberfläche hin und her. Die "H-Roboter" repräsentierten dabei die Menschen und ein "A-Roboter", benannt nach Asimov, die ethisch agierende Maschine. Winfield programmierte den A-Roboter mit einer Regel analog zu Asimovs erstem Gesetz: Wenn der A-Roboter einen H-Roboter bemerkte, der in ein Loch zu fallen droh, muss er sich ihm in den Weg stellen und ihn so davor bewahren.

Roboter kommt zu Hilfe – meistens

Winfield wiederholte den Testlauf dutzende Male, und immer wieder rettete der A-Roboter seinen Schützling. Doch dann wollte der Forscher wissen, was die "Erlaube-keinen-Schaden"-Regel bewirkt, wenn der Roboter in ein moralisches Dilemma gerät. Hierzu stellte er dem A-Roboter gleich zwei H-Roboter gegenüber, die sich gleichzeitig in Gefahr brachten. Wie würde der A-Roboter reagieren?

Die Ergebnisse lassen vermuten, dass sogar ein nur minimal ethisch agierender Roboter nützlich sein könnte, sagt Winfield. Der A-Roboter konnte nämlich in vielen Fällen den fiktiven Menschen retten, meist indem er sich zu jenem H-Roboter bewegte, der näher bei ihm stand. Und wenn er sich schnell bewegte, konnte er manchmal sogar beide retten. Aber das Experiment demonstrierte auch die Grenzen des Minimalismus. In fast der Hälfte aller Versuche geriet der A-Roboter hilflos ins Wanken und ließ beide Schützlinge ins Verderben laufen. Ändern ließe sich das nur mit weiteren Regeln zur Entscheidungsfindung. Wäre zum Beispiel einer der H-Roboter ein Erwachsener und ein anderer ein Kind, wen sollte der A-Roboter zuerst retten? Bei dieser Entscheidung wären sogar wir Menschen uns nicht immer einig. "Oft ist unklar, wie wir festlegen, was solche Regeln beinhalten sollen. Und zudem sind sie zwangsläufig unvollständig", sagt Kaplan.

Befürworter des regelbasierten Ansatzes sehen hingegen einen großen Vorteil: Weil der Entwickler die Regeln selbst aufstellt, ist immer klar, warum die Maschine eine bestimmte Wahl trifft. Für die US-Armee, die autonome Systeme als zentrales strategisches Ziel ansieht, hat dieser Aspekt entscheidende Bedeutung. Egal ob Maschinen lediglich Soldaten begleiten oder selbst tödliche Missionen ausführen: "Es wäre ein Unding, einen autonomen Roboter auf militärische Mission schicken, der womöglich erst mittendrin herausfindet, welchen ethischen Grundsätzen er folgt", sagt Ronald Arkin, der an Software im Bereich Roboterethik am Georgia Institute of Technology in Atlanta arbeitet. Wenn ein Roboter in Situationen geraten kann, in denen er vor der Wahl steht, einen Soldaten zu retten oder einen feindlichen Kämpfer anzugreifen, muss schon vorher eindeutig bekannt sein, wie er sich entscheiden wird.

Mit Unterstützung des US-Verteidigungsministeriums entwickelt Arkin ein Programm, das sicherstellt, dass ein militärischer Roboter zumindest nach internationalen Einsatzrichtlinien agiert. Ein Satz von Steuerungsalgorithmen, so genannten ethischen Regulatoren oder "ethical governors", berechnen dabei vorab, ob eine Aktion wie beispielsweise ein Raketenabschuss zulässig ist – nur ein "Ja" des Systems würde es dem Roboter dann erlauben, die Aktion weiterzuführen.

Präziser Schutz

Bei einem Test dieser Systeme (PDF) erteilten die Forscher einer simulierten autonomen Drohne die Aufgabe, feindliche Ziele anzugreifen; sie durfte dies aber nicht tun, wenn Gebäude mit Zivilisten in der Nähe waren. Bei den verschiedenen Szenarien variierte ihr Standort relativ zur Angriffszone und zu zivilen Gebäuden wie Krankenhäusern und Wohngebäuden. Die Algorithmen hatten dann zu entscheiden, in welchen Fällen die Drohne die Mission ausführen durfte.

Ungeachtet solcher Bemühungen halten viele Menschen autonome Militärroboter für höchst gefährlich; zahllose Debatten wurden darüber geführt, ob sie erlaubt sein sollten oder nicht. Doch laut Arkin könnten solche Maschinen im Gegenteil sogar besser agieren als menschliche Soldaten, weil sie – anders als die Menschen – zur strikten Beachtung der Einsatzregeln gebracht werden können.

Die meisten Computerwissenschaftler, die an exakt programmierter Maschinenethik arbeiten, verwenden eine Programmierung auf Basis logischer Aussagen: "Wenn X wahr ist, bewege dich vorwärts; wenn nicht, bewege dich nicht", wäre ein Beispiel. Logik sei hervorragend dazu geeignet, Maschinenethik zu kodieren, findet Luís Moniz Pereira von Nova Lincs, dem Zentrum für Computerwissenschaft und Informatik in Lissabon. "Auch wir Menschen nutzen Logik, wenn wir nachdenken oder ethische Entscheidungen treffen", stellt er fest.

Es ist aber gar nicht so einfach, einer Maschine das nötige Rüstzeug für ethische Entscheidungen auf Basis logischer Schlussfolgerungen zu geben. Laut Pereira haben beispielsweise die gängigen logischen Programmiersprachen Probleme damit, in hypothetischen Szenarien Schlüsse zu ziehen. Doch genau das kann entscheidend sein bei der Suche nach der Lösung eines ethischen Dilemmas.

Was wäre wenn?

Veranschaulichen lässt sich das mit dem so genannten Trolley-Problem, bei dem eine außer Kontrolle geratene Straßenbahn kurz davor ist, fünf unschuldige Personen auf den Schienen zu überrollen. Diese können nur gerettet werden, wenn eine Weiche umgestellt und der Zug auf ein anderes Gleis geleitet wird, wo er dann aber einen Unbeteiligten tötet. Was tun? In einem anderen Szenario kann die Bahn nur gestoppt werden, wenn man den Unbeteiligten eigenhändig auf die Schienen stößt.

Die meisten Leute entscheiden, dass die Straßenbahn durch Umschalten der Weiche gestoppt werden darf – eine unbeteiligte Person auf die Gleise zu stoßen, wird dagegen instinktiv abgelehnt. Diese grundlegende Anschauung, die Philosophen als Prinzip der Doppelwirkung bezeichnen, besagt, dass ein absichtliches Zufügen von Schaden falsch ist, selbst wenn dabei etwas Gutes herbeigeführt wird. Allerdings wird das Verursachen von Schaden akzeptiert, wenn es nicht absichtlich herbeigeführt wurde, sondern lediglich als Konsequenz einer guten Tat erfolgt – wenn also der Unbeteiligte unglücklicherweise auf den Gleisen steht.

Für ein Entscheidungsprogramm ist diese Analyse sehr schwierig. Es muss zunächst zwei verschiedene Zukunftsszenarien erkennen: eines, bei dem die Bahn fünf Personen überrollt, und ein anderes, bei dem nur eine Person getroffen wird. Das Programm muss dann anschließend hinterfragen, ob die Aktion zur Rettung von fünf Personen unzulässig ist, weil sie Schaden verursacht, oder ob sie erlaubt ist, weil der Schaden nur ein Nebeneffekt der guten Tat ist.

Um das herauszufinden, muss das Programm sozusagen kontrafaktisch denken und ermitteln, was passiert, wenn es sich gegen den Stoß des Unbeteiligten oder das Umstellen der Weiche entscheiden würde. "Es ist fast so wie bei einem Programm, das sich selbst permanent auf Fehler absucht", sagt Pereira, "es muss herausfinden, wo etwas in den Kodezeilen verändert werden könnte und welche Auswirkungen das haben würde." Pereira und der Computerspezialist Ari Saptawijaya von der Universität von Indonesien in Depok haben hierfür zusammen ein auf Logik basierendes Programm (PDF) geschrieben. Dieses kann erfolgreich Entscheidungen treffen, die sowohl auf dem Prinzip der Doppelwirkung basieren als auch auf dem komplexeren Prinzip der Dreifachwirkung; letzteres berücksichtigt auch, ob der verursachte Schaden ein beabsichtigtes Ergebnis der Aktion oder einfach eine Notwendigkeit ist.

Menschen, Moral und Maschinen

Wie man eines Tages ethisch agierende Roboter bauen wird, könnte entscheidenden Einfluss auf die Zukunft der Robotik haben. Michael Fisher von der University of Liverpool glaubt, dass regelbasierte Systeme auf die Öffentlichkeit beruhigender wirken. "Menschen fürchten sich einfach vor Robotern, wenn sie nicht genau wissen, was diese tun", meint der Informatiker. "Wenn wir aber analysieren und genau darlegen können, aus welchen Gründen sie handeln, lässt sich dieses Vertrauensproblem vielleicht besser bewältigen." Der Forscher arbeitet mit Winfield und anderen an einem von der Regierung finanzierten Projekt, das dafür sorgen soll, dass Software für ethisch agierende Maschinen immer auf nachvollziehbare Weise zu Ergebnissen kommt.

Im Gegensatz dazu verspricht der Ansatz des maschinellen Lernens, dass Roboter aus der Erfahrung lernen können. Das könnte sie am Ende flexibler und nützlicher machen als ihre starr programmierten Gegenstücke. Viele Roboteringenieure sind darum überzeugt, dass der Königsweg am ehesten in einer Kombination beider Methoden liegen wird. "Es ist ein bisschen wie in der Psychotherapie", erklärt Pereira. "Da wird auch nicht nur eine Theorie angewendet." Die größte Herausforderung wird allerdings darin bestehen, beide Ansätze auf eine praktikable Art und Weise miteinander zu vereinen.

Im sich rasant entwickelnden Feld des autonomen Verkehrs könnten all diese Fragen schon bald relevant werden. Bereits jetzt kann man in manchen Gegenden Kaliforniens fahrerlose Autos sehen, und seit Kurzem durchqueren autonome Lastwagen von Daimler die Wüste Nevadas. Ingenieure arbeiten intensiv daran, Autos so zu programmieren, dass sie einerseits vorgegebenen Regeln folgen und sich andererseits an die Situation auf der Straße anpassen können. "Bis jetzt haben wir versucht, den Robotern Sachen beizubringen, bei denen Menschen häufig Fehler machen", wie beispielsweise bei langen Fahrten aufmerksam zu bleiben oder schnell zu bremsen, wenn etwas Unerwartetes passiert, sagt Bernhard Weidemann, ein Sprecher von Daimler in Stuttgart. "In Zukunft werden wir uns Dinge vornehmen müssen, bei denen sich der Menschen leichttut – die Maschine aber nicht."

Dieser Artikel erschien unter dem Titel "Machine ethics: The robot's dilemma" in: Nature 523, S. 24-26, 2015.