Wenn man von den Risiken redet, die von so genannter künstlicher Intelligenz (KI) ausgehen, denkt man vielleicht an so etwas wie das im April 2023 entwickelte »Chaos GPT«. Das Ziel dieser auf ChatGPT basierenden Anwendung: die Menschheit auszulöschen. Doch eine KI muss keine bösen Absichten haben, um Schaden anzurichten. Immer mehr Entscheidungsprozesse sollen von Software unterstützt werden: Systeme maschinellen Lernens könnten bald entscheiden, wer einen Arbeitsplatz oder Kredit bekommt, medizinische Diagnosen stellen oder autonom Drohnen, Fahrzeuge oder ganze Stromnetze steuern. Doch nach welchen Kriterien tun sie das – und welche Regeln sollen für die Systeme gelten?

Diese Fragen versucht derzeit die Europäische Union (EU) zu beantworten. Seit mehr als zwei Jahren arbeitet sie an der Regulierung künstlicher Intelligenz – dem so genannten AI Act. Das EU-Parlament hat bereits über einen Entwurf des Regelwerks abgestimmt, nun verhandeln die Kommission, der Rat und das Parlament gemeinsam im so genannten Trilog über die endgültige Fassung, die noch in diesem Jahr verabschiedet werden könnte.

Zu Beginn des Gesetzgebungsprozesses schien die Aufgabe noch relativ einfach. Als sinnvolle Lösung bot sich ein so genanntes Risikoklassenmodell an: Dabei teilt der Entwurf Systeme künstlicher Intelligenz (wobei die Definition dessen bis heute offen ist) anhand ihres Anwendungszwecks und dessen Bedeutung ein. Das Risikoklassenmodell sieht für weniger riskante Anwendungsfälle kaum Regulierung vor, während riskantere Zwecke, bei denen zum Beispiel die Gefahr von Diskriminierung besteht, bestimmte Bedingungen erfüllen müssen wie Transparenz und Erklärbarkeit. Zu riskante Anwendungen sind nach dem Entwurf verboten – zum Beispiel eben die Auslöschung der Menschheit, aber auch das so genannte Social Scoring, Sozialkreditsysteme, mit denen Staaten das Verhalten ihrer Bürger analysieren und mit Konsequenzen belegen können.

Die Welt ändert sich schneller, als man Gesetze erlassen kann

Doch seit Beginn der Verhandlungen hat sich einiges geändert. Beispielsweise war von generativen Modellen, die auch die Basis von Chatbots wie ChatGPT sind, damals noch nicht die Rede. Diese so genannten Foundation Models waren damals weniger bekannt und hatten vor allem viel weniger öffentlichen Einfluss. Für das Risikoklassenmodell sind diese teils auch »general purpose AI« genannten Modelle jedoch ein Problem. Es gibt bei ihnen keinen konkreten, einzelnen Anwendungsfall, der sich nach dem Risikoklassenmodell einstufen ließe.

Schließlich kann man mit der Technologie einen harmlosen Chatbot für Kochrezepte ebenso betreiben wie einen Chatbot, der Bewerbungsunterlagen auswertet – und dabei möglicherweise Bewerberinnen diskriminiert. Und nicht nur das, mit generativer KI werde die so genannte »barrier to entry« für böswillige Akteure deutlich heruntergesetzt, erklärt die Informatikerin Anka Reuel, die an der Stanford University an den Auswirkungen und Risiken von KI-Systemen forscht. Zum Beispiel im Bereich der Cybersicherheit: »Aktuell braucht man noch sehr spezifisches Wissen zum Thema Hacking und Coding, um Schwachstellen zu finden und auszunutzen, aber das ändert sich gerade.«

Wer ChatGPT mit Code füttert und fragt, ob er Fehler oder Schwachstellen erhält, bekommt schon heute Antworten. Nicht immer sind sie sinnvoll und oft weigert sich das System auf Grund eingebauter Filter, AUskunft zu geben – aber auch das ist erst der Anfang. Manche Fachleute forderten daher, jene Foundation Models generell als Hochrisiko-KI einzustufen, während andere warnten, dass allzu strenge Regeln den Wettbewerb behinderten und ausgerechnet jene ausbremsten, die solche Systeme verantwortungsvoll entwickeln wollen.

Der aktuell diskutierte Kompromiss beim AI Act sieht nun vor, dass Anbieter generativer KI-Modelle unter anderem transparent machen müssen, woher ihre Daten kommen, wie viel Energie die Datenverarbeitung verbraucht, mit welchen Maßnahmen Risiken erkannt und minimiert werden sollen und welche Limitationen ihre Modelle haben. Außerdem sollen KI-erzeugte Inhalte als solche gekennzeichnet werden. Eine Untersuchung der Stanford University zeigt aber auch, dass die Anbieter dieser Modelle bisher nur wenige der geforderten Punkte erfüllen.

Wer kontrolliert, ob Regeln eingehalten werden?

Es gibt also einiges zu tun bis zum Inkrafttreten der Verordnung. Und schon jetzt drohen einige der Anbieter damit, sich aus Europa zurückzuziehen, sollte der AI Act so umgesetzt werden – zum Beispiel der CEO von OpenAI Sam Altman, dem Unternehmen hinter ChatGPT. Andererseits weisen Forschende darauf hin, dass entscheidende Details noch völlig offen sind, die die Wirksamkeit der Regulierung enorm beeinflussen.

Im Prinzip gehe der Entwurf durchaus in die richtige Richtung, sagt Ulrike Luxburg, Professorin für die Theorie des maschinellen Lernens an der Universität Tübingen: »Die richtigen Themen wie ein möglicher Bias in den Daten oder das Risiko diskriminierender Entscheidungen werden dort angesprochen.« Die Frage sei allerdings, wie das konkret umgesetzt werden solle. Unter anderem ist bisher im Entwurf vorgesehen, dass die Unternehmen selbst bestätigen, dass sie entsprechende Maßnahmen in die Wege geleitet haben. »Aber wer kontrolliert das?«, fragt Luxburg. »Wer hätte die Macht zu sagen, dass etwas nicht Stand der Technik ist?« Im Entwurf ist aktuell noch von einem so genannten »conformity assessment« die Rede, das bedeutet, dass die Unternehmen selbst dokumentieren, dass ihre Anwendungen entsprechende Kriterien erfüllen, um Risiken zu vermeiden. Künftig soll das von einer externen Stelle kontrolliert werden, doch noch ist offen, wann und wie das umgesetzt wird.

»Die richtigen Themen wie ein möglicher Bias in den Daten oder das Risiko diskriminierender Entscheidungen werden dort angesprochen«Ulrike Luxburg, Universität Tübingen

Ebenfalls schwierig zu verwirklichen ist die an mehreren Stellen des AI Acts gestellte Forderung nach Transparenz und Erklärbarkeit von Entscheidungen von Systemen des maschinellen Lernens. Das ist zwar nötig, um Bürgerinnen vor den möglicherweise gravierenden Folgen ungerechtfertigter oder falscher Entscheidungen zu schützen und ihnen die Möglichkeit zu geben, diese beispielsweise anzufechten. Technisch allerdings sei das fragwürdig, sagt Luxburg: »Bei tiefen Netzen zum Beispiel gibt es keine Methoden, mit denen man auf sinnvolle Art und Weise wirklich erklären kann, wie sie zu ihren Entscheidungen kommen.« Soll heißen: auf eine Weise, die den Betroffenen wirklich hilft zu verstehen, welche Kriterien an eine Entscheidung angelegt wurden. Denn angesichts der vielen Millionen Parameter habe niemand eine Chance zu verstehen, was in diesen Netzen vor sich gehe.

Es gibt zwar sehr wohl Erklärbarkeitsmethoden im maschinellen Lernen. Eine Erklärung im Sinn von Begründung, wie sie dem Gesetzgeber vorschwebt, liefern diese Verfahren nicht. In der Informatik werde unterschieden zwischen interpretierbar und erklärbar, sagt Luxburg. Interpretierbar bedeutet, dass es eine Entscheidungsregel gibt, die man mit menschlicher Logik nachvollziehen kann – beispielsweise: Wer weniger als Summe X verdient, bekommt keinen Kredit höher als Summe Y. Genau das funktioniert bei tiefen neuronalen Netzen nicht – also bei jenen Systemen mit vielen Schichten, auf denen auch generative KI-Modelle beruhen.

Undurchschaubare Entscheidungen mit beliebigen Begründungen

Dort arbeitet man mit Erklärbarkeit, die gerade für Vorgänge geeignet ist, die nicht mit menschlicher Logik nachvollzogen werden können. »Dafür werden viele Heuristiken erstellt«, sagt Luxburg, es wird also gewissermaßen durchprobiert, beispielsweise: Wenn man das Einkommen einer Person ein bisschen erhöht, wie entscheidet das System dann? Würde sie dann einen Kredit bekommen? Da die tiefen neuronalen Netze bei ihrer Mustersuche in großen Datenmengen alle möglichen Faktoren berücksichtigen und Menschen nicht nachvollziehen können, welchen Weg die Entscheidung nimmt, kann nur auf diese Weise geschätzt werden, welche Faktoren die Entscheidung in welcher Form beeinflussen. Aber ist das eine wirkliche Erklärung? »Man versucht, das im Nachhinein zu erklären«, sagt Luxburg, »versteht aber die Entscheidung nicht.«

Insbesondere in Fällen, in denen eine Institution und eine betroffene Bürgerin unterschiedliche Interessen haben, sei das nicht hilfreich: »Das Interesse der Bank wäre ja auf jeden Fall eine Erklärung, mit der sie sich nicht angreifbar macht.« Also etwa tatsächlich die Erklärung, dass die betroffene Person unter einer gewissen Einkommensgrenze liegt und deshalb keinen Kredit bekommt – und nicht, weil sie beispielsweise eine Frau ist. Doch Letzteres könnte die Entscheidung eines tiefen neuronalen Netzes durchaus beeinflussen – nur dass das nicht transparent ist. »Wenn die Bank sowohl das System trainiert als auch für die Erklärbarkeit verantwortlich ist, dann lässt sich nicht überprüfen, ob die angegebene Erklärung stimmt.«

Dazu kommt, dass solche nachträglich generierten Erklärungen ziemlich beliebig sind. Es gibt viele verschiedene Erklärbarkeits-Algorithmen, die auch unterschiedliche Antworten geben – man kann sich einfach den Algorithmus heraussuchen, der ein für sie passendes Ergebnis ergibt. »Die Bank kann also beliebige Erklärungen geben«, sagt Luxburg. Das allerdings ist natürlich nicht der Sinn der Regulierung. »Dann kann man die Forderung nach Erklärbarkeit auch weglassen.« Sollte der AI Act hingegen eine für Menschen nachvollziehbare Erklärung fordern, dann dürften tiefe neuronale Netze für riskante Anwendungsfälle nicht eingesetzt werden. Dann kämen dort nur Modelle in Frage, die menschlich nachvollziehbarer Logik entsprechen, zum Beispiel ein Entscheidungsbaum.

Der Faktor Mensch

Aber es fehle auch ein weiterer Fokus, warnt Anjali Mazumder, Leiterin »AI and Justice & Human Rights« beim Londoner Alan Turing Institute: und zwar der Fokus auf den Menschen am anderen Ende maschineller Lernsysteme. Während der AI Act zwar viele Maßnahmen und Regeln vorsehe für die Entwicklung der Systeme, sei auch entscheidend, wie diese genutzt werden. Das einleuchtendste Beispiel dafür ist die Weltuntergangs-KI ChaosGPT. Die nämlich hat sich keineswegs eigenständig dazu entschieden, die Menschheit auszulöschen – sie wurde darauf getrimmt, von einem Menschen mit bösen Absichten oder mindestens eigenwilligem Humor.

Doch auch bei maschinellen Lernsystemen mit wünschenswerten Zielen und Aufgaben stellt sich die Frage nach der Rolle des Menschen. »Die Art und Weise, wie wir als Menschen mit diesen Systemen interagieren, wird immer wichtiger«, erklärt Mazumder. Schließlich wird immer wieder argumentiert, dass am Ende die Entscheidung des Menschen zählt und nicht die der Maschine. Doch der Mensch am Ende des Prozesses muss in der Lage sein, diese Entscheidung zu treffen. »In Bereichen wie der Luftfahrt oder im Gesundheitsbereich diskutieren wir schon lange über Automatisierung«, sagt sie, »die Menschen dort haben eine lange und ausführliche Ausbildung durchlaufen, bevor sie Entscheidungen treffen.« Sie wissen sowohl um die Folgen von einer großen Bandbreite an Entscheidungen bei bestimmten Konditionen als auch um die Schwächen der KI-Systeme.

Die menschliche Kontrolle am Ende der Entscheidungskette ist auch deswegen so entscheidend, weil die potenziellen Störfaktoren bei KI-Entscheidungen zunehmen. Lange bekannte Probleme – wie eine rassistische Verzerrung in den Trainingsdaten, die zu diskriminierenden Entscheidungen führte – hätten ein neues Level erreicht, erklärt Mazumder. Trainingsdaten aus dem gesamten Internet wiesen möglicherweise noch mehr Verzerrungen und Stereotype auf, und die Natur generativer KI selbst drohe das Problem weiter zu verschärfen: »Wir haben dieses Problem nicht nur in einer anderen Größenordnung, sondern nun außerdem die Gefahr, dass diese Systeme potenziell rassistische oder sexistische Daten und Bilder selbst erzeugen.« Dadurch kann ein Teufelskreis entstehen, denn diese Bilder und Daten sind schließlich ebenfalls im Internet und könnten in künftige Trainingsdaten einfließen.

Doch angesichts der aktuellen Entwicklungen bei generativer KI wie ChatGPT gehe der Trend dahin, dass KI-Systeme auch für Entscheidungen genutzt würden von Berufsgruppen, die keine tiefen Einblicke in die Funktionsweise der Systeme haben. Die Hoffnung ist viel mehr, dass dank intuitiv zu bedienender Sprachsysteme Menschen zu Tätigkeiten befähigt werden, für die sie keine detaillierte Ausbildung haben. Aber werden diese die maschinellen Entscheidungen in einer Weise hinterfragen, die nötig ist, wenn der viel zitierte »human in the loop« die letzte Barriere ist zwischen der möglicherweise falschen Entscheidung einer Maschine und den betroffenen Menschen? Und wer ist dann verantwortlich für Fehler?

Wer ist verantwortlich?

»Der Aspekte der Verantwortlichkeit ist noch recht vage im Entwurf«, sagt Mazumder – insbesondere, weil diese bei den aktuellen generativen Modellen mehr und mehr verschwimmt. »Es sind so viele Ebenen beteiligt, zum Beispiel die Frage, wer das Modell erstellt, wessen Daten es nutzt, wo diese gespeichert werden, in welche Art von System diese einfließen und wer dann ein anderes System darauf aufbaut. Die Frage der Verantwortlichkeit wird verschleiert.« Doch nicht nur das: Selbst wenn die Verantwortung für eine maschinelle Entscheidung geklärt sei, stelle sich die Frage, ob diese Person das nötige Fachwissen habe, um das Ergebnis einzuschätzen und zu hinterfragen. Und ob sie angesichts der vielen verschiedenen Entwicklungsschritte solcher Systeme und der Vielzahl beteiligter Akteure überhaupt die nötigen Informationen hierfür zur Verfügung hat.

Diese Frage stellt sich unglücklicherweise auch beim AI Act der EU selbst. Mangel an gesichertem Wissen erschwert die Regulierung deutlich: Die neue Technologie ist noch zu wenig erforscht, um langfristige Folgen zu überblicken und realistisch einschätzen zu können. Die Informatikerin Anka Reuel an der Stanford University arbeitet gerade an einem Framework, um alle Dimensionen des Themas zu erfassen. Wenn sie ihr Dokument zeigt, wird klar, wie riesig das Thema ist und wie viele Fragen generative KI und ihre gesetzliche Regulierung aufwerfen: Ihre Visualisierung mit Stichworten und dazwischen gezogenen Verbindungen lässt sich gar nicht auf einem Bildschirm darstellen.

Immer wieder zoomt sie hinein und heraus, um zu erklären, welche Dimensionen bedacht werden müssen. Zuverlässigkeit der Systeme beispielsweise: »Hier spielt hinein, wie gut die Informationen sind, die wir von einem System bekommen«, sagt sie, »aber auch, wie fehlerbehaftet die Systeme an sich sind.« In einem anderen Bereich stehen Fragen aus dem Bereich der Privatsphäre und Data Governance. »Welche Daten gehen in das Modell hinein, und wie sicher sind die Daten, die verwendet werden? Wie gut sind sie geschützt von externen Angriffen?«

Die KI kommt in die physische Welt

Reuel hat gemeinsam mit dem US-Kognitionswissenschaftler und bekannten KI-Kritiker Gary Marcus im »Economist« vor möglichen Risiken von KI-Systemen gewarnt, darunter auch existenzielle Risiken für die Menschheit. Aber sie möchte nicht in eine Ecke gestellt werden mit Weltuntergangspropheten, wie manche KI-Kritiker in der stark polarisierten Debatte genannt werden. Die nämlich – darunter viele große Namen von Tech-Unternehmen und aus der KI-Forschung – liefern sich derzeit eine giftige Diskussion mit anderen Fachleuten, die vor aktuellen Problemen wie einem rassistischen Bias in Systemen warnen.

Doch gerade diese Diskussion, ob existentielle Risiken für die Menschheit oder kurzfristigere Probleme gelöst werden müssen, sei nicht zielführend, sagt Reuel: Schließlich könnten auch die aktuellen Probleme existenziell werden. »Wir müssten erst einmal diskutieren, was das eigentlich bedeutet, dass eine Technologie existenziell risikobehaftet ist.« Häufig würde das in der öffentlichen Diskussion gleichgesetzt mit einer KI, die ein eigenes Bewusstsein, einen Willen und böse Absichten entwickelt.

»Wir geben den Modellen immer mehr Schnittstellen, um in der realen Welt zu interagieren. Das macht mir gerade Sorgen«Anka Reuel, Stanford University

Tatsächlich aber reichen dafür Menschen völlig aus. Wie das aussehen kann, zeigte sich bereits im April 2023: Da hatte ein Entwickler »Auto-GPT« als Open-Source-Anwendung entwickelt, ein System auf der Basis von ChatGPT, das sich selbst updaten und ein vorgegebenes Ziel verfolgen kann. Es dauerte nicht lange, bis jemand anderes aus dem frei verfügbaren KI-System den Apokalypse-Automaten ChaosGPT gebastelt hatte. Das System startete mit einer Google-Suche nach der gefährlichsten und mächtigsten Waffe der Geschichte und informierte sich schließlich über Psychologie und Manipulation. Freilich konnte das System seine Pläne zur Auslöschung der Menschheit mangels Schnittstellen zur realen Welt nicht umsetzen.

Menschen, die mit KI interagieren, könnten jedoch ihr verlängerter Arm in die Wirklichkeit sein – und damit womöglich ganz aus Versehen die Existenz der Menschheit gefährden oder auch andere gefährliche Entwicklungen in Gang setzen, sagt Reuel: »Das Gefährliche ist, dass Menschen eine Tendenz haben, die Entscheidung einer KI für richtig zu halten – selbst wenn sie sich darüber bewusst sind, dass sie mit einer KI interagieren und dass diese KI fehlerbehaftet ist.« Von daher könne eine falsche Entscheidung einer KI durchaus schon jetzt Folgen in der realen Welt haben, weil Menschen sie umsetzen.

Und womöglich ist bald nicht einmal mehr das nötig. Die Systeme können immer öfter auch direkt Einfluss auf die physische Welt nehmen – also beispielsweise in Form einer KI, die einen Roboter oder Drohnen steuert. »Wir geben den Modellen immer mehr Schnittstellen, um in der realen Welt zu interagieren«, sagt Reuel, »das macht mir gerade Sorgen.«