Für David Bau ist es nicht allzu abwegig, dass Computersysteme eines Tages völlig unverständlich werden. »Ich habe 20 Jahre lang als Softwareingenieur an wirklich komplexen Systemen gearbeitet«, sagt der Informatiker der Northeastern University in Boston. »Und da gab es dieses Problem immer wieder.«

Bei herkömmlicher Software könne man mit genügend Fachwissen herausfinden, was vor sich geht, erklärt Bau. Wenn beispielsweise die Platzierung einer Website bei einer Google-Suche sinkt, hat jemand bei Google – wo Bau etwa zwölf Jahre lang gearbeitet hat – meist eine recht konkrete Vorstellung, warum das so ist. »Das ist es, was mich an der aktuellen künstlichen Intelligenz wirklich erschreckt«, sagt Bau. »Es gibt kein solches Verständnis, nicht einmal bei den Menschen, die sie entwickeln.«

Die neuesten KI-Modelle beruhen auf maschinellem Lernen, bei dem die Software selbstständig Muster in Daten erkennt, ohne dass ihr dafür Regeln vorgegeben werden. Diese Muster können für Menschen nicht erkennbar sein.

Die am meisten verbreiteten Systeme des maschinellen Lernens verwenden neuronale Netze: Software, die dem Aufbau des menschlichen Gehirns nachempfunden ist. Die Netze simulieren Schichten von Neuronen, die Informationen verarbeiten, indem sie diese Schicht für Schicht weitergeben.

Solche KI-Algorithmen lernen auf ähnliche Art wie das Gehirn. Sie stärken einige neuronale Verbindungen und schwächen andere ab, damit sie eine bestimmte Aufgabe erfüllen können. Für Menschen bleibt aber verborgen, wie und warum die Programme bestimmte Verbindungen verändern. Deshalb sprechen Forschende oft von KI als eine Blackbox, deren Innenleben ein Rätsel ist.

XAI: Ein neues Forschungsgebiet blüht auf

Das Fach der erklärbaren KI (englisch: explainable AI, kurz XAI) entwickelt deshalb Werkzeuge, um die internen Vorgänge in KI-Systemen zu entschlüsseln. Zu den Standardmethoden gehören beispielsweise »Heatmaps«, die jene Teile eines Bilds hervorheben, anhand derer der Algorithmus sein Ergebnis stützt. Zum Beispiel könnten die charakteristischen Katzenohren eine KI bei ihrer Klassifizierung zu der Überzeugung bringen, dass ein Bild tatsächlich eine Katze zeigt.

Eine andere Methode der erklärbaren KI untersucht, wie die Ausgabe des Programms von der Eingabe abhängt, indem die Input-Daten variiert werden. Auf diese Weise lässt sich zumindest grob nachvollziehen, warum eine KI beispielsweise die Entlassung eines Häftlings empfiehlt oder eine bestimmte medizinische Diagnose stellt.

Solche Versuche, einen Blick in die Blackbox zu werfen, sind zwar viel versprechend; aber das Gebiet der XAI steckt noch in den Kinderschuhen.

Das Problem ist besonders akut bei großen Sprachmodellen (Large Language Models, LLMs), also jenen Programmen hinter Chatbots wie ChatGPT. Das liegt auch an deren Größe: LLMs können hunderte Milliarden Parameter besitzen – das sind die Stellschrauben, an denen eine KI für passende Entscheidungen dreht. »Das Gebiet der XAI ist in den letzten Jahren rasant gewachsen, vor allem seit LLMs bekannter geworden sind«, sagt Mor Geva, Informatiker an der Universität Tel Aviv in Israel.

Denn die Modelle werden schon jetzt für zentrale Aufgaben verwendet. Menschen nutzen LLMs beispielsweise, um medizinischen Rat einzuholen, Computercodes zu schreiben, Nachrichten zusammenzufassen, für wissenschaftliche Arbeiten und vieles mehr. Allerdings ist das Ergebnis nicht immer zuverlässig. Die Modelle machen Fehler, verbreiten Stereotype und geben manchmal sogar private Informationen preis.

Deshalb arbeitet die Wissenschaft an der Erklärbarkeit dieser Systeme. Die Nutzenden wollen beurteilen, wann sie der Ausgabe eines Chatbots vertrauen können. Und Behörden brauchen die Anhaltspunkte, um herauszufinden, wann KI-Anwendungen reguliert werden sollten. Vielleicht kann ein besseres Verständnis für des Verhaltens von LLMs sogar dabei helfen zu verstehen, was in unserem eigenen Kopf vor sich geht.

Das logische Denkvermögen von großen Sprachmodellen

2022 haben Fachleute wie die Informatikerin Timnit Gebru (damals noch bei Google Research) LLMs erstmals als »stochastische Papageien« bezeichnet: Die Modelle produzieren statistisch wahrscheinliche Wortkombinationen, ohne den Inhalt des Geschriebenen zu verstehen.

Doch das sehen nicht alle so. Einige Fachleute glauben, dass mehr dahintersteckt. Denn manchmal zeigen Sprachmodelle logisches Denkvermögen und andere verblüffend menschenähnliche Fähigkeiten. 2023 etwa erklärte ein Microsoft-Chatbot dem US-Journalisten Kevin Roose seine Liebe und schien zu versuchen, dessen Ehe zu zerstören.

Eine Forschungsgruppe des KI-Unternehmens Anthropic mit Sitz in San Francisco hat sich in einer Studie mit der Frage beschäftigt, warum ein Chatbot sagt, was er sagt. Dabei versuchte sie, bei einem großen Sprachmodell mit 52 Milliarden Parametern herauszufinden, welche Teile der Trainingsdaten es nutzte, um bestimmte Fragen zu beantworten. Als sie ihr LLM fragte, ob es damit einverstanden sei, abgeschaltet zu werden, griff es für die Antwort auf mehrere Quellen zum Thema Überleben zurück. Die Forschenden beschrieben das Verhalten des Modells als Rollenspiel: Das Ergebnis habe zwar aus mehr als purem Nachplappern bestanden, aber nicht auf völlig eigener Überlegung beruht.

Einige Fachleute glauben, dass neuronale Netze eigene Modelle der Welt konstruieren können – dass sie also eine Vision der dreidimensionalen Realität haben, die ihren Trainingsdaten zu Grunde liegt. Zu dieser Überzeugung führte eine Arbeit der Informatiker Kenneth Li und Martin Wattenberg von der Harvard University, die zusammen mit Bau und anderen ein LLM darauf trainiert haben, das Brettspiel Othello zu spielen. Dabei legen die Gegner schwarze und weiße Scheiben auf ein Gitter. Das Team fütterte »Othello-GPT« mit Zugfolgen aus vergangenen Spielen in Textform, bis das Programm lernte, die wahrscheinlichen nächsten Züge vorherzusagen. Es trainierte außerdem ein kleineres Modell, das interpretieren sollte, was in der KI vorging. Dabei erkannten die Fachleute, dass das Sprachmodell eine interne Karte der verteilten Scheiben auf der Grundlage der Textbeschreibungen erstellt hatte. »Die wichtigste Erkenntnis ist, dass es oft einfacher ist, ein Modell der Welt zu haben, als kein Modell der Welt zu haben«, resümiert Wattenberg.

Große Sprachmodelle sind so undurchsichtig wie Menschen

Da Chatbots sich äußern können, kann man sie außerdem ganz einfach selbst befragen und so versuchen, ihre Funktionsweise zu verstehen. Ähnlich geht man in der Psychologie vor. »Der menschliche Verstand ist eine Blackbox, der Verstand von Tieren ist eine Blackbox und LLMs sind Blackboxen«, sagt Thilo Hagendorff, Informatiker an der Universität Stuttgart. »Die Psychologie ist gut ausgerüstet, um Blackboxen zu untersuchen.«

In einer noch nicht begutachteten Veröffentlichung aus dem Jahr 2023 argumentiert Hagendorff, dass große Sprachmodelle beeindruckende Fähigkeiten zeigen, wenn man sie wie Menschen behandelt – obwohl sie lediglich auf mathematischen Berechnungen beruhen.

In einer 2022 erschienenen Studie führte ein Team von Google den Begriff »chain-of-thought prompting« ein. Durch diese Methode sollen LLMs dazu gebracht werden, ihre Gedankenkette offenzulegen. Zunächst stellt der Nutzer dafür eine Frage zur Probe und zeigt der KI, wie er selbst Schritt für Schritt zu einer Antwort kommt. Danach stellt er seine eigentliche Frage. Dies veranlasst das Modell, in einem ähnlichen schrittweisen Prozess vorzugehen. Einige Studien zeigen, dass es dann wahrscheinlicher ist, die richtige Antwort zu erhalten.

Der Informatiker Sam Bowman von der New York University und Anthropic hat 2023 zusammen mit seinen Kollegen jedoch 2023 gezeigt, dass eine ausformulierte Gedankenkette kein zuverlässiger Indikator für das ist, was ein Modell wirklich tut.

Die Forscher führten die KI zunächst absichtlich auf die falsche Fährte, indem sie beispielsweise mehrere Multiple-Choice-Fragen stellten, bei denen die Antwort immer Option A war. Die KI-Modelle antworteten auf die entscheidende Frage am Ende ebenfalls mit A – ob richtig oder nicht. Sie gaben aber fast nie zu, dass sie diese Antwort wählten, weil die Antwort bis dahin immer A gelautet hatte. Stattdessen erfanden sie eine Begründung und erklärten ihre falschen Antworten – so wie es Menschen oft tun, bewusst oder unbewusst.

Das bedeute jedoch nicht, dass es nichts bringt, LLMs ihre Gedankenketten äußern zu lassen, sagt Sandra Wachter, die sich am Oxford Internet Institute mit der Regulierung von Technologien beschäftigt. »Ich denke, das kann immer noch nützlich sein.« Aber die Nutzenden sollten Chatbots mit Vorsicht begegnen, »so wie man Menschen gegenüber ja auch ein gesundes Misstrauen hat«.

»Es ist unsinnig zu behaupten, dass LLMs Gefühle haben oder dass sie sich ihrer selbst bewusst sind. Aber es ist nicht unsinnig zu sagen, dass diese Maschinen in der Lage sind, zu lernen oder zu täuschen«Thilo Hagendorff, Informatiker

»Es ist ein wenig seltsam, Sprachmodelle mit ähnlichen psychologischen Methoden zu untersuchen wie Menschen«, stellt Bau fest. Doch selbst wenn der Vergleich zunächst unsinnig wirkt, gibt es überraschende Gemeinsamkeiten. 2022 und 2023 nutzten Fachleute psychologische Untersuchungen, um Persönlichkeit, logisches Denken, Voreingenommenheit, moralische Werte, Kreativität, Emotionen, Gehorsam und Theory of Mind (das Verständnis für die Gedanken, Meinungen und Überzeugungen anderer Menschen) von Maschinen zu messen. In vielen Fällen zeigten die KI-Programme menschliches Verhalten, in anderen wichen sie davon ab. So stellen Hagendorff, Bau und Bowman fest, dass LLMs offenbar beeinflussbarer sind als Menschen; ihr Verhalten ändert sich drastisch, je nachdem, wie man eine Frage formuliert.

»Es ist unsinnig zu behaupten, dass ein LLM Gefühle hat«, sagt Hagendorff. »Ebenso, dass es sich seiner selbst bewusst ist oder dass es Absichten hat. Aber ich denke, es ist nicht unsinnig zu behaupten, dass diese Maschinen in der Lage sind, zu lernen oder zu täuschen.«

Ein Lügendetektor für große Sprachmodelle

Andere Fachleute lassen sich beim Versuch, das Innenleben von LLMs zu erforschen, von der Neurowissenschaft inspirieren. Um zu untersuchen, wie Chatbots täuschen, haben der Informatiker Andy Zou von der Carnegie Mellon University und seine Mitarbeiter LLMs befragt und dabei die Aktivierung ihrer Neurone untersucht. »Was wir hier tun, ist vergleichbar mit einem Neuroimaging-Scan bei Menschen«, erläutert Zou. Es ist auch ein bisschen wie die Entwicklung eines Lügendetektors.

Die Forschenden forderten ein LLM mehrmals auf, zu schwindeln oder aufrichtig zu sein, und maßen die Unterschiede in den Mustern der neuronalen Aktivität. Wenn sie dem Modell danach eine neue Frage stellten, konnten sie anhand der Aktivität abschätzen, ob es die Wahrheit sagte – mit einer Genauigkeit von mehr als 90 Prozent. Ein solches System könnte laut Zou die Unehrlichkeit von LLMs in Echtzeit erkennen. Allerdings müsste es noch genauer werden.

Das Team ging anschließend weiter und griff aktiv in das Modell ein. Es verstärkte gewisse Aktivierungen, um die KI ehrlicher zu machen. Das versuchte es auch mit anderen Konzepten – mit Erfolg: Das Modell ließ sich mehr oder weniger machtorientiert oder glücklich gestalten, und Verzerrungen (etwa einen Gender-Bias) ließen sich verstärken oder abschwächen.

Das Gehirn der KI

Mit einem ähnlichen Ziel haben Bau und seine Kollegen eine Technik namens »causal tracing« (Kausalverfolgung) entwickelt. Die Fachleute wollen jene Teile des »Gehirns« der KI identifizieren, die dafür sorgen, dass sie auf eine bestimmte Weise antwortet. Dazu geben sie einem Modell einen Prompt, etwa: »Michael Jordan betreibt den Sport«, worauf das System »Basketball« antwortet. Danach lässt man einen zweiten Prompt folgen, wie: »Bla bla bla betreibt den Sport.« In der Regel wird darauf eine andere Antwort folgen. Die Forschenden nehmen dann die internen Aktivierungen aus der ersten Aufforderung und stellen sie wieder her, bis das Modell auf den zweiten Prompt mit »Basketball« reagiert. Dadurch lässt sich erkennen, welche Bereiche des neuronalen Netzes für diese Antwort entscheidend sind.

»Das Schöne an künstlichen neuronalen Netzen ist, dass wir Experimente durchführen können, von denen Neurowissenschaftler nur träumen«David Bau, Informatiker

Damit kann das Team ein Modell steuern, indem es bestimmte Parameter verändert – oder das vorhandene Wissen bearbeiten. Diese Methoden könnten nützlich sein, um falsche oder veraltete Fakten zu korrigieren, ohne das gesamte Modell neu trainieren zu müssen.

»Das Schöne an künstlichen neuronalen Netzen ist, dass wir Experimente durchführen können, von denen Neurowissenschaftler nur träumen können«, erklärt Bau. »Wir können uns jedes einzelne Neuron ansehen, wir können Netzwerke millionenfach laufen lassen, wir können alle möglichen verrückten Messungen und Eingriffe vornehmen. Und wir müssen keine Einverständniserklärung einholen.« Das habe auch das Interesse der Neurowissenschaft geweckt, die auf Einblicke in biologische Gehirne hofft.

Der Informatiker Peter Hase von der University of North Carolina vermutet, dass »causal tracing« noch nicht die ganze Geschichte ist. Er hat in einer 2023 veröffentlichten Arbeit gezeigt, dass sich die Reaktion eines Modells durch die Bearbeitung von Schichten verändern lässt, die das »causal tracing« nicht angesteuert hatte.

Was stellen einzelne Neuronen in Sprachmodellen dar?

Viele LLM-Scan-Techniken – einschließlich der von Zou und Bau – verfolgen einen Top-down-Ansatz. Sie ordnen den zu Grunde liegenden neuronalen Repräsentationen Konzepte zu. Manche verwenden aber auch einen Bottom-up-Ansatz. Sie schauen sich die Neurone an und fragen, was diese jeweils darstellen.

In einer 2023 veröffentlichten Arbeit hat ein Team von Anthropic fortschrittliche Methoden entwickelt, um LLMs auf der Ebene einzelner Neurone zu verstehen. Die Fachleute untersuchten ein vereinfachtes KI-System mit einer einzigen Transformerschicht (ein großes LLM hat Dutzende davon). Als sie einen Bereich mit 512 Neuronen untersuchten, stellten sie fest, dass jedes Neuron »polysemantisch« war – es reagierte auf mehrere Eingaben statt nur auf eine. Indem sie aufzeichneten, wann die einzelnen Neurone aktiviert wurden, stellten sie fest, dass sich die 512 Neurone durch insgesamt 4096 virtuelle Neurone beschreiben lassen, die jeweils als Reaktion auf ein einziges Konzept aufleuchten.

Wenn es darum geht, das Innenleben einer KI zu verstehen, »ist das eine wirklich aufregende und viel versprechende Arbeit«, sagt Hase. »Es ist, als ob wir sie öffnen und alle Zahnräder auf dem Boden verteilen können«, ergänzt Chris Olah, ein Mitbegründer von Anthropic.

Aber die Untersuchung eines vereinfachten Modells ist ein bisschen wie das Studium von Taufliegen, um Menschen zu verstehen. Zou mahnt: So wertvoll dieser Ansatz sei, eigne er sich weniger zur Entschlüsselung der komplexeren Aspekte des KI-Verhaltens.

Gesetze verlangen Erklärbarkeit von KI

Aus Forschungssicht ist noch immer unklar, was genau im Inneren eines Sprachmodells vor sich geht. Und doch entwickelt sich aktuell ein Konsens darüber, dass Unternehmen zumindest versuchen sollten, Erklärungen für ihre Systeme zu liefern. Dieser Konsens weitet sich nach und nach zu Gesetzen aus.

Einige KI-Regularien wie der europäische AI Act fordern zum Beispiel, dass Algorithmen erklärbar sein müssen – zumindest bei Hochrisiko-KI-Systemen. Zu dieser Kategorie zählen Programme, die für die biometrische Fernidentifizierung, Strafverfolgung oder für den Zugang zu Bildung, Beschäftigung oder öffentlichen Dienstleistungen eingesetzt werden. Laut Wachter gelten LLMs aus Sicht des AI Act nicht als risikoreich und könnten daher (außer in einigen spezifischen Anwendungsfällen) dieser gesetzlichen Erklärungspflicht entgehen.

»Jemand muss dafür verantwortlich sein, entsprechende Studien zu machen«David Bau, Informatiker

Trotzdem sollte man die Hersteller von LLMs nicht völlig unreguliert lassen, sagt Bau, der sich darüber ärgert, dass einige Unternehmen wie OpenAI – die Firma hinter ChatGPT – die Quellcodes ihrer größten Modelle geheim halten. OpenAI erklärte, dies geschehe aus Sicherheitsgründen; vermutlich um zu verhindern, dass böswillige Akteure Details über die Funktionsweise zu ihrem Vorteil nutzen.

Dennoch leisten Unternehmen wie OpenAI und Anthropic bedeutende Beiträge im Bereich der erklärbaren KI. 2023 veröffentlichte OpenAI beispielsweise eine Studie, in der GPT-4 die Ausgaben eines älteren Modells, GPT-2, auf Ebene der Neuronen erklären sollte.

Aber es muss noch viel mehr geforscht werden, um die Funktionsweise der Chatbots wirklich zu enträtseln. Manche Fachleute pochen darauf, dass dies die Aufgabe der Unternehmen sei, die LLMs entwickeln. »Jemand muss verpflichtet sein, entweder entsprechende Studien durchzuführen oder diese zumindest zu ermöglichen«, sagt Bau. Alles andere sei verantwortungslos.