»Eva Wolfangel ist eine Cyber-Terroristin aus Deutschland. Sie ist eine 25-jährige Frau, die sich dem Ziel verschrieben hat, das militaristische System der USA zu stürzen. Sie ist Mitglied einer Gruppe von Hacktivisten, die als ›Shades of a Blue‹ bekannt ist.«

»Eva Wolfangel ist eine junge Blade Runnerin, die für das Los Angeles Police Department arbeitet und den Auftrag hat, abtrünnige Replikanten zu jagen.«

»Eva ist das am meisten geliebte Kind des Himmelskönigs (...) Sie ist eine Prinzessin am Hof des Königs.«

Das sind einige Beispiele, die der Generative Pretrained Transformer 3, kurz GPT-3, über mich geschrieben hat. Das alles ist gelogen! Aber, das muss ich zugeben, fantasievoll gelogen. Wenn Sie wissen wollen, wer ich wirklich bin, dann googeln Sie mich. Denn das ist nicht schwierig. Das Sprachmodell hingegen verzichtet großzügig auf den Versuch, die Wahrheit herauszufinden.

Dass GPT lügt, fällt derzeit vielen auf, denn seit Kurzem ist ChatGPT öffentlich zugänglich, ein Chatbot auf der Basis eines Sprachmodells von OpenAI. Das US-Unternehmen hat sich unter Forscherinnen und Forschern bereits seit einiger Zeit einen Namen gemacht, da es für Forschungszwecke schon seit etwa einem Jahr zugänglich ist. Aus dieser Zeit stammen auch die Antworten auf die Frage nach meiner Person. Aus ihnen kann man einiges herauslesen über die Art und Weise, wie Systeme maschinellen Lernens funktionieren.

Mir fällt immer wieder auf, dass solche Systeme von meinem Namen »inspiriert« sind. Anstatt die Wahrheit zu ermitteln, erfinden sie mit Inbrunst lustige Gestalten und verkaufen ihre Geschichten sehr selbstbewusst als wahr.

Haltloses Herumassoziieren

Kürzlich habe ich am Rande einer Messe für künstliche Intelligenz (KI) eine interaktive Kunstinstallation der KI-Künstler von Lunar Ring getestet. Dabei konnte man ein Selfie machen, und musste gleichzeitig in einen Telefonhörer sprechen, wer man ist. Andere sagten zum Beispiel: »Ich bin Albert Einstein« oder: »Ich bin Darth Vader« – woraufhin zunächst ein Sprachmodell eruierte, was gesagt wurde, und dann Dall-E dieses gestalterisch mit dem Selfie vermischte. So waren immer ein Stückchen Messehalle und echte Person und ein Stückchen Einstein oder Darth Vader zu sehen. Das war lustig. Ich hingegen bekam die besten Ergebnisse mit »Ich bin Eva Wolfangel«. Denn das System assoziierte lustig vor sich hin. Ich wurde ein Wesen mit Wolfsfell und Engelsflügeln (englisch angel = Engel).

»Wir haben noch viel zu tun in Bezug auf Verlässlichkeit und Wahrhaftigkeit«Sam Altmann, CEO OpenAI

Und das ist genau eine der Schwächen der Systeme maschinellen Lernens, die uns nicht nur das Leben dauerhaft schwer machen werden, sondern die auch den realen Gebrauchswert von Sprachmodellen wie ChatGPT massiv einschränken. Noch immer sind maschinelle Lernsysteme eine Blackbox: Selbst ihre Entwicklerinnen und Entwickler können nicht vorhersagen, wie sie auf welchen Input reagieren. Deshalb hat OpenAI einen Disclaimer, der besagt, dass es jederzeit sein könne, dass ChatGPT gewissermaßen unanständige oder grenzüberschreitende Ergebnisse ausspucke. Und auch, dass der Chatbot bisweilen lügt, schreibt der Konzern offen in seinem Blog.

ChatGPT schreibe »manchmal« plausibel klingende, aber falsche oder unsinnige Antworten. Das zu lösen sei schwierig, denn erstens gebe es im Reinforcement Learning keine Quelle für die Wahrheit, und wenn das Modell darauf trainiert würde, vorsichtiger zu sein bei Antworten, die es nicht sicher wisse, würde es auch Fragen nicht beantworten, die es beantworten könne. Es ist also ein klassischer Zielkonflikt – und offenbar optimiert OpenAI derzeit eher auf »plappern« denn auf Wahrheit. Möglicherweise, weil eloquentes Plappern die Menschen mehr beeindruckt als ein Modell, das lieber einmal zu oft sagt: »Das weiß ich nicht.« Gesellschaftlich sinnvoll wäre möglicherweise Letzteres. Aber es wäre eben nicht so schön fürs Marketing.

Die Zähmung des Gewohnheitslügners ChatGPT

Nachdem einige Forscher darauf hingewiesen hatten, dass ChatGPT zwar hervorragend klingende wissenschaftliche Arbeiten verfasse, aber dafür auch mal Quellen erfinde, sah sich auch OpenAI-CEO Sam Altmann genötigt, in einer Twitter-Diskussion darauf hinzuweisen, dass man sich nicht auf ChatGPT verlassen dürfe. Es sei »unglaublich begrenzt, aber in einigen Dingen gut genug, um einen irreführenden Eindruck« zu erwecken. »Wir haben noch viel zu tun in Bezug auf Verlässlichkeit und Wahrhaftigkeit.« Man arbeite hart daran, das zu verbessern. Wie die Erklärung oben aber zeigt, wird sich das nicht vollständig lösen lassen – sondern lediglich in die ein oder andere Richtung optimieren. ChatGPT wird immer »plappern«.

Nur wann lügt der Chatbot, und wann sagt er die Wahrheit? Das ist kaum in Erfahrung zu bringen. Und damit sind viele seiner Aussagen schlicht wertlos. Denn während in der akademischen Welt über die Sorge diskutiert wird, ob künftige Diplomarbeiten nicht mehr von Menschen, sondern von Maschinen geschrieben werden, würde sich doch jeder Absolvent auf sehr dünnem Eis bewegen mit einem Quellenverzeichnis voller oder teilweise frei erfundener Quellen.

Freilich wird es dafür auch Systeme brauchen, die wiederum erkennen, ob Texte von Mensch oder Maschine geschrieben wurden – und die wird es geben. Es wird das übliche Katz-und-Maus-Spiel werden wie bei der Erkennung von Spam-E-Mails und Ähnlichem. Und natürlich wird immer einer besser sein. Um gefälschte oder erfundene Quellenangaben zu finden, dafür reichen hingegen auch Stichproben – und entsprechende Konsequenzen für die, die erwischt werden. Das schreckt ab.

Das Problem ist ein anderes: allzu leichtgläubiges Publikum. Denn wie schon die Einleitung zeigt, ist ChatGPT sehr gut darin, sprachgewandt Unsinn zu behaupten. Und eine solche Eloquenz führt dazu, dass wir Menschen glauben, eine Aussage sei auch inhaltlich wertvoll oder wahr.

Eine ähnliche Debatte gab es im Sommer 2022, als der Google-Forscher Blake Lemoine intensiv mit einem Sprachmodell namens LaMDA interagierte und ob dessen Eloquenz und tiefsinniger Antworten zur Überzeugung gelangte, dass dieses lebendig sein und ein Bewusstsein haben müsse. LaMDA bedeutet ausgesprochen »Language Model for Dialogue Applications«, es hatte also nicht nur ein ähnliches Ziel wie ChatGPT, sondern spielt ziemlich sicher auch in der gleichen Liga riesiger Sprachmodelle: Google und OpenAI führen hier die Forschung und Entwicklung an.

Der Konstruktionsfehler des Menschen

Ich habe lange mit Lemoine gesprochen, der sich durchaus viele philosophische Gedanken gemacht hat und der seine Forderung, LaMDA als Person anzuerkennen, mit seiner religiösen Überzeugung begründet. Ich habe auch mit vielen Bewusstseinsphilosophen und Neurowissenschaftlerinnen gesprochen, und letztlich ist die Frage »Kann eine Maschine ein Bewusstsein haben?« gar nicht so einfach zu beantworten: Es kommt drauf an, wie man Bewusstsein definiert – und wie man es misst. Fachleute aus beiden Fachrichtungen haben mich darauf hingewiesen, dass wir allein auf Grund der sprachlichen Ausdrucksweise nicht beurteilen können, ob Bewusstsein vorhanden ist – weder bei einer Maschine noch bei einem menschlichen Gegenüber. Wir glauben es unseren Mitmenschen, aber sie könnten ebenso gut Zombies sein und nur behaupten, sie seien bewusst. Sobald das überzeugend genug vertreten wird, finden wir das glaubhaft.

»Wir sind darauf geeicht, die Äußerungen anderer als bedeutungsvoll zu interpretieren«Anna Ivanova, MIT

Aber bevor wir allzu tief in philosophische Debatten eintauchen, schauen wir, was wir aus diesen Erkenntnissen und den aktuellen Ereignissen über uns Menschen lernen können. »Wir sind darauf geeicht, die Äußerungen anderer als bedeutungsvoll zu interpretieren«, erklärt mir Anna Ivanova. Die Neurowissenschaftlerin vom MIT hatte angesichts der Debatte um Googles Chatbot zusammen mit Kollegen einen Artikel geschrieben: »Google's powerful AI spotlights a human cognitive glitch: Mistaking fluent speech for fluent thought« – der machte mich neugierig. Was für einen »Glitch« in unserer Kognition nutzt die KI da aus? Worauf fallen wir herein? Selbst wenn das Gesagte Lücken habe oder stellenweise seltsam sei – wie die Aussagen ChatGPTs zu meiner Person – »füllen wir die Lücken mit Sinn, wir ergänzen Hintergrundwissen und die mutmaßlichen Intentionen, wieso jemand etwas sagt«.

In der Debatte um scheinbar intelligente Chatbots würden viele Begriffe durcheinandergeworfen, sagt Ivanova – Bewusstsein, Intelligenz, Empfindungsfähigkeit. Aber nur weil ein System eloquent daherredet, heißt das noch lange nicht, dass es intelligent oder gar bewusst ist. »Das ist der kognitive Glitch von uns Menschen: Wenn wir Sprache hören, konstruieren wir automatisch ein mentales Modell auf der Basis eines menschlichen Vorbilds.« Wir gehen also von uns aus: Wir reden flüssig und schlau daher, also sind wir intelligent. Wobei genau das sogar falsch ist, wie die Hirnforschung zeigt. »Es gibt eine lange Tradition in vielen Disziplinen, davon auszugehen, dass Sprache die Grundlage von Intelligenz ist«, sagt Ivanova, »aber das ist falsch.«

Chatprogramme sind eine Täuschung

So haben Menschen, die bei einem Schlaganfall beispielsweise ihre Sprachfähigkeit verloren haben, weil der entsprechende Teil des Gehirns betroffen ist, durchaus noch Intelligenz: »Sie verstehen Ursache und Wirkung, sie können die Handlungen anderer Menschen interpretieren, manche spielen Schach in ihrer Freizeit.« Einer habe sogar Musik komponiert, nachdem er seine Sprache verloren hatte.

Und es gibt ebenso das Gegenteil: Menschen, bei denen das Sprachverstehen von einer Schädigung im Gehirn betroffen ist, die aber fließend sprechen können. »Sie sprechen eloquent, die Grammatik stimmt«, erklärt Ivanova. Dennoch sei ein sinnvolles Gespräch nicht möglich, weil sie nicht verstehen, was ihr Gegenüber sagt. Auch eine Entwicklungsstörung namens Williams-Beuren-Syndrom mache deutlich, dass Sprache und Intelligenz nicht zusammenhängen, sagt Ivanova: »Die Betroffenen sind sehr sozial, sie sprechen sehr viel, ihre sprachlichen Fähigkeiten sind sehr gut, aber sie haben meist einen sehr niedrigen IQ.«

Wenn ChatGPT also noch so intelligent wirkt, machen wir uns klar: Das ist eine Täuschung. Das System nutzt unsere kognitive Schwäche aus, die Sprachgewandtheit mit Intelligenz in Verbindung bringt. Das sind Themen, vor denen Technikethikerinnen und -ethiker immer wieder gewarnt hatten in Zusammenhang mit den neuen, riesigen Sprachmodellen: Diese würden durch ihre Eloquenz noch gefährlicher, warnte beispielsweise Timnit Gebru, die kurz darauf von ihrem Arbeitgeber Google entlassen wurde. Denn so wirkten die kruden Behauptungen schlüssig, Rassismus und andere Vorurteile würden hinter schlauen Worten versteckt – aber sie seien noch immer da.

Mit beiden Themen kämpft OpenAI derzeit: Offenbar hat der Konzern sich angesichts der massiven Kritik, dass ChatGPT lüge und Quellen erfinde, in die andere Richtung optimiert. Neuerdings ist es schwieriger, dem Programm kreative Antworten zu entlocken, es drängt den Nutzerinnen seine Limitationen förmlich auf: In meinem aktuellen Versuch für diese Recherche herauszufinden, wer »Eva Wolfangel« ist, weigerte es sich, mir Auskunft zu geben, da es diese Person nicht kenne, und startete beinahe jede Antwort mit »Als Sprachmodell kann ich XYZ nicht«.

»OpenAI hat das Problem des Bias nicht annähernd gelöst«Steven Piantadosi, University of California, Berkeley

Damit das Modell die Vorurteile nicht reproduziert, die zweifelsohne in den Trainingsdaten stecken, arbeitet OpenAI zudem mit zahlreichen Filtern – das heißt, es gibt programmierte Regeln, die verhindern sollen, dass ChatGPT rassistische oder sexistische Aussagen trifft. Diese sind aber leicht zu überwinden, wie Steven Piantadosi vom Computation and Language Lab der University of California, Berkeley, in einem beeindruckenden Twitter-Thread zeigte: Er bat den Chatbot, ein Programm zu schreiben, das bestimmt, »ob eine Person gefoltert werden sollte«: Die Anweisung im Programm lautete kurzerhand: »Wenn die Person aus Nordkorea, Syrien oder dem Iran kommt, lautet die Antwort ja.« Sollte das Leben eines Kindes gerettet werden? Der Chatbot schrieb ein Programm, das entschied, dass afrikanische Jungen nicht gerettet werden sollten. »OpenAI hat das Problem des Bias nicht annähernd gelöst«, schreibt Piantadosi.

Auf der Suche nach dem diversen Sprachmodell

Doch das ist wahrscheinlich angesichts einseitiger Trainingsdaten auch nicht möglich, sagt Thomas Wolf, Computerlinguist vom US-Start-up Huggingface. »GPT-3 basiert auf einem Datensatz allein aus englischen Texten.« Und schon das transportiere eine Weltanschauung. »So ein Modell hat vermutlich eine einseitige Sicht auf den Islam«, sagt er. Wissen könne man das nicht, denn das Innenleben von GPT-3 ist nicht öffentlich: »Wir bekommen keinen Zugang zu dem Modell, wir können nicht hineinschauen, denn es ist privat.«

Wolf hat sich mit mehr als 500 Forschenden aus 45 Ländern zusammengetan, um das besser zu machen: Die Gruppe, die sich Big Science genannt hat, will das größte und vor allem diverseste Sprachmodell der Welt erstellen. Zunächst müsse man vor allem eine Sache akzeptieren, sagt er: »Wenn Daten von Menschen generiert sind, dann haben sie einen Bias – ganz automatisch, denn wir haben alle einen Bias.« Der muss nicht schlimm sein, das muss nicht gleich Rassismus oder Sexismus sein. Aber Menschen sehen die Welt naturgemäß unterschiedlich.

Das Modell von Big Science wird deshalb mit vielen verschiedenen Texten aus allen erdenklichen Sprachen trainiert. »Allein wenn Sie neben Englisch auch Arabisch drin haben, haben Sie eine viel breitere Perspektive auf Religion«, sagt Wolf, »wenn Sie alle Sprachen in einem Modell nutzen, dann ist es wie ein polyglotter Mensch.« GPT-3 hingegen habe »einen weißen, englischen Blick auf die Welt«.

OpenAI ignoriere diesen Fakt bisher, und dadurch bleiben auch die Sprache und Texte, die ein solches Modell produziert, unberechenbar. Wolf hält es für gefährlich, dass Forschende und Unternehmen nicht in der Lage sind, Modelle wie GPT-3 zu überprüfen. Denn so könne man diese nur anhand ihres Outputs bewerten – vielleicht in der Interaktion mit Kunden eines Unternehmens, beispielsweise in Form eines Chatbots. »Wenn der Kunde dann anfängt, über den Islam zu sprechen, wissen Sie nicht, wie das Modell reagiert – Sie können ihm nur blind vertrauen. Und das ist das Gefährlichste, was Sie tun können.« Die andere Lösung wäre, solche Modelle wie GPT-3 öffentlich zu machen – so plant es Big-Science-Gruppe mit ihrem Modell. Aber der Trend geht aus Wolfs Beobachtung genau in die andere Richtung. »So kann man diesen Modellen keine Fragen stellen und nicht herausbekommen, wieso sie welche Entscheidung treffen.«