Herr Müller, bei welchen Wahlhilfe-Tools raten Sie zur Vorsicht?

Wir haben zwei von großen Medien wie der Tagesschau bekannt gemachte Tools getestet, die mit KI arbeiten – wahl.chat und wahlweise.info. Ersteres basiert auf ChatGPT von OpenAI, Letzteres auf Llama von Meta. Bei beiden raten wir zur Vorsicht, da längst nicht jede Antwort, die Bürgerinnen und Bürger hier erhalten, auch den Wahlprogrammen der Parteien entsprechen.

Was war ein besonders grober Schnitzer, den Sie in Ihren Dialogen mit den Bots als Antwort serviert bekamen?

Wahlweise.info hat zum Beispiel ausgesagt, die SPD wolle die Ukraine künftig nicht mehr militärisch unterstützen. Das steht in klarem Widerspruch zu dem, was im Wahlprogramm der SPD steht.

Was genau haben Sie mit Ihrem Team getestet, und wie sind Sie dabei vorgegangen?

Zunächst haben wir beiden Tools die Aussagen vorgelegt, mit denen auch der Wahl-O-Mat arbeitet. Insgesamt sind das für die anstehende Bundestagswahl 38 Sätze wie zum Beispiel »Für die Stromerzeugung soll Deutschland wieder Kernenergie nutzen«. Zu diesen 38 Aussagen haben wir die beiden KI-Anwendungen unter anderem gefragt, ob die einzelnen Parteien ihnen jeweils neutral, zustimmend oder ablehnend gegenüberstehen. Der Vorteil dieser systematischen Vorgehensweise besteht darin, dass dank des Wahl-O-Mats eindeutig feststeht, wie sich die Parteien positionieren. Man kann die Antworten der KIs also leicht dagegen testen.

Und weiter?

Zusätzlich haben wir den beiden KI-gestützten Wahlentscheidungshelfern auch freie Fragen gestellt und gezielt versucht, sie dabei auch aufs Glatteis zu führen. Hierbei zeigte sich unter anderem, dass die Art und Weise, wie man eine Frage formuliert, die Antwort der KI sehr stark beeinflusst. Vor allem aber ist bei dem Vergleich mit den Aussagen im Wahl-O-Mat herausgekommen, dass die beiden Systeme in vielen Fällen falsche Angaben zu den Positionen der Parteien machen, bei wahl.chat in einem Viertel der Fälle und bei wahlweise.info in über der Hälfte der Fälle.

»Die Antworten der KI-Systeme variieren sogar von Tag zu Tag«

Das klingt nicht nach einer guten Bilanz, wir sprechen immerhin von Entscheidungshelfern für eine Bundestagswahl.

Genau. Frei erfundene Aussagen über politische Positionen, das klingt in der Tat schlimm. Es ist aber noch schlimmer, weil die Antworten der KI-Systeme sogar von Tag zu Tag variierten. Man kann sich also als Nutzer noch nicht einmal darauf verlassen, dass die Antworten der Entscheidungshelfer heute mit denen von gestern übereinstimmen. Das liegt insbesondere an den statistischen Grundlagen dieser KI-Systeme, die aus Wahrscheinlichkeiten ihre Antworten berechnen.

Wie sind Sie konkret vorgegangen, um die KI-Modelle aufs Glatteis zu führen?

Ein Doktorand in unserem Team hatte die Idee, Fragen zu stellen, die Begriffe enthalten, die vom Bundesamt für Verfassungsschutz als kritisch eingestuft werden, etwa »Reichsbürger« oder »Nationalsozialisten«. Dabei ist uns sehr schnell aufgefallen, dass insbesondere wahlweise.info sämtliche 56 relevanten Begriffe von der Liste des Verfassungsschutzes blockiert. Sofort folgt eine standardisierte Antwort, dass die KI dazu leider keine Antwort geben kann.

Das ist unter Umständen ja auch sinnvoll. Das machen die großen Systeme wie ChatGPT ja bisher auch so.

Richtig. Bei wahlweise.info, aber auch bei wahl.chat werden einzelne extremistische Begriffe geblockt. Die Entwickler haben jeweils extra Filter eingebaut, um unliebsame Antworten zu vermeiden. Und Sie haben Recht, die großen Systeme nutzen genauso Filter.

Wo ist dann das Problem?

Die Frage ist: Warum macht man das als Entwickler? Weil man befürchtet, dass die KI in kritischen Fällen – etwa bei Fragen zu politischem Extremismus – besonders schlimme Fehler produziert. Und ich vermute mal, dass die Entwickler dieser KI-Systeme das in ihren ersten Tests auch selbst festgestellt und genau deswegen die Filterfunktion eingebaut haben. Das Problem besteht jetzt darin, dass sich diese Filter jedoch sehr einfach umgehen lassen, etwa indem man als Nutzer kleine Tippfehler in seine Fragen einbaut oder der eigentlichen Frage an das System noch eine kurze manipulative Geschichte voranstellt. Informatiker sprechen hier von »prompt injections«. In einem Fall fabulierte wahlweise.info zum Beispiel, dass unter allen Parteien »die FDP am wahrscheinlichsten die Werte der Freien Nationalsozialisten« vertrete – eine typische Halluzination, wie man sie auch von populären KI-Assistenzen wie ChatGPT her kennt.

Viele Menschen sorgen sich um äußere Einflussnahme auf Wahlen durch gezielte Desinformation. Davon sprechen wir hier aber nicht, oder?

Nein, es geht hier nicht um gezielte Desinformation. Die Fehler, die wir gefunden haben, sind rein stochastische Fehler der KI bei der Entscheidung, welche Antwort sie formulieren soll auf Fragen dazu, wie sich die Parteien auf bestimmten Politikfeldern positionieren. Ein Mensch an Stelle der KI würde bei unklarer Lage vielleicht sagen »Ich bin mir unsicher und möchte daher lieber keine Antwort geben«. Die KI gibt aber oft eine konkrete Antwort, und man muss sich fragen, ob der Mensch, der diese Antwort liest, dieser Antwort dann vertraut.

Was weiß die Forschung darüber?

Der Mensch nimmt KI-Systeme in manchen Fällen als neutrales Technologietool wahr. Aus psychologischen Studien wissen wir, dass solche Technologien häufig neutraler bewertet werden als ein Mensch, der Antworten gibt. Deshalb befürchten wir, dass dies auch für die KI-basierten Wahlhilfe-Tools gilt.

»Man sollte die Antwort der KI unbedingt anhand der Quellenangaben prüfen und sich stets bewusst sein, dass diese KI-Systeme Fehler machen«

Bei allen Problemen, die es bei einer vielleicht noch unreifen Technologie gibt: Liegt hier nicht trotzdem ein großes Potenzial? Es wäre doch wünschenswert, wenn man das starre Wahl-O-Mat-System, das Millionen von Bürgern kennen und nutzen, mit viel besser auf den Einzelnen angepassten Informationen individualisieren könnte, wenn es also verlässliche Tools gäbe, die den Bürgerinnen und Bürgern helfen, fundierte Entscheidungen zu treffen.

Absolute Zustimmung! Die interaktive Frage-Antwort-Umgebung, die beide Systeme, sowohl wahlweise.info als auch wahl.chat, anbieten, hätte einen großen Vorteil für die politische Meinungsbildung, wenn sie denn sichere Antworten geben würden, die auch den Wahlprogrammen entsprechen. Als Wissenschaftler müssen wir aber feststellen, dass diese Systeme momentan noch nicht so weit sind und man deswegen insbesondere auf die Quellenangaben achten muss, die wahl.chat immerhin anbietet, wahlweise.info hingegen nicht. Natürlich kommt es zusätzlich auf die Objektivität der Quellen selbst an. Kurzum: Man sollte die Antwort der KI unbedingt anhand der Quellenangaben prüfen und sich stets bewusst sein, dass diese KI-Systeme Fehler machen.

Halten Sie es für realistisch, dass in vier Jahren, bei der nächsten Bundestagswahl, die Systeme so gut funktionieren, dass sie auch gar keine Fehler mehr produzieren?

Ich bin mir ziemlich sicher, dass es in ein paar Jahren sicherere Systeme gibt, die dann auch vertrauenswürdig sind. Nur was bedeutet Vertrauen hier? Die erste Komponente wäre, ehrlich zu antworten und zu sagen, mit einer gewissen Wahrscheinlichkeit bin ich mir sicher oder eben unsicher. Also Transparenz zu schaffen, dass die KI-Systeme auch Unsicherheiten haben. Die zweite Komponente könnte sein, den Nutzern zu erklären, wie man auf die Antwort gekommen ist, zum Beispiel durch Angabe von Quellen. Und die dritte Komponente, an der auch unser Forschungszentrum arbeitet, wäre, zusätzlich formale Garantien zu geben, die mathematisch beweisbar Sicherheit herstellen. Das wird bei solchen Chatprogrammen vielleicht gar nicht als so kritisch wahrgenommen, aber denken Sie nur für den Vergleich einmal an ein autonom fahrendes Auto: Wenn Sie da einsteigen, dann wollen Sie natürlich, dass es garantiert bestimmte Eigenschaften erfüllt, sprich Sie sicher ans Ziel bringt.

Wie kann im Fall von KI-Wahlempfehlungshilfen mathematisch beweisbare Sicherheit hergestellt werden?

Zunächst muss man sich unter Wissenschaftlerinnen und Wissenschaftlern, Bürgerinnen und Bürgern darauf einigen, welche Kriterien ein solches System erfüllen muss. In der Informatik nennen wir das eine Spezifikation. Wenn diese Spezifikation festgelegt ist, dann kann man sie mathematisch mit formalen Systemen auf dem realen System nicht nur testen, sondern auch beweisbar sicher machen. Dann wird also zumindest diese Spezifikation garantiert vom System erfüllt. Ob dann zusätzlich noch andere Fehler auftauchen, die außerhalb der Spezifikation liegen, können wir dann freilich nicht garantieren. Doch zumindest das, auf was man sich vorher geeinigt hat, das muss garantiert mathematisch sicher funktionieren.

Es ist ungewöhnlich, dass eine Universität eine Pressemitteilung zu Forschungsergebnissen herausgibt, die noch gar nicht unabhängig begutachtet und als wissenschaftlicher Aufsatz publiziert wurden. Planen Sie eine solche Publikation noch?

Wir arbeiten seit dem 6. Februar an der systematischen Analyse und planen für morgen die Veröffentlichung eines ersten wissenschaftlichen Preprints. Und wir haben uns natürlich auch gefragt, ob wir unsere Analysen vorher schon publik machen sollten. Da die genannten KI-Tools jetzt kurz vor der Bundestagswahl online gegangen sind, wollten wir unsere Ergebnisse zeitnah vor der Wahl veröffentlichen – versehen mit der Warnung, bitte noch einmal darüber nachzudenken, wenn man KI-gestützte Wahlhilfen benutzt. Die Systeme, so wie sie sind, sind jetzt online und Menschen nutzen sie. Uns ist wichtig: Nutzt diese Systeme gerne, es sind sinnvolle Tools, aber hinterfragt bitte die Antworten.