KI-Modelle wie ChatGPT oder Llama werden immer stärker genutzt – und damit wächst die Menge an KI-generierten Inhalten im Internet. Fast täglich trifft man inzwischen auf KI-generierte Blogs, Bilder und andere Daten. Welche Auswirkungen das hat, ist bisher nicht abzusehen. Doch ein Forschungsteam um den Informatiker Ilia Shumailov von der University of Oxford hat nun herausgefunden, dass die KI-generierten Inhalte verheerende Folgen für die Modelle selbst haben können. Ihre Ergebnisse haben die Forschenden im Fachjournal »Nature« veröffentlicht.

Um realistische Inhalte zu erstellen, suchen KI-Modelle nach statistischen Mustern in großen Datenmengen. Dafür werten sie Terabytes von Artikeln, Chatforen, Blogbeiträgen und Bildern aus dem Internet aus. Aber was passiert mit den Programmen, wenn diese Trainingsdaten selbst von einer KI erzeugt wurden? Shumailov und seine Kollegen haben gezeigt, dass große Sprachmodelle irgendwann »zusammenbrechen«, wenn sie auf ihre eigenen Inhalte stoßen: Trainiert man ein KI-System immer wieder mit seinen eigenen Ausgaben, produzieren die Algorithmen nach wenigen Zyklen nur noch Unsinn.

Grund dafür ist, dass die Modelle die selten vorkommenden Bestandteile des ursprünglichen Trainingsdatensatzes nach und nach vergessen. Angenommen, ein Algorithmus soll Bilder von Hunden erzeugen. Das Programm wird die in den Trainingsdaten am häufigsten vorkommenden Hunderassen öfter nachbilden, so dass beispielsweise Golden Retriever im Vergleich zum Kleinen Basset Griffon Vendéen überrepräsentiert sind. Wenn nachfolgende Systeme mit diesem KI-generierten Datensatz trainiert werden, verstärkt sich das Problem. Nach mehreren Zyklen mit überrepräsentierten Golden Retrievern vergessen die Programme irgendwann, dass es Hunderassen wie den Kleinen Basset Griffon Vendéen überhaupt gibt, und liefern nur noch Bilder von Golden Retrievern. Am Ende bricht das Modell komplett zusammen und ist nicht mehr in der Lage, sinnvolle Inhalte zu erzeugen.

Eine Welt voller Golden Retriever

Auch wenn eine Welt voller Golden Retriever für manche gar nicht so schlecht klingen mag, kann dieser Effekt negative Konsequenzen haben – vor allem, wenn es um die Erzeugung von Texten geht. Falls KI-generierte Inhalte in den Trainingsdaten enthalten sind, erzeugen KI-Modelle vermehrt bekannte Konzepte oder Ausdrücke. Die Modelle können seltene Elemente in ihren Trainingsdaten übersehen, wodurch sie die Komplexität und Nuancen der realen Welt nicht mehr wiedergeben. Auf diese Art könnten unterrepräsentierte Gruppen oder Standpunkte von Minderheiten weniger stark vertreten sein – oder möglicherweise ganz fehlen. Die Forschungsgruppe um Shumailov betont, dass solche seltenen Konzepte oder Ausdrücke in den Daten oft diejenigen sind, die für marginalisierte Gruppen am relevantesten sind. Um einen ethischen Umgang mit KI zu gewährleisten, muss daher zuallererst sichergestellt werden, dass die Systeme unsere Welt tatsächlich modellieren können.

Wasserzeichen sind kein Allheilmittel

Das Problem ließe sich mit Wasserzeichen zumindest entschärfen, erörtern Shumailov und sein Team. Dabei handelt es sich um unsichtbare, aber leicht zu erkennende Signale, die man in KI-generierte Inhalte einbettet. Entsprechend gekennzeichnete Daten könnte man somit leicht aus Trainingsdatensätzen entfernen. Kommerzielle KI-Anbieter wie Meta, Google oder OpenAI nutzen solche Wasserzeichen bereits.

Allerdings ist diese Vorkehrung kein Allheilmittel. Zunächst einmal erfordert eine gemeinsame Nutzung von Wasserzeichen eine umfangreiche Zusammenarbeit von KI-Unternehmen, was nicht immer praktikabel ist. Zudem leiden derartige Bemühungen unter einer Art Gefangenendilemma: Wenn Unternehmen A Informationen über seine Wasserzeichen zurückhält, könnten die von ihm generierten Inhalte zum Trainieren des Modells von Unternehmen B verwendet werden, was zum Scheitern von B und zum Erfolg von A führt. Daher könnten sich KI-Anbieter dafür entscheiden, die Ausgabe ihrer Modelle nicht mit Wasserzeichen zu versehen. Außerdem haben Forschende 2023 herausgefunden, dass sich Wasserzeichen recht einfach aus KI-generierten Bildern entfernen lassen.

Wie sieht es in der Realität aus?

Das Team um Shumailov hat in der aktuellen Arbeit bloß KI-Modelle zur Texterzeugung untersucht. Es wäre interessant herauszufinden, ob die beschriebenen Probleme bei anderen generativen KI-Systemen ebenfalls auftreten, einschließlich multimodaler Programme wie GPT-4o, die Bilder, Text und Audio erzeugen. Zudem haben die Forschenden nicht berücksichtigt, was passiert, wenn man Modelle mit Daten anderer KI-Systeme trainiert. Das würde ein realistischeres – und deutlich komplizierteres – Ergebnis liefern, da das Internet voll von Daten unterschiedlicher KI-Algorithmen ist. Falls das Problem auch in diesem Szenario bestehen bleibt, muss man herausfinden, was genau den Zusammenbruch der Modelle verursacht.

Wie Shumailov und sein Team anmerken, haben die ersten KI-Firmen auf dem Markt offenbar einen Vorteil. Denn sie bezogen die Trainingsdaten aus dem Internet in einer Prä-KI-Ära und verfügen daher womöglich über KI-Modelle, welche die reale Welt besser abbilden. In den kommenden Monaten wird sich zeigen, ob diese Vermutung zutrifft. Unterdessen wird das Internet immer weiter mit KI-generierten Inhalten geflutet.