Als der Chatbot »Tay« von Microsoft vor einigen Jahren begann, selbstständig rechtsradikale und menschenverachtende Parolen auf Twitter zu verbreiten, war der Schreck groß: So also kann es gehen, wenn eine künstliche Intelligenz Textmaterial aus dem Internet nutzt, um sprechen zu lernen. Immerhin gelang es dem Bot ganz ohne menschliche Hilfe, einigermaßen gerade Sätze von sich zu geben. Seitdem hört man in den Medien viel von »Social Bots«, die scheinbar gezielt Desinformation in sozialen Netzwerken verbreiten.

Doch wer genauer recherchiert, stellt fest: Die Technologie hat es bislang kaum aus ihrem Nischendasein herausgeschafft. Maschinelles Lernen ist nach wie vor zu aufwändig und zu unzuverlässig, um wirklich überzeugende und glaubhafte Resultate in der Kommunikation mit Menschen zu produzieren. Hinzu kommt: Komplett automatisch gesteuerte Accounts sind technisch relativ einfach als solche zu erkennen, und die Netzwerke entfernen sie meist zügig – zumindest dann, wenn sie versuchen, zu manipulieren oder ihre Eigenschaft als Bot tarnen.

»Konversationsagenten sind noch nicht besonders gut«, sagt Lena Frischlich von der Universität Münster. Daraus sollte man aber nicht schließen, dass alle Inhalte in den sozialen Medien nur von authentischen Nutzern produziert und verbreitet werden: Gesteuerte Propaganda und gezielte Desinformationskampagnen gibt es in den sozialen Netzwerken trotzdem. Doch die Strategie der Angreifer hat sich geändert.

»Wir beobachten eine Trendwende hin zu Cyborg-Accounts«, sagt Darren Linvill, der sich an der amerikanischen Clemson University mit staatlichen Desinformationskampagnen beschäftigt. Unter solchen Accounts verstehen Forscher etwa Nutzerkonten, die von Social Bots gestartet und dann von Menschen übernommen werden.

Wie Gerüchte im Internet Aufwind bekommen

Linvill hat einige aktuelle Kampagnen untersucht. Zuletzt befasste er sich mit Postings, die unter dem Hashtag #DCBlackout auf Twitter veröffentlicht wurden. Basis der Beiträge ist ein Gerücht, laut dem Polizei und Geheimdienste in Washington D. C. das Internet großflächig mittels Störsendern lahmgelegt hätten, um Polizeigewalt gegen die Black-Lives-Matter-Demonstranten zu verschleiern. Dabei stieß er immer häufiger auf die neue Taktik.

Mit technischen Mitteln sei es sehr einfach, zu erkennen, wann der Wechsel von der Maschine zum Menschen stattfindet. So ändert sich nicht nur das Verhalten vom passiven Retweeten zum aktiveren Eingreifen. Auch der Client, über den der Nutzer schreibt, wechselt – also etwa die Browser basierte Twitter-Website, verschiedene Apps oder Programme, mittels derer sich mehrere Accounts beobachten und steuern lassen. Viel mehr möchte Linvill nicht verraten, um den Angreifern nicht zu viele Informationen an die Hand zu geben. Schließlich ist es wie immer ein Katz-und-Maus-Spiel zwischen Angreifern und Verteidigern, welche die automatisierten Accounts aufdecken und entfernen wollen.

Was genau geschehen ist, lässt sich im Einzelfall dennoch oft nur schwer nachvollziehen. Das zeigt auch das Beispiel von #DCBlackout. Irgendwann in der Nacht auf den 1. Juni 2020 startete das Gerücht. Eine der ersten Nutzerinnen, die den Hashtag verwenden, ist Marcie Berry: »Derzeit kommen KEINE INFOS aus DC. Keine Streams, keine Beiträge, Bilder oder Videos. Alle Streams haben gleichzeitig gestoppt« schreibt sie um 3.26 Uhr morgens auf Twitter über die Black-Lives-Matter-Proteste vor dem Weißen Haus. Für die junge Frau ist die Sache klar: Es ist der nächste Schritt der Eskalation durch die Polizei: »Sie fangen an zu töten und versuchen, dies durch Störsender zu verbergen.«

Innerhalb weniger Stunden explodierte der Hashtag – laut Linvill und Engler auch dank automatischer und möglicherweise bezahlter Troll-Accounts sowie mit Hilfe gehackter, »echter« Accounts. Insgesamt zählte Twitter in den ersten Stunden mehr als 500 000 Tweets von 35 000 Accounts zu diesem Hashtag. Als Alex Engler, der zu gesteuerten Fehlinformationskampagnen an der Brookings Institution in Washington forscht, morgens um acht Uhr sieht, was vor sich geht, und versucht, das Gerücht zu entkräften, ist es schon zu spät: Er wird von anderen Nutzern als ahnungslos bezeichnet.

Twitter hatte zu diesem Zeitpunkt erste, eindeutig automatisch betriebene Accounts gelöscht. Doch das verstärkte nur den Eindruck vieler Nutzer, kritische Stimmen würden mit allen Mitteln zum Schweigen gebracht. Obwohl der Hashtag erst wenige Stunden zuvor entstanden war, war er bereits um acht Uhr morgens nicht mehr aufzuhalten, und alle Versuche, Nutzer davon zu überzeugen, dass es sich um eine Falschmeldung handele, erschienen ebenso verdächtig.

Die ohnehin schon konfliktgeladene Stimmung sei dann auch von Social Bots ausgenutzt und bewusst angeheizt worden, ist sich Engler sicher: von automatischen Accounts, die Tweets mit dem Hashtag #DCBlackout retweeteten. »Denn wenn du als Nutzer siehst, dass ein solcher Tweet viele Interaktionen hat, vertraust du dem Inhalt eher.« Technisch sei das sehr einfach, »es ist eher kulturell ausgefeilt«. Bis heute ist unklar, wie viele wirkliche Social Bots in die Kampagne verwickelt waren. Aktuelle Erkenntnisse lassen darauf schließen, dass die Kampagne eher von Menschen verbreitet wurde, die zahlreiche unechte, erst kurz zuvor angelegte Accounts steuerten. Bots verstärkten den Effekt dann lediglich.

Ein Cent pro Like

Social Bots, die bestimmte Themen und Hashtags oder auch einzelne Tweets oder Posts verstärken, kann man günstig im Netz mieten. Das hat Lena Frischlich erfahren, als sie sich 2019 für ein Forschungsprojekt gezielt auf die Suche begab. »Im Internet werden offen so genannte Like-Generatoren angeboten«, sagt sie – ein Like kostet dabei rund einen Cent. Frischlich fand auch Miet-Botnetze, die man für 500 bis 600 Euro für drei Tage mieten kann und die dann beliebig das verbreiten, was ihr Auftraggeber verbreitet haben will. »Amplification Tools sind billig«, sagt Frischlich – also jene Programme, die automatisierte Accounts steuern, um bestimmte Inhalte zu verstärken. Die Tools folgen einer Marktlogik: Es gibt offenbar Bedarf nach Amplifikation.

Frischlich hält das einerseits für eine schlechte Nachricht, andererseits für einen Umstand, mit dem die Öffentlichkeit lernen muss zu leben und ihn kritisch mit einzubeziehen in die Bewertung von Inhalten auf Social Media: Nicht jeder Trend ist menschengemacht. Und selbst wenn Menschen dahinterstecken, sind die Inhalte nicht immer authentisch, wie ein Beispiel aus dem Bundestagswahlkampf 2017 zeigt. Frischlich und ihren Kollegen war während eines TV-Duells aufgefallen, dass reihenweise sehr neue Twitter-Accounts versuchten, den Hashtag #Verräterduell zu pushen, und sie fragten sich, ob es sich dabei um Social Bots handelte. Doch wie sich später herausstellte, hatten sich Rechte auf der »Reconquista Germanica«-Plattform in der Messenger-App »Discord« schlicht dazu verabredet, den Hashtag mit so vielen neu erstellten Accounts wie möglich zu pushen.

Linvill ist beeindruckt davon, wie psychologisch ausgefeilt die Unterstützer der #DCBlackout-Kampagne vorgingen: Denn nachdem sie das Gerücht in einer ersten Welle verbreitet hatten, entlarvten schließlich mutmaßlich die gleichen Kräfte das Gerücht als falsch. Dafür nutzten sie allerdings demonstrativ Social Bot Accounts und stets dieselbe Wortwahl.

Das Ziel: potenzielle Gegner, die die Kampagne aufdecken wollten, unglaubwürdig zu machen. Stattdessen würden sie das Thema nur unfreiwillig weiter nähren, erklärt Linvill: »Dieses Level an Zweifel zu schaffen, das ist ein brillanter, russischer Schachzug.« Allerdings ist sich der Forscher nicht sicher, ob wirklich Russland dahintersteckt. Es könnte auch einfach die Kopie einer russischen Strategie sein, die sich in der Vergangenheit als erfolgreich erwiesen hat, sagt er. Für deutsche Ohren klingt das ein wenig nach der nächsten Verschwörungstheorie: Warum sollte Russland – und wer genau dort? – den Konflikt in den USA anheizen?

Linvill hat die Aktivitäten von Social Bots und organisierten Desinformationskampagnen auf Twitter seit deren Anfängen untersucht, und er ist nach eigenen Aussagen dabei immer wieder auf die »Internet Research Agency (IRA)« gestoßen, eine so genannte Trollfabrik, die im Auftrag der russischen Regierung staatliche Desinformationskampagnen organisieren soll. Ihre Mitarbeiter kreieren in großem Stil automatisierte Accounts sowie händisch betriebene »Personas« in sozialen Netzwerken und verstärken Themen oder setzen neue Trends. (Der »New York Times«-Reporter Adrian Chen beispielsweise war 2015 vor Ort in St. Petersburg und hat mit ehemaligen IRA-Mitarbeitern gesprochen. )

Meinungsmache im Netz

Bereits vor der US-Präsidentschaftswahl 2016 hat Linvill verschiedene Kräfte identifiziert, die versuchten, Fehlinformationen in den USA zu streuen, beispielsweise über Salmonellen-Ausbrüche im Bundesstaat New York oder eine verheerende Explosion einer Chemiefabrik in Louisiana (wofür etwa alle Anwohner zusätzlich zur Twitter-Kampagne Textnachrichten erhielten und sogar einige Nachrichten-Websites originalgetreu nachgebaut worden waren). Möglicherweise ein Experiment der IRA, sagt Linvill – allerdings eines der weniger erfolgreichen. »Das war zu einfach zu überprüfen. Die Menschen vertrauen den klassischen Medien doch mehr, als sie zugeben«, sagt er. Zumindest taten sie es damals noch.

Anschließend arbeiteten die Angreifer daran, solche Kampagnen noch weiter zu verbessern, und testeten verschiedene Formen automatisierter Fehlinformation aus. Professionelle Bot-Jäger versuchten derweil, die entsprechenden Accounts aufzuspüren. Zumindest was rein automatisierte Accounts angeht, scheinen sie ihre Arbeit ganz gut gemacht zu haben: 2018 untersuchte Linvill zum Beispiel einen großen Datensatz von Accounts, die Twitter von der Plattform verbannt hatte: Darin waren drei Millionen Tweets von 3800 Accounts enthalten. In der Tat habe es sich bei fast allen um Social Bots gehandelt: »Lediglich ein Dutzend waren echte Menschen. Eine enorm niedrige Fehlerkennungsrate«, sagt Linvill. Die Konten, die der russischen IRA und iranischen Trollfarmen zugeordnet wurden, hatten unter anderem auch versucht, die Ansichten deutscher Nutzer zum Brexit zu beeinflussen; außerdem hatten viele der englischsprachigen Tweets die US-Wahl zum Thema.

»Keiner schaut am Ende, wer etwas geteilt hat. Was zählt, sind die Zahlen«
Darren Linvill, Clemson University

Dies alles darf nicht darüber hinwegtäuschen, dass vor allem leichtgläubige Menschen nötig sind, um eine solche Kampagne erfolgreich werden zu lassen. »Die Mehrheit sind am Ende immer echte, authentische Nutzer«, sagt Linvill. Die Angreifer nutzen dabei die menschliche Psyche aus: die Angst und die Wut der Demonstranten, das Misstrauen gegenüber Behörden, die Bereitschaft, etwas zu glauben, was bereits viele andere geteilt haben. »Keiner schaut am Ende, wer etwas geteilt hat. Was zählt, sind die Zahlen.« Dafür seien Bots nach wie vor gut.

Unterstützung von Popmusik-Fans aus Korea

Teilautomatisierte Accounts fangen oft an, »fremdzugehen«, wenn eine Kampagne beginnt, wie Linvill beobachtete. Dann widmen sie sich auf einmal einem Thema, über das sie sonst nicht geschrieben hätten. Viele dieser Konten seien beispielsweise als »K-Pop«-Accounts aufgebaut. Auf Twitter gibt es eine große Community, die sich über koreanische Popmusik austauscht. Hier ist es einfach für Bots, Material zu finden und zu retweeten: Songtexte zum Beispiel, die auch von echten Menschen geteilt werden. Sobald sich ein Thema anbahne wie #DCBlackout, würden solche Accounts, die bis dahin unerkannt Unwichtiges posteten und deshalb nicht weiter auffielen, von Menschen gesteuert auf diese Themen aufspringen, erklärt der Forscher.

Neuerdings engagieren sich viele dieser K-Pop-Accounts stark für die Black-Lives-Matter-Bewegung. Das macht Wissenschaftler wie Linvill nervös. Die Black Lives Matter Global Network Foundation sei sich sehr wohl bewusst, dass ihre Arbeit von anderen instrumentalisiert werde, sagte Direktorin Kailee Scales dem CNN: »Wir werden das nicht geschehen lassen.«

Andererseits könnte die Solidarität der K-Pop-Community echt sein: Auch Menschen, die auf Twitter sehr gut vernetzt sind, haben schon den ein oder anderen Hashtag gekapert. Das zeigt ein Beispiel, auf das unter anderem die Anthropologin Gabriella »Biella« Coleman von der McGill University aufmerksam machte. Ihr war ein Muster in den Tweets zur Black-Lives-Matter-Bewegung aufgefallen, das sie zunächst vermuten ließ, hier sei ein Trend künstlich verstärkt worden. Der freie Journalist Justin Ling war schon einige Tage zuvor auf auffällige Häufungen von K-Pop-Tweets zu Rassismusthemen gestoßen und hatte ebenfalls eine aktive Verstärkung durch Social Bots vermutet. Doch: »Das scheint nicht der Fall«, schreibt er schließlich. »Es ist durchaus möglich, dass einige Bots verwendet wurden, um diese Geschichte zu verstärken, aber es scheint tatsächlich, dass es eine bedeutende Anzahl von K-Pop-Fans gibt, die sich aktiv mit BLM-Themen beschäftigen.«

Linvill hat beobachtet, wie diese Community kürzlich den Hashtag #WhiteLivesMatter amerikanischer Rechter kaperte und einfach umdeutete: »Sie sprechen sich im Hintergrund auf anderen Plattformen ab und schlagen dann gleichzeitig zu.« Seitdem sind die rassistischen Beiträge, die unter diesem Hashtag gepostet wurden, verschwunden.

Mensch oder Maschine? Wer einen Trend auslöst, lässt sich nicht immer sagen

Im Einzelfall herauszufinden, »was wirklich war«, sei meist unmöglich, erklärt der Forscher: »Verschwörungstheorien verbreiten sich auch auf organische Weise; es gibt Menschen mit seltsamen Ansichten, und wenn sie dann durch den Twitter-Algorithmus verstärkt werden, sieht es unauthentisch aus, kann aber durchaus real sein. Das macht unsere Arbeit sehr viel schwieriger.«

»Wir müssen uns von dem Gedanken verabschieden, dass hinter jedem einzelnen Like ein Mensch steckt«, sagt Lena Frischlich. Wenn es um gezielte Desinformationskampagnen geht, steuert ein Mensch oft viele Accounts, und aus echten Personen werden Personas. Nachweisen lässt sich das häufig nur schwer – zumindest ohne geheimdienstliche Methoden. »Entscheidend ist: Wer versucht zu manipulieren?« Nicht: Wer ist ein Social Bot.

»Sicher ist nur: Es gibt diese Gelegenheitsstruktur im Netz«, sagt Frischlich. »Sie folgt einer Marktlogik und ist günstig und einfach einzusetzen. Und es ist jedem klar, dass hybride Kriegsführung inzwischen zum Geschäft gehört.« Amerikaner Linvill, der davon überzeugt ist, dass hinter vielen der großen Desinformationskampagnen die Russische Internet Research Ageny steckt, bestätigt: Auch seitens des US-Militärs gebe es großes Interesse an der entsprechenden Technologie. Auch, weil diese Art der feindlichen Einflussnahme vergleichsweise wenig kostet: »Das gesamte IRA-Budget beträgt nur einige Zigmillionen«, sagt Linvill. »Ein durchschnittliches amerikanisches Kampfflugzeug kostet 300 Millionen.« Es wäre naiv zu glauben, dass die günstige Gelegenheit zu systematischer Manipulation nicht genutzt wird.