Mehr als 350 000 computergesteuerte Profile eines einzelnen Betreibers haben Forscher des Londoner University College auf Twitter entdeckt. Es ist eines der größten, wenn nicht das größte Netzwerk an Social Bots, das bisher enttarnt worden ist. Diese Bot-Armee ruht zwar zurzeit, das heißt, ihre Mitglieder versenden keine Tweets. Aber das kann sich jederzeit ändern, warnen die Forscher.

Die Bots schickten lediglich jeweils einige Nachrichten im Juni und Juli 2013, "nicht zu viele und nicht zu wenige, um nicht aufzufallen", wie Juan Echeverria und Shi Zhou schreiben, ihre Tweets bestanden aus Zitaten aus Star-Wars-Büchern, die offenbar automatisch ausgewählt wurden. Dadurch verwendeten sie natürliche menschliche Sprache, was ihre Tarnung perfektioniert: Automatische Erkennung wird so noch schwieriger. Allerdings begannen oder endeten viele der Tweets mit einem unvollständigen Wort, zudem waren Hashtags offenbar beliebig vor einige Begriffe gesetzt worden, wie in diesem Tweet beispielsweise: "Luke’s answer was to put on an extra burst of speed. There were only ten meters #separating them now. If he could cover t"

Die Forscher hatten sich mit automatisierten Accounts beschäftigt und waren dabei mehr oder weniger zufällig auf das Netzwerk gestoßen. Ihnen fielen Accounts auf, die Nachrichten mit seltsamen Ortsangaben verschickten: Manche der Sender schienen sich beispielsweise mitten auf dem Ozean aufzuhalten oder fernab der Zivilisation in einer Wüste. Bot-Netze verwenden häufig zufällige Ortsdaten, um die Profile echter erscheinen zu lassen. So wirkt es, als kämen die Nachrichten von einem realen Ort. Auf hoher See wird allerdings dann doch eher selten getwittert. Als sie sich die Accounts genauer anschauten, fiel zudem auf, dass alle Nachrichten von einem Windows-Telefon verschickt wurden.

Die dunkle Seite von Twitter

Die Forscher suchten daraufhin anhand dieser Merkmale nach weiteren Bots des Netzwerkes, das sie "Star-Wars-Botnet" tauften, indem sie in den Tweets nach Begriffen aus Star Wars suchten und sich auf Profile konzentrierten, die weniger als zehn Follower hatten und weniger als 31 anderen folgten. 3000 solche auf manuellem Weg gefundene Profile nutzten sie schließlich als Trainingsdaten für eine KI, die darin Gemeinsamkeiten in der Wortwahl entdecken sollte. Als Vergleich dienten 9000 Profile realer Nutzer. Der Klassifikator – ein Algorithmus, der besonders gut Muster in Daten erkennt und diese in Gruppen sortiert – hatte zuvor erfolgreich Spam-Mails detektiert. Nach einigen computerlinguistischen Anpassungen erreichten sie eine Genauigkeit von mehr als 99 Prozent, mit der der Algorithmus die Bots des Star-Wars-Netzwerks von echten Nutzern unterscheiden konnte.

Noch gebe es viel zu wenig Forschung, argumentieren die Londoner Wissenschaftler, um wirklich zu verstehen, welche Gefahr von derart großen, versteckten Bot-Netzen ausgehe. Sie vermuten allerdings, dass die Star-Wars-Accounts auf dem Schwarzmarkt äußerst wertvoll sind: Da sie seit Längerem nicht aktiv sind, fallen sie auch den Erkennungsalgorithmen von Twitter selbst nicht auf, weil von ihnen gerade keine verdächtigen Aktivitäten ausgehen. Insgesamt scheint der unbekannte Bot-Master einiges getan zu haben, um die bisherigen Erkennungsmethoden zu umgehen: Seine Bots nutzen natürliche Sprache, sie nennen in ihren Tweets keine URLs, sie schickten nicht zu viele Nachrichten und folgen nicht zu vielen anderen, sie erwähnen in ihren Tweets keine anderen Nutzer, und einige von ihnen haben echte Profilbilder. "Es scheint so, als ob die Star-Wars-Bots bewusst entworfen wurden, um viele der Heuristiken zu umgehen, die früheren Bot-Erkennungsmethoden zu Grunde liegen", schreiben die Forscher.

Juan Echeverria und Shi Zhou glauben, dass die Bots als Follower verkauft werden sollen, um andere Accounts einflussreicher erscheinen zu lassen. Je mehr Follower ein Nutzer hat, umso höhere Reichweiten erreichen seine Tweets – auch weil der Twitter-Algorithmus ihn als einflussreicher einstuft. "Der Bot-Master kann die 350 000 Bots jederzeit reaktivieren", schreiben sie – und dann können diese beispielsweise Twitter-Trends und Meinungen manipulieren. "Der Fakt, dass die Bot-Armee so groß ist, macht die potenziellen Gefahren sehr ernst – vielleicht sogar ernster als alles, was wir bisher gesehen haben."

Politische Bots versuchen, Trends zu setzen

Wie politische Bots funktionieren, hatte Emilio Ferrara von der University of Southern California kurz vor der US-Wahl gezeigt: Er hatte mit Kollegen 20 Millionen Tweets von September und Oktober 2016 analysiert, deren Inhalt mit der Wahl zusammenhing. 3,8 Millionen von ihnen waren laut der Analysen der Forscher von Social Bots geschrieben worden. Fast 20 Prozent aller Tweets zur US-Wahl verfassten also Maschinen und nicht Menschen.

Während derzeit die Bestürzung vor allem über Falschmeldungen auf Facebook groß ist, die immerhin von Menschen verfasst worden sind, steht die Frage im Raum, inwiefern Bots angesichts ihrer schieren Masse die öffentliche Meinung stärker beeinflussen – unabhängig davon, ob sie wahre oder falsche Nachrichten verbreiten. "Social Bots manipulieren die Trends in sozialen Netzwerken, und diese Trend fließen in politische und wirtschaftliche Entscheidungsprozesse ein", davon ist Simon Hegelich überzeugt. Der Professor für politische Datenwissenschaft an der Münchener Hochschule für Politik hat ähnlich alarmierende Erkenntnisse wie sein US-Kollege gemacht: Er deckte eine Bot-Armee von 15 000 Twitterern auf, die sich mit dem Ukraine-Konflikt beschäftigten und die pro Tag 60 000 antirussische Tweets posteten.

Während die Star-Wars-Bots noch nur sehr rudimentär menschliches Verhalten imitierten, werden ihre Nachfolger darin immer besser: "Social Bots fangen an, menschliches Verhalten zu adaptieren, sie simulieren sogar einen menschlichen Tagesablauf mit Essens- und Schlafpausen", sagt der Sozialwissenschaftler Andre Thieltges von der Uni Siegen, "sie sind immer schwieriger von menschlichen Nutzern zu unterscheiden". Aber sobald Menschen auf sie hereinfallen und mit ihnen interagieren, werden sie für die automatische Erkennung noch schwieriger zu identifizieren, da "einfache" Bot-Netze meist nur untereinander agieren und sich gegenseitig folgen. Auf Grund der Erfolge der künstlichen Intelligenz und der maschinellen Sprachverarbeitung können sie zunehmend sinnvolle Gespräche auf vergleichsweise hohem Niveau führen. US-Forscher Ferrara berichtet dazu von einem Selbsttest, in dem er versuchte, Accounts klar Mensch oder Maschine zuzuweisen: "Es ist unglaublich schwierig."

Und auf technische Hilfe kann man in Zukunft wohl kaum hoffen: Während sowohl die Londoner Forscher als auch Hegelich die Bot-Armeen noch anhand relativ eindeutiger Merkmale erkennen konnten, arbeiten Entwickler bereits an einer besseren Tarnung für Bots – damit sind sie den Erkennungsprogrammen stets einen Schritt voraus. "Es ist ein Hase-und-Igel-Spiel", sagt der Politikberater Martin Fuchs, "Bot-Entwickler sind immer schneller und besser, auch weil weniger Geld in die Wissenschaft fließt." Thieltges und seine Kollegen wollten ursprünglich eine App entwickeln, die Nutzern hilft, Bots zu erkennen. "Aber wir haben den Gedanken verworfen, weil das ganze Setting zu dynamisch ist." Eine Art Spamfilter für Social Bots wird es aus seiner Sicht auch in Zukunft nicht geben.

Bots aus dem Bundestag

Schon heute beobachtet Fuchs in der deutschen Politik viele Fake-Profile, allen voran ein Twitteraccount, der vermeintlich zum Deutschen Bundestag gehört und Aktuelles aus dem Bundestag twittert – scheinbar harmlos. Alle Fraktionen folgen diesem Account und auch viele Journalisten, obwohl niemand weiß, wer dahinter steckt. "Das ist aktuell kein Problem", sagt Fuchs, "aber es könnte eines werden, wenn diese 27 000 Follower instrumentalisiert werden würden."

Was die Zukunft angeht, sind auch die Londoner Forscher nicht sonderlich optimistisch: Die Entdeckung des Star-Wars-Netzwerks sei nur möglich gewesen, weil der Bot-Master trotz seiner Kreativität, bisherige Erkennungsmethoden zu umgehen, Fehler gemacht habe. Star Wars als einzige Quelle für die Tweets habe es leicht gemacht, einen Mustererkennungs-Algorithmus zu trainieren. Der Versuch, durch geogetaggte Tweets besonders authentisch zu erscheinen, sei nach hinten losgegangen, da der zufällige Mechanismus Orte mitten im Meer ausgewählt habe. "In der Tat können zukünftige Bots Lehren aus jedem neuen Erkennungsverfahren ziehen", schreiben die Forscher. Es werde unweigerlich immer schwieriger, zukünftige Bot-Netze zu erkennen.

Noch allerdings können sie mit ihren Suchverfahren nach weiteren versteckten Bot-Netzen fahnden. Und angeblich sind sie bereits ein weiteres Mal fündig geworden: 500 000 Mitglieder zählt das größte Netz, das sie seitdem entdeckt haben wollen. Noch ist der Fund inoffiziell, aber "darüber berichten wir bald", sagen die Forscher. Die Bot-Jagd geht weiter.