In den vergangenen Wochen und Monaten haben sich die Ereignisse bei der Digitalgesetzgebung der EU überschlagen: Verschiedene Entwürfe und Gesetze befinden sich derzeit in unterschiedlichen Stadien auf dem Weg durch die Gesetzgebungsverfahren, um künftig unsere Interaktionen im Internet zu beeinflussen. Darunter der Digital Marketing Act DMA und der Digital Services Act DSA, die die großen Plattformen wie Facebook und Twitter regulieren sollen und die von vielen Fachleuten generell begrüßt werden – auch wenn häufig beklagt wird, dass sie in letzter Sekunde unter anderem durch den Einfluss von Lobby-Organisationen dieser Plattformen abgemildert worden seien.

Deutlich kritischere Stimmen gibt es hingegen beim jüngsten Vorstoß der europäischen Gesetzgebung: dem Entwurf der EU-Kommission für die so genannte Chat-Kontrolle, der vorsieht, private Messenger-Nachrichten nach strafbaren Inhalten zu durchsuchen.

DMA und DAS: ein neues Grundgesetz für das Internet

Der DMA nimmt vor allem den Wettbewerb ins Visier und soll dafür sorgen, dass große Konzerne wie Google, Microsoft und Facebook nicht zu viel Marktmacht erhalten. Als Folge des DMA, der Ende des Jahres rechtskräftig werden soll, sollen Nutzende künftig mehr »echte« Entscheidungsfreiheit haben und dürfen nicht von den Anbietern in deren Ökosysteme gezwungen werden. So darf beispielsweise ein Smartphone mit dem Betriebssystem Android von Google nicht mehr automatisch Googles Browser Chrome als Standardbrowser voreingestellt haben. Auch die Nutzung von Daten und das Zusammenführen riesiger Datensätze sollen erschwert und von der Zustimmung der Betroffenen abhängig gemacht werden.

Beim DSA geht es darum, wie die großen Plattformen Schäden von der Gesellschaft abwenden können, die unter anderem aus ihrem Geschäftsmodell resultieren. Künftig müssen die Unternehmen deshalb darlegen, wie ihre Algorithmen das beeinflussen, was Nutzer zu sehen bekommen. Außerdem müssen sie darauf reagieren, wenn gefährliche Inhalte geteilt werden, und erklären, nach welchen Kriterien sie Beiträge löschen.

»Wir haben die vergangenen 15 Jahre gesehen, dass es nicht ausreicht, die Plattformen alleine zu lassen«Matthias Kettemann, Jurist

DSA und DMA seien ein »riesiger Schritt in Richtung fairere Märkte und bessere Onlineplattformen«, erklärt Matthias Kettemann, der Leiter des Forschungsprogramms »Regelungsstrukturen und Regelbildung in digitalen Kommunikationsräumen« am Leibniz-Institut für Medienforschung, Hans-Bredow-Institut (HBI) in einem Pressegespräch des Science Media Center. »Man liest von einem neuen Grundgesetz für das Internet«, sagt er – und in der Tat handle es sich um eine neue Qualität der Regulierung, die auf aktuelle Herausforderungen eingehe.

»Wir haben die vergangenen 15 Jahre gesehen, dass es nicht ausreicht, die Plattformen alleine zu lassen«, sagt Kettemann. So bräuchten Konzerne wie Facebook und Twitter stärkere Vorgaben, wie sie mit Inhalten umgehen – insbesondere jene, die nicht ausdrücklich illegal sind. Das sei der größte und wichtigste Schritt der DSA: Denn auch legale Inhalte können schaden, beispielsweise eine geleakte Information, die direkt vor einer Wahl durchsickert oder Hassnachrichten – vor allem, wenn sie von den Empfehlungsalgorithmen der sozialen Netzwerke verstärkt werden. Das könne schädliche Folgen für die Gesellschaft haben, weshalb die Plattformen nun eine Risikobewertung machen müssen und auch begründen müssen, nach welchen Kriterien Inhalte geduldet oder entfernt werden.

Was Kettemann allerdings ärgert, ist der intransparente Prozess, in dem die neuen Gesetzesentwürfe entstehen. »Gerade gegen Ende hin hat man gemerkt, dass das Verfahren intransparenter wurde, dass Änderungen in letzter Sekunde durchgedrückt wurden«, so die Beobachtung des Experten. Nicht alle Änderungen seien schlecht, »aber die Tatsache, dass wir vier Wochen nach den entsprechenden Beschlüssen noch nicht alle Fassungen haben, über die wir diskutieren können, ist ein schlechtes Vorgehen.«

Messenger-Dienste sollen künftig nach Kinderpornografie und Anzeichen von Missbrauch fahnden

In der Tat sind die Gesetze für EU-Verhältnisse in vergleichsweise kurzer Zeit entstanden: Vom Vorschlag bis hin zur Umsetzung fand alles innerhalb einer Legislaturperiode des Parlaments statt. Noch eiliger scheint eine Verordnung auf den Weg gebracht worden zu sein, deren Entwurf die EU-Kommission Mitte Mai verabschiedet hat. Sie trägt den Titel »Rules to prevent and combat child sexual abuse« und wird meistens unter dem Namen »Chat-Kontrolle« diskutiert.

Nach dem Willen der Kommission sollen im Zuge der Verordnung unter anderem die Anbieter von Messenger-Diensten wie Whatsapp, Threema oder Signal dazu verpflichtet werden, die privaten Nachrichten ihrer Nutzerinnen und Nutzer zu scannen und mögliche Darstellungen von Missbrauch an die Behörden zu übergeben. Tobias Keber, Professor für Medienrecht und Medienpolitik an der Hochschule der Medien in Stuttgart, fehlt hier vor allem eine klarere Vorstellung, wie die Vorgaben der Verordnung technisch umgesetzt werden sollen: »Die Verordnung ist an der Stelle sehr abstrakt. Je nachdem, wie die Unternehmen sie umsetzen, kann das dazu führen, dass die Ende-zu-Ende-Verschlüsselung, die wir uns erkämpft haben bei den Messengern, damit kollidiert.«

Ein Grundproblem, das sich durch die neue Digitalgesetzgebung zieht, ist, dass sie möglicherweise mit anderen Zielen und Gesetzen der EU kollidiert, beispielsweise mit dem Datenschutz, erklärt Keber. Das betreffe nicht nur die Chat-Kontrolle, sondern auch die DSA, die unter anderem Jugendliche besonders schützen möchte. Doch dafür müssen die Plattformen das Alter der Nutzenden kennen – und mit der Forderung nach einer Altersverifikation komme eine Schwächung des Datenschutzes, erklärt Keber. »Wir haben hier also zum Teil Bruchstellen, die man diskutieren muss.« Vor allem aber bei der Chat-Kontrolle seien Datenschutzimplikationen »immens«, warnt Keber.

Auf Kollisionskurs mit dem Datenschutz

Noch deutlicher wird der Bundesdatenschutzbeauftragte Ulrich Kelber: »Der Entwurf der Kommission ist nicht vereinbar mit unseren europäischen Werten und kollidiert mit geltendem Datenschutzrecht«, schreibt er auf Twitter. Das Scannen von privaten Nachrichten bedrohe den Grundsatz der Vertraulichkeit der Kommunikation, und eine mögliche Schwächung der Verschlüsselung öffne Missbrauch Tür und Tor. Er werde sich dafür einsetzen, dass die Verordnung so nicht kommt.

Bei neuen Maßnahmen muss stets deren Verhältnismäßigkeit geprüft werden. Darunter fallen Fragen wie: Ist eine Maßnahme geeignet, das Problem zu lösen? Ist sie erforderlich? Und ist sie angemessen? Nicht nur bei der Frage, ob es angemessen ist, den Datenschutz zu schwächen, gibt es Kritik. Auch bei der Antwort auf die Frage, ob die Chat-Kontrolle ihr Ziel überhaupt erreichen kann, scheiden sich die Geister. »Wo findet Kindesmissbrauch statt?«, fragt Medienrechtler Tobias Keber. »Wird das Material hauptsächlich über Messenger verteilt?« Ermittler würden beispielsweise darauf hinweisen, dass entsprechende Täter eher Links im Darknet verteilen, die dann wiederum zu verschlüsselten Inhalten im Internet führen. So etwas könnte die Chat-Kontrolle überhaupt nicht erfassen. Auch Bundesinnenministerin Nancy Faeser hat auf Grund dieses Arguments überraschend ihre Meinung geändert und lehnt den Vorschlag der Kommission nun doch ab.

Droht das Ende der Ende-zu-Ende-Verschlüsselung?

Die größte Frage ist, wie Maßnahmen wie die Chat-Kontrolle überhaupt technisch umgesetzt werden sollen. Denn entweder muss dafür die Ende-zu-Ende-Verschlüsselung geknackt werden, um den Unternehmen Einblicke in die Kommunikation ihrer Nutzer zu gewähren – etwas, vor dem Datenschützer eindringlich warnen. Oder es müsste ein so genanntes »client side scanning« stattfinden, das die Nachrichten direkt auf den Geräten der Nutzerinnen und Nutzer untersucht. Doch auch dieses Vorgehen kritisieren Fachleute. Zuletzt sprach sich eine Gruppe der renommiertesten Sicherheitsexpertinnen und -experten weltweit dagegen aus, darunter Ron Rivest, Bruce Schneier und Carmela Troncoso: So berge die Methode »ernsthafte Sicherheits- und Datenschutzrisiken für die gesamte Gesellschaft«, schreiben die Forschenden. Sie könne zudem fehlschlagen und ebenso umgangen werden. Außerdem bestehe die Gefahr, dass beispielsweise undemokratische Regimes die Technik für ihre eigenen Zwecke missbrauchen.

Messenger-Dienste müssen laut dem Entwurf der Kommission zum einen eine Funktion in ihre Clients einbauen, die nach bekanntem Material sucht – also nach kinderpornografischen Fotos, die Behörden bereits bekannt sind. »Die Fehlerquoten sind schon dabei massiv«, warnte der Abgeordnete der Piratenpartei Patrick Breyer im Podcast »Logbuch Netzpolitik«. Selbst wenn man mittels eines digitalen Fingerabdrucks eines Fotos nach weiteren Kopien des Bildes suche (so genanntes »Hashing«), seien die Ergebnisse in 86 Prozent der Fälle nicht zuverlässig.

»Das kann nie auch nur einigermaßen zuverlässig funktionieren. Eine riesige Fehlerquote wird zu falschen Verdächtigungen und Strafverfahren führen«Patrick Breyer, Abgeordneter der Piratenpartei

Noch schwieriger wird es bei dem zweiten Punkt, zu dem die Kommission die Konzerne ebenfalls verpflichten will: das Aufspüren von neuem, bislang unbekanntem Material sowie das Unterbinden von »Cyber-Grooming, bei dem Erwachsene sich Kindern auf eine Weise annähern, die diese der Gefahr des sexuellen Missbrauchs aussetzt. Das lässt sich nicht mit einer einfachen Hash-Lösung umsetzen, dafür brauche es maschinelle Lernverfahren – künstliche Intelligenz, die nach noch unbekannten Darstellungen sucht. Algorithmen müssten also darauf trainiert werden, Abbildungen von Kinderpornografie zu erkennen und Alarm zu schlagen, wenn Erwachsene versuchen, Kontakt zu Kindern aufzunehmen. »Das kann natürlich nie auch nur einigermaßen zuverlässig funktionieren«, sagt Breyer. »Eine riesige Fehlerquote wird zu falschen Verdächtigungen und Strafverfahren führen.«

Wer sich mit maschinellem Lernen beschäftigt und um die Schwächen der Technologie weiß, kommt in der Tat schnell zu dem Schluss, dass das nicht funktionieren kann. Künstliche Intelligenz hat schon bei deutlich einfacheren Aufgaben der Bilderkennung hohe Fehlerquoten, ähnlich verhält es sich mit dem Erkennen von Sinnzusammenhängen in Texten, die über relativ nüchterne Meldungen oder E-Mails hinausgehen.

Dazu komme, warnt Breyer, dass Jugendliche beispielsweise auch mal Bilder von sich selbst an ihren Partner oder eine Freundin schicken. Würden diese dann von einer KI herausgefiltert und an »unterbezahlte Moderatoren« der Dienste zur Überprüfung weitergeschickt, bestehe eine viel größere Gefahr für die Jugendlichen: Diese Moderatoren könnten die Bilder verkaufen. Zudem schade das geplante Vorgehen auch denjenigen Kindern, »die wirklich missbraucht werden«, sagt Breyer. Denn Erfahrungen der Schweizer Bundespolizei zeigten, dass die große Mehrheit maschinell ausgefilterter Vorgänge nicht strafrelevant sei. »Damit wird dann unsere Polizei geflutet, um größtenteils völlig irrelevante Meldungen auszusortieren.« Im Gegenzug fehlten Kapazitäten für verdeckte Ermittler, um echte Kinderpornografie-Ringe hochnehmen zu können.

Eine Eins-zu-eins-Umsetzung des Entwurfs zur Chat-Kontrolle ist eher unwahrscheinlich

Ist die Chat-Kontrolle also ein Schnellschuss, der am Ende vor den Gerichten ohnehin nicht standhalten wird? »In einer idealen Welt ist auch der Gesetzgeber den Grundrechten verpflichtet«, sagt Keber. In einer solchen idealen Welt dürfte die Kommission einen derartigen Vorschlag gar nicht erst machen, sollte er tatsächlich mit den Grundrechten kollidieren. Tue sie das doch, sei es am Ende Aufgabe der Gerichte, das Gesetz wieder zu kippen.

»In zwei Jahren sehen wir, was davon übrig geblieben ist«Tobias Keber, Jurist

Allerdings warnt Keber im Falle der Chat-Kontrolle auch vor Schwarzmalerei. Schließlich stünde der Entwurf noch ganz am Anfang. »Hier kann sich noch viel bewegen«, sagt er. Erst einmal muss der Vorschlag Parlament und Rat passieren. »In zwei Jahren sehen wir, was davon übrig geblieben ist.« Er gehe nicht davon aus, dass der Entwurf eins zu eins in einem Gesetz münde.

Was bleibt, ist die Kritik am Tempo und an der Intransparenz der derzeitigen EU-Digitalgesetzgebung. Die Taktung sei aktuell hoch, gibt Kettemann zu bedenken. Selbst er schaffe es nicht, alles zu lesen und einzuschätzen. Wie geht es da am Ende den Regierenden, die entscheiden und dafür eigentlich tief in die technischen Zusammenhänge einsteigen müssten? »Es gibt dafür keine echte Lösung«, sagt Kettemann. Denn einerseits komme Digitalgesetzgebung immer zu spät, weil sich die digitale Welt schnell entwickelt, andererseits muss freilich dafür gesorgt werden, dass die Verantwortlichen überhaupt eine Chance haben, zu verstehen, was sie gerade entscheiden. »Ich warne nur davor, dass wir in den Bereichen aktuell sehr viel Entwicklung haben und durchaus darauf fokussieren müssen, dass nicht versehentlich Regeln entstehen, die die Expertinnen nicht ausreichend durchleuchtet haben.«

Wenn man sich die Erwartungen des Entwurfs an die Technologie des maschinellen Lernens ansieht, könnte man zu dem Schluss kommen, dass hier noch Aufklärungsbedarf besteht.