Ein System des maschinellen Lernens bevorteilt Männer bei der Jobvergabe, ein anderes berechnet aus öffentlich verfügbaren Social-Media-Daten, welche Nutzer möglicherweise depressiv sind, und nutzt das zu ihrem Nachteil aus, ein drittes vergibt Studienplätze nach undurchsichtigen Kriterien: Solche Szenarien, vor denen Forscherinnen und Forscher schon lange warnen, sollen in der Europäischen Union künftig verhindert werden. Die EU-Kommission hat ihren Vorschlag für eine Verordnung zur Regulierung von künstlicher Intelligenz vorgelegt.

Im Folgenden werden die EU-Staaten und das EU-Parlament den Vorschlag besprechen, bevor er schließlich verabschiedet wird. Bis jetzt zeigt sich eine klare Tendenz, künstliche Intelligenz so regulieren zu wollen, dass mögliche Risiken für EU-Bürger minimiert werden. »Neben den vielen nützlichen Anwendungen von künstlicher Intelligenz kann diese Technologie missbraucht werden und neue und mäwechtige Werkzeuge für manipulative, ausbeuterische und soziale Kontrollpraktiken bereitstellen«, stellen die Autoren des Entwurfs fest. Das gelte es zu verhindern.

So ist unter anderem ein Verbot von KI-Anwendungen vorgesehen, die Menschen zu deren Schaden manipulieren oder diese anlasslos überwachen. Auch Software zur Gesichtserkennung soll verboten werden – außer, sie wird zur Suche nach Verbrechensopfern oder zur Suche nach Schwerverbrechern oder zur Verhinderung schwerer Verbrechen eingesetzt. Staatliche Stellen sollen zudem kein Social Scoring betreiben dürfen. Derlei KI-Systeme bewerten oder klassifizieren Menschen auf der Grundlage ihres sozialen Verhaltens. »Sie können zu diskriminierenden Ergebnissen und zum Ausschluss bestimmter Gruppen führen«, heißt es in dem Entwurf.

Anbieter von KI-Systemen sollen künftig Risikoanalysen vorlegen

Ein Schwerpunkt des Entwurfs widmet sich vermeintlich »risikoreichen KI-Systemen«. Dazu zählen unter anderem Systeme, die für die Sicherheit kritischer Infrastrukturen sorgen sollen, außerdem Anwendungen wie »predictive policing« zur Vorhersage von Verbrechen und Systeme, die Menschen beurteilen – beispielsweise deren Kreditwürdigkeit, deren Eignung für eine Arbeitsstelle oder einen Studienplatz. Sie sollen laut Vorschlag künftig eine Reihe von Vorgaben erfüllen, unter anderem müssen ihre Anbieter eine Risikoanalyse durchführen und ein System für das Risikomanagement entwerfen.

Außerdem müssen Trainingsdaten künftig repräsentativ und frei von Fehlern sein, und sie müssen auf mögliche Verzerrungen hin analysiert werden: Diese so genannten Biases in Daten führen immer wieder zu Diskriminierung und Benachteiligung von Gruppen. Das ist bei Systemen des maschinellen Lernens besonders bedeutsam, da ihre Entscheidungen häufig schwer nachvollziehbar sind.

Viele Fachleute loben den Entwurf als weitgehend, doch es gibt Kritik an den Details. Der Anwendungsbereich sei beispielsweise »massiv unklar«, sagte der Medienrechtler Stephan Dreyer vom Hans-Bredow-Institut der Universität Hamburg gegenüber dem Science Media Center (SMC). Der Begriff KI sei so weit gefasst, »dass fast jede derzeit eingesetzte Software darunterfallen kann«. Es sei offen, inwiefern Betriebssysteme, die KI-basierte Software wie Sprachassistenten beinhalten, unter die Verordnung fielen. Dreyer fürchtet, dies könne zu einer »hohen Rechtsunsicherheit für Unternehmen« führen und damit zu Nachteilen im internationalen Wettbewerb.

»Der Begriff KI ist so weit gefasst, dass fast jede derzeit eingesetzte Software darunterfallen kann«Stephan Dreyer, Medienrechtler

Einen »Kompromiss« sieht hingegen Christiane Wendehorst, Professorin für Zivilrecht an der Universität Wien. Der Entwurf adressiert »eine Reihe von Problemen, ohne Europa als Technologiestandort zu gefährden«, sagte sie dem SMC. Aus Sicht der Forscherin, die 2018/19 Kovorsitzende der Datenethikkommission der deutschen Bundesregierung war, werden damit »endlich rote Linien formuliert, welche von KI-Anwendungen nicht überschritten werden dürfen, wie etwa bestimmte Formen der gezielten Manipulation«.

Eine künstliche Intelligenz sollte vorurteilsfrei sein

Zwei Punkte sind vor diesem Hintergrund besonders interessant: das Verbot der Manipulation und die Vorgabe, dass die Trainingsdaten künftiger Systeme des maschinellen Lernens frei sein sollen von Verzerrung und Vorurteilen.

Letzteres dürfte in der Praxis schwer umsetzbar sein: Immer wieder haben Forscherinnen und Forscher darauf hingewiesen, dass diese Verzerrungen in den Daten schwierig zu eliminieren seien und dass sie letztlich in der Kultur begründet sind. Allerdings werden diese Herausforderungen immer wieder von Entwicklern und Anbietern solcher Systeme übersehen und fallen erst auf, wenn ein System anders als erwartet plötzlich Menschen mit dunkler Hautfarbe diskriminiert. Von daher ist es auf alle Fälle ein Gewinn, wenn Systeme künftig auf solche Verzerrungen hin überprüft werden müssen.

Beim Thema Manipulation sind sicherlich Lobbyaktivitäten zu erwarten, um den Entwurf weiter abzumildern. Denn so weit, wie der Begriff bis jetzt gefasst ist, fallen darunter vermutlich viele Systeme des maschinellen Lernens, die bereits jetzt den Alltag bestimmen und auf denen das Geschäftsmodell verschiedener Unternehmen basiert; etwa personalisierte Werbung, wie sie viele aus ihrem Facebook-Feed kennen. Dabei berechnen Systeme aus allen Informationen und Interaktionen einer Nutzerin, was diese interessiert, was ihre Vorlieben sind und welche Werbung bei ihr möglicherweise wirkt. Es gab bereits Studien, die zeigten, dass ein solches Targeting sowie das darauf basierende psychologische Profiling durchaus Effekte hat und dass Anzeigen, die auf eine Person zugeschnitten sind, erfolgreicher sein können als andere.

»Es ist Verbesserungsbedarf in Bezug auf Grundrechte, Verbraucherschutz und Arbeitnehmerrechte erkennbar«Wolfie Christl, Sicherheitsforscher

Der US-Psychologe Michal Kosinski gilt als Erfinder des psychografischen Profilings mit Facebook-Daten. Seine Studien haben Cambridge Analytica zumindest inspiriert zu versuchen, mit Hilfe der Methode US-Wähler von Donald Trump zu überzeugen. Gewiss gibt es auch dabei einen Bias – den der persönlichen Profilierung –, doch das Geschäft mit personalisierten Anzeigen scheint sich zu lohnen: Facebook stellt Werbetreibenden tausende Kategorien zur Verfügung, um Nutzer zu klassifizieren, und sammelt fleißig Informationen darüber, was Nutzer auf anderen Seiten im Netz tun. Der Wiener Sicherheitsforscher Wolfie Christl demonstrierte kürzlich, wie Facebook innerhalb eines halben Jahres Daten von mehr als 1500 Internetseiten und Apps über ihn erhielt.

Eine Gefahr: Unternehmen, die KI anders regulieren wollen

Der Entwurf sei einerseits beeindruckend und decke sehr viele Bereiche ab, sagt Wolfie Christl. »Andererseits ist schon jetzt Verbesserungsbedarf in Bezug auf Grundrechte, Verbraucherschutz und Arbeitnehmerrechte erkennbar.« Er erwartet allerdings auch einige Rückschläge: So würden Unternehmen sicherlich versuchen, »Löcher in den Text zu bohren«, warnt er: »Wir stehen wohl am Beginn einer gewaltigen Lobbyschlacht mit offenem Ausgang.« Aus seiner Sicht ist es von daher jetzt besonders wichtig, die Debatte nicht den Unternehmen zu überlassen.

»Ich hoffe, dass zivilgesellschaftliche Perspektiven in den nächsten Monaten entsprechend gehört und eingebunden werden«, sagt Christl. Denn davon hänge es ab, ob am Ende ein »zahnloses Pseudogesetz« herauskomme »oder eine gute Regulierung, mit der wir als Gesellschaft gestalten, wie sich algorithmische Systeme in den nächsten Jahrzehnten auf unser Leben auswirken sollen und wie nicht.«