"Entschuldigen Sie bitte, wo ist denn hier die Liste der Dinge, die nicht automatisiert werden sollen?" Wenn es nach dem Zukunftsforscher Alexander Mankowsky geht, ist das die erste Frage, die man den Verantwortlichen eines Automatisierungsprojekts jeder Art stellen sollte – sei das ein autonomes Auto oder eine Smart City. "Die schauen dann meistens ganz verblüfft", sagt Mankowsky und grinst. Dabei findet der Philosoph diese Frage gar nicht abwegig. Für ihn ist Bewusstsein über nicht Automatisierbares ein Indikator dafür, inwiefern die menschliche Freiheit mitbedacht wird. Soziale Wahrnehmung lasse sich nicht automatisieren, und auch der Mensch der Zukunft sollte die Freiheit zur Willkür haben: spontane Aktivitäten, die eine Maschine nicht vorhersehen kann. Und trotzdem nicht unter die Räder kommen.

Während die wachsende Automatisierung in der Öffentlichkeit gerade erst wirklich wahrgenommen wird und häufig Bewunderung dafür hervorruft, was technisch alles möglich ist, warnen die ersten Wissenschaftler davor, die Technik den künftigen Status quo unseres Zusammenlebens bestimmen zu lassen. "Wir haben das Recht, nicht berechenbar gemacht zu werden", sagt auch Frieder Nake, Professor für Informatik der Uni Bremen. Er ist einer der Pioniere der Computerwissenschaft: Als Mathematiker hat er Anfang der 1960er Jahre die ersten Rechner programmiert und schließlich die Informatik mitbegründet. Wohin sein Fach nun geht, stimmt ihn nachdenklich. "Die Mathematik weiß, dass es harte Grenzen der Automatisierung gibt", sagt er: alles, was berechnet werden kann. Emotionen gehören nicht dazu, "eigentlich alles, was das Leben ausmacht". Wenn Menschen Maschinen bauen, die so tun, als hätten sie Gefühle, findet er das falsch. Für viele sei nicht mehr übersehbar, was die Computer wirklich tun, sie seien semiotische Maschinen, die im Hintergrund arbeiten. "Es ist der Zustand erreicht, an dem wir alle, ohne darüber nachzudenken, Daten erzeugen."

Sind wir autonom?

Für den Philosophen Mankowsky sind solche Entwicklungen ein Grund, die Diskussion über unser Leben mit den Maschinen nicht nur gesamtgesellschaftlich zu führen, sondern auch anders als in Form eines Gesprächs über Daten – beispielsweise mittels Kunstwerken. Aus der Sicht des Zukunftsforschers stehen wir gerade an einer entscheidenden Schwelle: Wir müssen uns als Menschen neu definieren. Sind wir autonom oder heteronom? "Wir sind handlungswirksam fremdbestimmt", sagt er, beispielsweise wenn wir wie ferngesteuert den Anweisungen unseres Navis folgten. Die Führungskräfte der Daimler AG, für die Mankowsky als Zukunftsforscher arbeitet, werden durchaus gefordert von ihrem Philosophen, der sie manchmal zusammentrommelt, um grundlegende Fragen zu klären. "Wollen wir so leben?", fragt er dann beispielsweise und zeigt ihnen das Bild der "Happiness Machine" des britischen Künstlers Mark Lascelles Thornton. Darauf stehen Bankentürme über den Menschen, das Leben gleicht einem riesigen Supermarkt voller Wühltische, der Konsum regiert. Oder ist Google der Gutenberg unserer Zeit, der alles Wissen verfügbar macht, wie es ein anderer Künstler darstellt? "Wer nur auf die Technologie schaut, hat nicht verstanden, wie sehr sich die Gesellschaft verändern wird", betont Mankowsky.

Mit dieser Sicht ist Mankowsky nicht allein. In Forscherkreisen mehren sich die Stimmen, die fordern, diesen gesellschaftlichen Wendepunkt zu nutzen und zu überlegen, wie sehr wir von der Technologie bestimmt werden wollen und welcher Regelungen es bedürfe, damit die Menschenwürde nicht zu kurz kommt. "Wir brauchen einen digitalen Kodex", fordert Matthias Kammer, der Direktor des Deutschen Instituts für Vertrauen und Sicherheit im Internet (DIVSI). Von der Deutschen Post AG als unabhängige Forschungsstelle finanziert, diskutiert das Institut mit Vertretern aus Wissenschaft, Wirtschaft und Gesellschaft, inwiefern ein solcher Kodex die Lücke füllen könnte, die Gesetze in der digitalen Welt hinterlassen. Die Debatte um das EU-Datenschutzrecht, die mehrere Jahre währte und schließlich in einer aufgeweichten Fassung des ursprünglichen Entwurfs mündete, noch dazu in weiten Teilen schwer verständlich und weit auslegbar, zeigt, dass Gesetze nicht alles regeln können. Vielleicht also sollte es etwas Regulierendes jenseits des Rechts geben, sagt Kammer: "So ein Kodex fällt nicht vom Himmel, wir müssen ihn uns erarbeiten wie einen neuen Gesellschaftsvertrag." Den Vergleich mit der Französischen Revolution findet Kammer gerechtfertigt: "In der Phase, in der wir jetzt leben, stehen viele seit 1945 stabil gewordene Selbstverständlichkeiten in Frage."

Was sind "personenbezogene" Daten?

Dabei geht es den Forschern nicht um Technologieverweigerung: Kammer findet es durchaus bedenklich, dass in Deutschland beim Wort "Big Data" vor allem an die Risiken gedacht wird und nicht an die Chancen. Auch Mankowsky ist überzeugt, dass uns das Datensammeln an sich nutzt: "Wir erfahren viel über uns selbst, wir brauchen diese Daten." Nur: Vertrauen sei der falsche Begriff, kritisiert er den DIVSI-Ansatz. Es gehe um Fairness und Transparenz, damit jeder die Freiheit habe, selbst zu entscheiden, welche Daten er von sich preisgibt. Wie wenig allerdings der Datenschutz, der in solchen Fragen die "informierte Einwilligung" der Nutzer voraussetzt, geeignet ist, diese Freiheit zu verteidigen, erklärt der Rechtsinformatiker Nikolaus Forgó von der Universität Hannover: Das deutsche Datenschutzrecht stamme aus der Zeit der Volkszählung Anfang der 1980er Jahre und habe schon von Anbeginn einen zentralen Fehler: Der Begriff "personenbezogene Daten" ist nicht genau definiert. Diese zu speichern, ist verboten – außer die Person willigt ein. Aber sind Geo-Daten personenbezogen oder nicht? Wie fein darf die Auflösung von Satellitendaten sein, ohne dass sie personenbezogen sind? "Entscheidungen ergeben sich nicht aus dem Gesetz, sondern aus Interpretationen", sagt Forgó. Und auch die so genannte informierte Einwilligung ist in Zeiten, in denen das übersichtliche Volkszählungsformular von Google und Facebook abgelöst wurde, eine Fiktion: Wer alle Bedingungen lese, denen er im Internet zustimme, brauche dafür 76 Tage im Jahr. Eine Internetseite ließ kürzlich tausende Nutzer bestätigen, dass sie mit der Anmeldung ihre Seele verkauften – ein gelungener Aprilscherz, eigentlich. Nur bemerkte ihn keiner. Alle verkauften ihre Seele.

Wer alle Bedingungen lesen würde, denen er im Internet zustimmt, bräuchte dafür 76 Tage im Jahr

Dass die Nutzer ihre Daten im Netz leichtfertig hergeben, sieht Marc Langheinrich, Professor für Informatik an der Università della Svizzera Italiana in Lugano, nicht als Zeichen ihrer Kritiklosigkeit. "Es heißt immer: Ja, aber ihr googelt doch alle", klagt er: Googeln sei eben bequem, daran ändere auch das Wissen nichts, dass der Konzern alle persönlichen Daten, die er kriegen kann, auf unbestimmte Zeit speichert. Zudem sei es in der Frage des Datensammelns Zeit für ein gesellschaftliches Umdenken: "In der Öffentlichkeit herrscht eine Datengläubigkeit." Dabei haben Daten an sich keine Aussagekraft. Im Gegenteil, häufig würden Zusammenhänge, die sich aus großen Datenmengen ergeben, falsch interpretiert. Das kann durchaus zum Nachteil derer sein, deren Daten gesammelt wurden. Deshalb findet Langheinrich das Argument verheerend, dass, wer nichts zu verbergen habe, sich auch keine Sorgen machen müsse. Die Auswahl der Daten beeinflusse das Ergebnis eines Rechenprozesses ebenso wie die Interpretation. "Wer an den entsprechenden Stellschrauben dreht, kann alles begründen."

Frieder Nake aus Bremen pflichtet ihm bei: "Ein Modell kann nur das ergeben, was in das Modell eingeflossen ist." Was im Umkehrschluss bedeutet: Wer ein bestimmtes Ergebnis erhalten möchte, kann entsprechend manipulieren, indem er Datenauswahl und Gewichtung bestimmt. Für die Betroffenen ist das am Ende meist kaum nachvollziehbar, da die Entscheidungen mancher Algorithmen häufig nicht einmal vom Entwickler selbst nachvollzogen werden können. Deshalb könne hier ein gesellschaftlicher Kodex durchaus nützlich sein, der ein Sammeln auf Verdacht verurteilt, findet Langheinrich. Noch wichtiger sei aber ein Kodex auf Entwicklerebene: "Mit dem Argument, der Nutzer ist selbst schuld, macht man es sich zu leicht. Genauso könnte man auch sagen: Wir brauchen keinen TÜV, keine Gewerbeaufsicht, keine Führerscheinprüfung – der Bürger muss halt selbst darauf achten, dass er von anderen nicht überfahren oder vergiftet wird."

Ein konkreterer Kodex

Eigentlich gibt es bereits einen Kodex: den "Code of Ethics" der Association for Computing Machinery. Nur ist dieser mit Grundsätzen wie "Vermeide Schaden an anderen" oder "Respektiere die Privatsphäre" sehr allgemein gehalten. "Man sagt den Entwicklern: Privatsphäre ist wichtig. Aber sie haben keine Ahnung, was das genau bedeutet", sagt Sarah Spiekermann, Professorin für Informationssysteme an der Wirtschaftsuniversität Wien. "Wenn man es damit ernst meint, hat man einen riesigen Strauß an Werten." Denn gerade die Privatsphäre greife in verschiedene menschliche Grundbedürfnisse ein – ohne sie wird die Freiheit reduziert, Menschen können bloßgestellt und ihre Würde kann untergraben werden.

"So ein Kodex fällt nicht vom Himmel, wir müssen ihn uns erarbeiten wie einen neuen Gesellschaftsvertrag"Matthias Kammer

"Wenn sich Maschinen in unser Leben so einflechten, wie sie es jetzt tun, müssen wir über einen konkreteren Kodex nachdenken", sagt Spiekermann. Denn sonst sieht sie grundlegende menschliche Bedürfnisse in Gefahr – angefangen bei Freiheit und Gesundheit. Sie erklärt das am Beispiel eines ihr bekannten Finanzmanagers. Das ERP-System seines Unternehmens, eine Software für die Ressourcenplanung, spuckt ihm Zahlen aus, die er für falsch hält. Aber niemand im Unternehmen kann ihm sagen, wie diese zu Stande kommen. Ein Algorithmus hat sie errechnet, der damalige Programmierer ist nicht mehr im Haus, es gibt keine Dokumentation. Der Manager ist für Zahlen verantwortlich, deren Herkunft er nicht kennt und die er anzweifelt. Aber er ist machtlos. Er steht kurz vor dem Burnout. "Diese Situation herrscht heute in deutschen Unternehmen", sagt Spiekermann. Probleme sind fehlende Dokumentationen, schlicht schlampige Arbeit in der Programmierung, die obendrein Fehler produziert, ohne das zu reflektieren: Im Schnitt enthalten 1000 Zeilen Programmierkode 50 Fehler. Wo diese stecken, kann ohne Dokumentation keiner nachvollziehen. "Die Softwareentwicklung der letzten 20 Jahre ist nicht gut", sagt Spiekermann, "die Disziplin ist gedankenlos und kurzsichtig."

Technik als Störfaktor

Neben Transparenz seien auch Rückkopplungsprozesse ein großes Thema: Wie kommunizieren wir mit den Maschinen und diese mit uns? "Feedback über das System ist ein Effekt der Kontrolle, die der Mensch über die Maschine hat", sagt Spiekermann. Ohne das Gefühl der Kontrolle fungierten Maschinen beispielsweise in Unternehmen als Störfaktor. Das fresse die Effizienz wieder auf, die man durch sie gewinne. Auch Zukunftsforscher Mankowsky hat in seinen Experimenten nachgewiesen, dass Kommunikation ein Schlüssel dazu ist, als wie angenehm die Anwesenheit intelligenter Maschinen empfunden wird. Beispielsweise sollten autonome Autos den Menschen am Straßenrand mittels Lichtsignalen mitteilen, dass sie gesehen wurden und wohin sich das Auto bewegt.

Für die Softwareentwickler bedeutet das ein Umdenken. Anstatt einfach mal einen Prototyp zu programmieren und den so nach und nach weiterzuentwickeln, muss am Anfang die Frage stehen: Welche Werte sollen in das System eingearbeitet werden? "Das ist aufwändig", sagt Spiekermann, "dafür muss sich die Softwareentwicklung von einer Kindergartenspielwiese in eine echte Ingenieurdisziplin entwickeln, in der man Regeln einhält." Solche Systeme werden dann sehr viel teurer als heute. Aber dafür gut.