Wer hat einen Orgasmus? Und wer empfindet plötzlichen Schmerz? Es wirkt wie eine einfache Frage, die sich die 80 Versuchspersonen einer psychologischen Studie stellen sollen. Hunderte computergenerierte menschliche Gesichter erscheinen dazu vor ihnen auf einem Bildschirm. Bei einigen sind die Augen weit aufgerissen, andere haben zusammengepresste Lippen. Bei wieder anderen sind die Augen zusammengepresst, die Wangen gehoben und der Mund offen. Und immer wieder die gleiche Frage: Orgasmus? Oder Schmerz?

Die Psychologin Rachael Jack und ihre Kollegen haben diesen Test als Teil einer Studie im Jahr 2018 durchgeführt. Das Team der University of Glasgow hat dafür Teilnehmer aus westlichen und ostasiatischen Kulturen angeworben, um eine Frage zu untersuchen, an der sich von alters her die Geister scheiden: Kann man am Gesichtsausdruck eines Menschen zuverlässig ablesen, was dieser gerade fühlt?

Seit Jahrzehnten holen sich Forscher dazu Probanden ins Labor. Sie haben Erwachsene und Kinder in verschiedenen Ländern und indigene Bevölkerungsgruppen in entlegenen Teilen der Welt befragt. Einflussreiche Beobachtungen des US-amerikanischen Psychologen Paul Ekman in den 1960er und 1970er Jahren legten nahe, dass Menschen auf der ganzen Welt verlässlich aus dem Gesichtsausdruck auf emotionale Zustände schließen können – was impliziert, dass der emotionale Ausdruck universell ist.

Mimik unterscheidet sich eben doch zwischen Kulturen

Die Vorstellung blieb eine Forschergeneration lang weitgehend unangefochten. Inzwischen aber stößt sie verstärkt auf Skepsis. Viele Forscher sind heute der Meinung, dass die Verhältnisse sehr viel komplizierter sind. Die Mimik unterscheide sich sehr wohl zwischen den verschiedenen Kontexten und Kulturen. Rachael Jacks Studie ergab zum Beispiel, dass Menschen aus dem Westen und aus Ostasien zwar ähnliche Vorstellungen davon haben, wie Gesichter Schmerz zeigen, aber unterschiedliche Vorstellungen über den Ausdruck sexueller Verzückung.

Dass in der akademischen Forschung die Ansichten über Ekmans Vorstellung vom menschlichen Gesicht als Gefühlsorakel stark auseinandergehen, hindert Unternehmen und Regierungen jedoch nicht daran, auf dieser Grundlage Verfahren zu entwickeln, die das Leben von Menschen beeinflussen. In vielen Rechtssystemen im Westen beispielsweise gilt es als Teil eines fairen Prozesses, die Emotionen eines Angeklagten zu lesen. Dies sei notwendig, so schrieb der Richter am Obersten Gerichtshof der USA Anthony Kennedy 1992, um »das Herz und den Verstand des Täters zu kennen«.

Die Entschlüsselung von Emotionen ist auch das Kernstück eines umstrittenen Schulungsprogramms, das Ekman für die US-Verkehrssicherheitsbehörde TSA entworfen hat. Anhand dutzender potenziell verdächtiger Anzeichen sollen die Behördenmitarbeiter beispielsweise an Flughäfen erkennen, ob jemand gestresst ist, sich zu verstellen versucht oder Angst hat. Das 2007 aufgelegte Programm wurde inzwischen von zahlreichen Wissenschaftlern, Kongressabgeordneten und Organisationen wie der American Civil Liberties Union umfassend kritisiert, weil es ungenau und rassistisch voreingenommen ist.

Technologien auf fragwürdiger Grundlage

Auch einige führende Technologieunternehmen hält derartige Kritik nicht weiter davon ab, selbst Software zur Emotionserkennung zu entwickeln. Die Systeme werden unter anderem angewandt, um die Eignung von Stellenbewerbern zu beurteilen, um Lügen aufzudecken, Werbung verlockender zu machen oder psychische und neurologische Störungen von Demenz bis Depression zu diagnostizieren. Schätzungen zufolge liegt der Wert der Branche bei mehreren zehn Milliarden Dollar. Technologie-Giganten wie Microsoft, IBM und Amazon sowie spezialisiertere Unternehmen wie Affectiva in Boston, Massachusetts, und NeuroData Lab in Miami, Florida, bieten allerlei Algorithmen an, die darauf ausgelegt sind, die Emotionen einer Person aus ihrem Gesicht zu erkennen.

Angesichts der laufenden Debatte sehen viele Fachleute solche Bemühungen mit Skepsis – oder halten sie mindestens für verfrüht. Vor allem solche Technologien, bei der ein Mensch negative Auswirkungen erleiden könnte. Das AI Now Institute, ein Forschungszentrum an der New York University, hat sogar ein Verbot des Einsatzes von Emotionserkennungstechnologie in kritischen Fällen etwa bei der Stellenbesetzung oder der Strafverfolgung gefordert (PDF).

Gesichtsausdrücke seien selbst für Menschen extrem schwierig zu interpretieren, sagt Aleix Martinez von der Ohio State University in Columbus. In diesem Sinne und angesichts des Trends zur Automatisierung »sollten wir sehr besorgt sein«, sagt er.

Das menschliche Gesicht hat 43 Muskeln, die die Gesichtshaut zu Dutzenden von Ausdrücken spannen, anheben und verzerren können. So groß die Bandbreite an Bewegungen auch sein mag, scheint es doch ganz bestimmte Ausdrücke zu geben, die ganz bestimmte Emotionen vermitteln. Das war seit Langem wissenschaftlicher Konsens.

Welche evolutionäre Funktion hat unsere Mimik?

Ein Vertreter dieser Ansicht war Charles Darwin. Sein 1859 erschienenes Buch über den Ursprung der Arten – Ergebnis akribischster Feldforschung – war ein Lehrstück in der Kunst der Beobachtung. Sein zweitwichtigstes Werk, »Der Ausdruck der Gemütsbewegungen bei dem Menschen und den Tieren« von 1872, war eher dogmatisch. Darwin schrieb darin, dass Primaten Gesichtsbewegungen machen, die menschlichen Gefühlsausdrücken wie Ekel oder Angst ähneln, und argumentierte, dass die Ausdrücke einen gewissen Nutzen für die Anpassung des Individuums haben müssen. Zum Beispiel könnten das Kräuseln der Lippe, das Rümpfen der Nase und das Zusammenziehen der Augen – ein Ausdruck, der mit Ekel verbunden ist – entstanden sein, um das Individuum vor schädlichen Krankheitserregern zu schützen. Erst als sich soziale Verhaltensweisen zu entwickeln begannen, nahmen diese Gesichtsausdrücke eine größere Rolle in der Kommunikation ein.

Die ersten kulturübergreifenden Feldstudien, die Ekman in den 1960er Jahren durchführte, untermauerten diese Hypothese. Er testete den Ausdruck und die Wahrnehmung von sechs Schlüsselemotionen – Glück, Trauer, Wut, Angst, Überraschung und Ekel – auf der ganzen Welt, auch in einer zurückgezogen lebenden Bevölkerungsgruppe in Neuguinea.

Ekman wählte diese sechs Gesichtsausdrücke aus praktischen Gründen, sagt er gegenüber »Nature«. Einige Gefühle, wie Scham oder Schuldgefühle, würden sich nicht offensichtlich in der Mimik abspielen. »Die sechs Emotionen, auf die ich mich konzentriert habe, haben Gesichtsausdrücke, und das bedeutet, dass sie sich studieren lassen.« Diese frühen Studien, so Ekman, lieferten Belege für die Universalität, die laut Darwins Evolutionstheorie zu erwarten sei. Spätere Arbeiten unterstützten die These, dass einige Gesichtsausdrücke einen adaptiven Vorteil vermitteln könnten – also dass sie einen Vorteil bringen im Sinne der Evolutionstheorie.

Wir sind nicht ohnmächtig der Mimik ausgeliefert

»Lange Zeit ging man davon aus, dass die Mimik aus unvermeidbaren Bewegungen entsteht«, sagt Lisa Feldman Barrett, eine Psychologin an der Northeastern University in Boston, die Emotionen untersucht. Mit anderen Worten: Unsere Gesichter sind nicht in der Lage, unsere Gefühle zu verbergen. Das offensichtliche Problem bei dieser Annahme ist, dass Menschen durchaus Emotionen vortäuschen können und manchmal Gefühle erleben, ohne ihr Gesicht zu bewegen. Die Forscher im Ekman-Lager räumen ein, dass der tatsächliche Gesichtsausdruck bei einer Emotion vom entsprechenden »Goldstandard« teils erheblich abweichen kann.

Ab welcher Variationsbreite hat es aber überhaupt noch einen Sinn, von einem »Goldstandard« zu reden? Für eine wachsende Zahl von Forschern ist der Punkt, an dem das ganze Konzept in sich zusammenbricht, schon erreicht. Ihre Ansichten werden durch eine umfangreiche Literaturübersicht untermauert. Sie geht zurück auf eine Aktion von »Psychological Science in the Public Interest«. Herausgeber des Fachblatts luden Wissenschaftler unterschiedlicher Auffassungen dazu ein, gemeinsam die Fachliteratur zu sichten.

»Wir haben unser Bestes getan, um unsere Vorannahmen außen vor zu lassen«, sagt Feldman Barrett, die das Team leitete. Statt mit einer Hypothese zu beginnen, tauchten sie direkt in die Daten ein. »Wenn wir verschiedener Meinung waren, erweiterten wir einfach unsere Suche nach Belegen.« Am Ende lasen sie rund 1000 Veröffentlichungen. Nach zweieinhalb Jahren gelangte das Team zu einer bemerkenswerten Schlussfolgerung: Es gab wenig bis gar keine Beweise dafür, dass Menschen aus einer Reihe von Gesichtsbewegungen zuverlässig auf den emotionalen Zustand eines anderen schließen können.

Kein Zusammenhang zwischen Gesichtsausdruck und Emotion

Als ein Extrem zitierte die Gruppe Studien, die keine klare Verbindung zwischen den Bewegungen eines Gesichts und einem inneren emotionalen Zustand fanden. Der Psychologe Carlos Crivelli von der De Montfort University im britischen Leicester hat mit Bewohnern der Trobriand-Inseln in Papua-Neuguinea gearbeitet und in seinen Studien keine Beweise für Ekmans Schlussfolgerungen gefunden. Der Versuch, interne psychische Zustände anhand externer Marker zu beurteilen, sei wie der Versuch, Masse in Metern zu messen, so Crivelli.

Dass sich keine Belege für die Universalität von Gesichtsausdrücken finden lassen, könnte auch daran liegen, dass das Gesicht nicht alles ist. Körperbewegung, Persönlichkeit, Tonfall und Veränderungen des Hauttons wirken sich ebenfalls darauf aus, wie wir Gefühle zeigen und erkennen. Wie sich jemand fühlt, beeinflusst beispielsweise die Durchblutung der Haut und damit deren Aussehen. Martinez und seine Kollegen haben gezeigt, dass Menschen in der Lage sind, Veränderungen des Hauttons mit Emotionen in Verbindung zu bringen. Eine weitere Studie zeigte, dass oft schon der Hintergrund, vor dem ein Mensch fotografiert wird, genügt, um den emotionalen Zustand der Person zu erraten.

Andere Forscher halten die Attacken auf Ekmans Ergebnisse für überzogen – nicht zuletzt Ekman selbst. Als Reaktion auf eine Kritik von Feldman Barrett wies er 2014 auf eine Reihe von Arbeiten hin, die seiner Meinung nach seine früheren Schlussfolgerungen unterstützen, darunter Studien über spontane Gesichtsausdrücke von Menschen sowie Forschungen über die Verbindung zwischen Ausdrücken und dem zu Grunde liegenden Gehirn- und Körperzustand. Diese Arbeit, so schrieb er, deutet darauf hin, dass Mimik nicht nur die Gefühle von Menschen zeigt, sondern auch Muster der neurophysiologischen Aktivierung. Seine Ansichten hätten sich nicht geändert, sagt er.

Auch Jessica Tracy, Psychologin an der University of British Columbia in Vancouver, findet es voreilig, auf der Grundlage einiger weniger Gegenbeispiele Ekmans Theorie der Universalität abzulehnen. Eine Bevölkerung oder Kultur mit einer etwas anderen Vorstellung von einem wütenden Gesicht mache nicht die ganze Theorie zunichte. Die meisten Menschen erkennen ein wütendes Gesicht, wenn sie es sehen, fügt sie hinzu und zitiert eine Analyse von fast 100 Studien. »Es gibt massenhaft Belege dafür, dass die meisten Menschen in den meisten Kulturen der Welt diesen Ausdruck (der Wut) als universell ansehen.«

Tracy und drei weitere Psychologen werfen dem Team um Feldman Barrett vor, in der Literaturübersicht ihre Position zu stark vereinfacht zu haben – niemand würde glauben, dass die sechs Emotionen und ihre Gesichtsausdrücke eins zu eins miteinander verknüpft seien. »Ich kenne keinen Forscher auf dem Gebiet der Emotionswissenschaft, der glaubt, dass dies der Fall ist«, sagt Disa Sauter von der Universität Amsterdam, eine Mitautorin von Tracys Antwort auf Feldman Barrett.

Sauter und Tracy sind der Meinung, dass man Emotionen viel feiner aufgliedern müsse, um den Gesichtsausdrücken einen Sinn zu geben. Anstatt das Glück als einzige Emotion zu betrachten, sollten die Forscher emotionale Kategorien in ihre Komponenten aufteilen; Glück als Überkategorie umfasse Freude, Vergnügen, Mitgefühl, Stolz und so weiter. Die Ausdrücke für jede dieser Kategorien können sich unterscheiden oder überlappen.

Signifikanz oder Zufall?

Im Mittelpunkt der Debatte steht die Frage, was als signifikant gilt. Man denke beispielsweise an eine Studie, in der die Teilnehmer für jedes Gesicht, das sie sehen, eines von sechs Emotionslabels wählen können. Ab wann kann man sagen, dass die Teilnehmer in ihrer Einschätzung übereinstimmen? Manche Forscher sehen dies als erfüllt, wenn eine Option in mehr als 20 Prozent der Fälle ausgewählt wird. Für andere sind 20 Prozent viel zu wenig. Jack argumentiert, dass Ekmans Schwelle viel zu niedrig war. Sie las seine frühen Arbeiten als Doktorandin. »Ich ging immer wieder zu meinem Vorgesetzten und zeigte ihm diese Diagramme aus den 1960er und 1970er Jahren, und jedes einzelne davon zeigt massive Unterschiede in der kulturellen Erkennung«, sagt sie. »Es gibt immer noch keine Daten, die zeigen, dass Emotionen allgemein erkannt werden.«

Abgesehen von der Aussagekraft der Zahlen haben Forscher auch mit der Subjektivität zu kämpfen: Bei vielen Studien ist es nötig, dass ein Experimentator zu Beginn des Tests für alle Gesichtsausdrücke verzeichnet, welche Emotion sie repräsentieren. Nur so kann man nachher wissen, ob ein Proband die Emotion korrekt erkannt hat. Feldman Barrett, Jack und andere suchen nun nach Wegen, die weniger anfällig für eine subtile Einflussnahme sind. Feldman Barrett untersucht beispielsweise physiologische Messwerte in der Hoffnung, einen körperlichen Indikator für Wut, Angst oder Freude zu finden. Jack verzichtet auf gestellte Fotos und lässt einen Computer stattdessen nach dem Zufallsprinzip Gesichtsausdrücke generieren, um sich nicht auf die sechs Emotionen von Ekman zu verlassen – womöglich gibt es mehr oder weniger? Andere bitten die Teilnehmer, die Gesichter in so viele Kategorien zu gruppieren, wie ihrer Meinung nach in ihrer eigenen Sprache nötig sind, um alle Emotionen abzubilden.

Softwarefirmen lassen ihren Algorithmen normalerweise keinen großen Raum für freie Assoziation. Üblicherweise werden solche Programme des maschinellen Lernens mit Millionen Bildern von Gesichtern und Hunderten von Stunden Videomaterial gefüttert. Damit das Programm Zusammenhänge zwischen Gesichtsausdruck und der Gefühlslage des Abgebildeten erkennt, müssen zuvor Menschen jedes einzelne gezeigte Gesicht anschauen und die gezeigte Emotion erfassen.

Nach Unternehmensangaben ist die Software von Affectiva beispielsweise auf mehr als sieben Millionen Gesichter aus 87 Ländern trainiert und ermittelt die korrekte Emotion in über 90 Prozent der Fälle. Auf welcher wissenschaftlichen Basis der Algorithmus arbeitet, möchte das Unternehmen allerdings nicht kommentieren. Neurodata Lab räumt ein, dass Gesichter ein und derselben Emotion unterschiedlich aussehen können, was aber kein Grund sei, die Technologie rundheraus abzulehnen: »Wenn eine Person eine emotionale Phase durchläuft, kommen einige Gesichtskonfigurationen öfter vor, als es der Zufall erlauben würde.« Und das könne der Algorithmus berücksichtigen.

Viele Forscher aus beiden Lagern überzeugt das nicht. Nicht nur sei die Angelegenheit wissenschaftlich nicht entschieden; die Art und Weise, wie die Firmen ihr Trainingsmaterial erstellen, sei ebenfalls fragwürdig.

Skeptisch ist auch Ekman: Er hat mehrere Firmen angeschrieben – welche, will er nicht verraten, nur dass »sie zu den größten Softwarefirmen der Welt gehören« – und um einen Nachweis dafür gebeten, dass ihre automatisierten Techniken funktionieren. Er habe keine Antwort erhalten. »Soweit ich weiß, gibt es für diese Behauptungen keine Beweise«, sagt er.

Martinez räumt ein, dass die automatische Emotionserkennung in der Lage sein könnte, etwas über die durchschnittliche emotionale Reaktion einer Gruppe zu sagen. Affectiva verkauft zum Beispiel Software an Marketingagenturen, um vorherzusagen, wie ein Kundenstamm auf ein Produkt oder eine Marketingkampagne reagieren könnte.

Wenn diese Software einen Fehler macht, ist das Risiko gering – eine Werbung könnte etwas weniger effektiv sein als erhofft. Aber einige Algorithmen werden für Vorgänge verwendet, die einen großen Einfluss auf das Leben von Menschen haben könnten, wie etwa bei Bewerbungsgesprächen und an Ländergrenzen. Im Jahr 2019 haben Ungarn, Lettland und Griechenland ein System getestet, das darauf abzielt, Täuschungsversuche durch die Analyse von Mikroausdrücken im Gesicht zu durchschauen.

Was die Debatte voranbringen könnte, wären gänzliche neue Herangehensweisen in der Forschung. Feldman Barrett – die oft gebeten wird, ihre Forschung Technologieunternehmen vorzustellen, und die im Februar 2020 Microsoft besuchte – ist der Meinung, dass Forscher das tun müssen, was Darwin für sein Werk »Über die Entstehung der Arten«getan hat: »Beobachten, beobachten, beobachten.« Was machen die Menschen eigentlich im echten Leben mit ihren Gesichtern und Körpern? Nicht nur im Labor. Aus diesen Daten sollte künstliche Intelligenz lernen.

Ganz ähnlich fordert auch Feldman Barrett mehr Daten und analytische Verfahren, statt immer wieder die alten Datensätze und Experimente hervorzukramen. Den Technologieunternehmen, die nur darauf warten, aus weithin angezweifelten Forschungsergebnissen Kapital zu schlagen, rät Barrett, sich ihre nächsten Schritte genau zu überlegen. »Vor uns tut sich ein Abgrund auf«, sagt sie. »Wollen die KI-Firmen weiterhin mit fehlerhaften Annahmen arbeiten? Oder tun sie, was getan werden muss?«