Ein Experiment ist noch kein Beweis. Als ein internationales Physikerteam im Herbst 2011 feststellte, dass Neutrinos die Lichtgeschwindigkeit um 0,0025 Prozent überschreiten, glaubten sie ihr Ergebnis selbst nicht. Aber erst Monate später fanden sie den Fehler: Sie hatten ein Glasfaserkabel nicht richtig in die Halterung gesteckt und damit die Messung verfälscht. Sicherheitshalber wiederholten die Physiker die Neutrino-Messung mit anderen Instrumenten – und bestätigten erneut, dass die Teilchen genau mit Lichtgeschwindigkeit fliegen, wie es Albert Einstein seinerzeit postuliert hatte.

Für die Physik war das nur ein prominenter Ausrutscher, doch in anderen Fächern – vor allem der Biomedizin und der Psychologie – hat sich in den letzten Jahren eine Krisenstimmung ausgebreitet: Halten die bisherigen Erkenntnisse einer Überprüfung stand? In der Biomedizin hat man zu zweifeln begonnen, nachdem sich in diesem Fach einige Experimente mit neuen Wirkstoffen nicht erfolgreich wiederholen ließen. In der Psychologie ist es ähnlich. Man sagt in solchen Fällen, dass die Ergebnisse nicht reproduzierbar oder nicht replizierbar seien.

Was soll man von den ursprünglichen Studien halten, die sich heute von Fachkollegen nicht mehr nachvollziehen lassen? In einer Stellungnahme spricht die Deutsche Forschungsgemeinschaft von einem »Qualitätsproblem« der Forschung: »Es gefährdet die Leistungsfähigkeit der Wissenschaften ebenso wie das gesellschaftliche Vertrauen in sie.«

Die Replikation scheitert haushoch

Der deutsche Psychologe Fritz Strack, der 2016 an der Universität Würzburg emeritiert wurde, hat eines seiner eigenen Experimente zur Wiederholung vorgeschlagen: Es etablierte 1988 die »Facial Feedback«-Hypothese, der zufolge die Mimik unsere Gefühle beeinflussen kann. Wir fühlen uns etwa glücklicher, wenn wir lächeln, genauer gesagt: wenn der Musculus zygomaticus major die Mundwinkel nach oben zieht. Stracks Experiment bietet ein gutes Beispiel, um die Bedeutung von Replikationen zu untersuchen, denn die Wiederholung scheiterte deutlich. Sein Kollege Eric-Jan Wagenmakers von der Universität Amsterdam koordinierte diese Versuche in 17 Labors mit zusammen 1900 Versuchspersonen. Das ist eine sehr große Stichprobe, die eine hohe Zuverlässigkeit verspricht – was will man mehr? Strack selbst hatte nur 92 Probanden einbezogen.

Es geht hier nicht um die Frage, ob einer der Forscher schlecht gearbeitet hat oder seine Ergebnisse gar manipulierte. Die Debatte dreht sich vielmehr darum, ob Strack versehentlich einem Zufallseffekt auf den Leim gegangen ist. Und es geht darum, ob Wagenmakers' Replikation die Originalstudie korrekt kopiert hat. Denn die Wiederholung eines Experiments ist nicht automatisch besser als der ursprüngliche Versuch. Im Grunde steht es Aussage gegen Aussage, auch wenn Wagenmakers sein Ergebnis auf einen viel größeren Datensatz stützen kann.

Die Debatte geht trotzdem weiter

Strack regt an zu fragen, wieso die beiden Untersuchungen zu unterschiedlichen Ergebnissen kommen. Das Seelenleben der Menschen ist komplex. Viele, auch subtile Faktoren können es in eine andere Richtung lenken. In einem Kommentar spekuliert Strack darüber, warum die Replikation gescheitert sein könnte: Ein möglicher Grund ist, dass Wagenmakers und seine Kollegen die Versuche gefilmt haben, wie es heute bei psychologischen Laborstudien üblich ist. Als Strack mit seinen Kollegen in den 1980er Jahren das Experiment zum ersten Mal durchführte, gab es das noch nicht.

Nun springt ein israelisches Forscherteam Fritz Strack bei. Tom Noah und seine Kollegen von der Hebrew University of Jerusalem haben die Originalstudie ebenfalls reproduziert und ihre Ergebnisse im »Journal of Personality and Social Psychology« veröffentlicht. Wie Strack und Wagenmakers baten sie ihre Probanden, mit einem Stift im Mund zu zeichnen und Cartoons zu bewerten. Die eine Hälfte sollte den Stift mit den Lippen halten, was ein Lächeln unterdrückt, die andere sollte ihn mit den Zähnen halten, was den Musculus zygomaticus major aktiviert, ohne dass die Leute ans Lächeln denken.

Der Vorhang fällt, und Fragen bleiben offen

Noah und seine Kollegen filmten jeweils eine Hälfte der beiden Gruppen Lippenhalten und Zähnehalten und die andere nicht; ihre Probanden wurden also insgesamt in vier Gruppen aufgeteilt. Damit bestätigen die Forscher nun sowohl Strack als auch Wagenmakers: Wenn die Versuchspersonen den Stift mit den Zähnen halten, finden sie die Cartoons im Durchschnitt etwas lustiger als die Probanden, die den Stift mit den Lippen halten. Der Musculus zygomaticus major verschafft ihnen offenbar etwas mehr Vergnügen beim Betrachten der Cartoons. Das gilt jedoch nur, solange keine Kamera läuft. Wenn sich die Probanden beobachtet fühlen, verschwindet der Unterschied, wie es Wagenmakers in der Replikationsstudie festgestellt hatte. Die israelischen Psychologen vermuten, dass eine laufende Kamera dazu beiträgt, dass sich Menschen stärker von außen wahrnehmen und ihre Gefühle eher übergehen.

Als geklärt kann diese Frage allerdings noch nicht gelten. Vor allem die Stichprobe macht den israelischen Forschern zu schaffen. Sie wollten eigentlich 200 Versuchspersonen untersuchen, was als Minimum für Replikationsstudien mit vier Gruppen gilt. Doch am Ende konnten sie nur die Daten von 166 auswerten. Drei hatten zum Beispiel die »Facial Feedback«-Hypothese korrekt erraten. Vier hatten vermutet, dass es irgendwie um die Kamera geht. Zwei wollten den Stift des Versuchsleiters nicht in den Mund nehmen. Und sogar 20 hielten den Stift nicht so, wie sie sollten. Bei der Aufzählung der Ausschlussgründe in der Studie hört man die Versuchsleiter geradezu seufzen. Auch dieses Experiment wird hoffentlich beizeiten wiederholt werden.

Die Moral von der Geschichte: Jede Studie lässt Fragen offen; wissenschaftliche Erkenntnis bietet erst die Zusammenschau. In den Worten von Tom Noah und seinen Kollegen: »Psychology is a cumulative science. As such, no single study can provide the ultimate, final word on any hypothesis or phenomenon.«