Direkt zum Inhalt

Methodenkritik: Was psychologische Studien wirklich aussagen

Die Effekte in psychologischen Studien sind oft so schwach ausgeprägt, dass sie sich nur schwer auf den Einzelnen übertragen lassen. Den Alltag können sie dennoch beeinflussen.
Frau mit Sonne im Kopf

Wer mehr Geld hat, ist glücklicher. Intelligentere Menschen bringen es in Schule und Beruf weiter. Extravertierte Personen ziehen häufiger um. In psychologischen Studien stoßen Forscherinnen und Forscher immer wieder auf Zusammenhänge, die das Leben aller zu betreffen scheinen. Doch was solche Ergebnisse wirklich über den Einzelnen aussagen, ist auf den ersten Blick oft gar nicht so leicht zu erfassen.

Nehmen wir zum Beispiel das Thema Geld und Glück. Zahlreichen Untersuchungen zufolge sind Menschen mit einem hohen Einkommen im Durchschnitt tatsächlich zufriedener als Altersgenossen mit einem weniger dicken Gehaltsscheck. Wissenschaftler und Wissenschaftlerinnen sind hierbei – meist in großen Datensätzen von tausenden Probanden – auf eine positive Wechselbeziehung oder Korrelation zwischen den beiden Variablen gestoßen: Nimmt die eine zu, steigt in einem gewissen Maß auch die andere. Stellen wir uns nun vor, es gäbe drei gleich große Gruppen: Menschen mit niedrigem, mittlerem und hohem Einkommen. Picken wir uns eine Person aus der Gruppe mit hohem Einkommen heraus. Was würde man erwarten? Wahrscheinlich, dass die betreffende Person ebenfalls mit Glück gesegnet ist. In fast drei von fünf Fällen läge man mit dieser Einschätzung allerdings falsch, erklärt Rene Mottus von der University of Edinburgh.

Der Psychologe hat das Beispiel in einem Blogbeitrag gewählt, um zu illustrieren, wie problematisch es ist, die Ergebnisse von großen statistischen Analysen auf den Einzelnen herunterzubrechen. Denn ein Zusammenhang kann nicht einfach nur vorliegen oder eben nicht – er kann auch unterschiedlich stark ausgeprägt sein. Dafür kann man in statistischen Analysen ebenfalls einen Wert ermitteln: die Effektstärke. Für die Wechselbeziehung zwischen Einkommen und Zufriedenheit liegt die Effektstärke in Studien bei ungefähr 0,2, was einem kleinen bis mittleren Effekt entspricht. Veränderungen einer Variablen können dabei gerade einmal rund vier Prozent der Unterschiede bei der anderen Variablen erklären. Um auch nur in der Hälfte aller Fälle einen Menschen mit hohem Einkommen zu erwischen, der tatsächlich besonders zufrieden mit seinem Leben ist, müsste der Zusammenhang zwischen Einkommen und Glück mindestens doppelt so stark sein, wie er tatsächlich ist, schreibt Mottus. Zuverlässig vom Einkommen auf die Zufriedenheit – und umgekehrt! – kann man also höchstens bei einem abstrakten Durchschnittsmenschen schließen. Bei echten Individuen ist das eher nicht der Fall.

Menschen sind kompliziert

Zwar stoßen Psychologinnen und Psychologen auch immer wieder auf robuste Zusammenhänge. So liegt die Effektstärke für den Zusammenhang zwischen dem Abschneiden in Intelligenztests und dem schulischen Erfolg etwa bei 0,5, was einem starken Effekt entspricht. »Aber meist sind die Effekte in der Psychologie sehr klein«, sagt der Psychologe Felix Schönbrodt von der LMU München. Einer der Gründe: »Der Mensch ist mit der komplizierteste Untersuchungsgegenstand, den es gibt.«

»Eine einzelne Variable kann nur ganz wenig erklären«
Felix Schönbrodt, Psychologe

Das liegt vor allem daran, dass im echten Leben stets unzählige Einflüsse zusammenwirken. »Da kann eine einzelne Variable nur ganz wenig erklären«, erklärt Schönbrodt. So kann etwa die Lernmotivation eines Schülers an einem bestimmten Tag von verschiedensten Faktoren abhängen: Wie ist das Wetter? Hat er in der Nacht zuvor gut und ausreichend geschlafen? Sich mit einem Freund gestritten? Gestern ein Fußball-EM-Spiel geschaut? Und auch die Persönlichkeit eines Menschen wird von zahlreichen Variablen bestimmt: den Genen, Kindheitserfahrungen, wichtigen Lebensereignissen sowie dem familiären Umfeld, um nur einige Beispiele zu nennen.

Hinzu kommt, dass große statistische Korrelationsanalysen ganz grundsätzlich erst einmal wenig über eine Ursache-Wirkungs-Beziehung aussagen. Macht Geld wirklich glücklich? Oder verdienen Menschen, die ohnehin zufriedener mit ihrem Leben sind, vielleicht einfach mehr Geld – etwa weil sich ihr Wohlbefinden positiv auf ihre Arbeitshaltung und ihre Leistung auswirkt? Ebenso wäre denkbar, dass eine dritte Variable im Hintergrund sowohl Einkommen als auch Zufriedenheit steuert.

Je größer der Effekt, desto besser die Übertragbarkeit

Um Antworten auf solche Fragen zu finden, müssen Forscher und Forscherinnen letztlich Experimente unter kontrollierten Bedingungen durchführen. Doch selbst deren Ergebnisse lassen sich nicht so ohne Weiteres auf jeden Einzelnen übertragen. Denn auch hierbei werden in aller Regel größere Gruppen untersucht und am Ende Durchschnittswerte gebildet. Zum Beispiel, wenn in einer randomisiert kontrollierten Studie die Wirkung von bestimmten psychologischen Interventionen untersucht wird. »Ein Teil der Probanden liegt dann über und ein Teil unter dem durchschnittlichen Effekt«, sagt Felix Schönbrodt. Daher mache es Sinn, sich die Streuung hinter dem mittleren Effekt anzuschauen. Es könnte ja sein, dass alle wenig um den Mittelwert streuen. Dann wäre der Effekt bei allen Teilnehmern am Ende ungefähr der gleiche. Genauso sei aber eine starke Streuung denkbar. In diesem Fall träte dann bei manchen Personen eine stärkere, bei anderen eine schwächere Wirkung auf.

Wie gut man von Gruppenergebnissen auf den Einzelnen schließen kann, hängt auch hier von der Größe der gefundenen Effekte ab. »Je größer die aus Gruppenstudien ermittelten Effektstärken, desto besser ist die Genauigkeit der Vorhersage für den Einzelfall«, erklärt der Statistiker und Psychologe Heinz Holling von der Uni Münster.

Wenn kleine Effekte sich aufsummieren

Doch selbst wenn Effekte mager ausfallen, müssen sie für das echte Leben nicht unbedingt bedeutungslos sein. In einer Studie aus dem Jahr 2018 hat sich die Psychologin Sara Weston von der University of Oregon zusammen mit ihren Kollegen zwei Millionen Kontoabbuchungen von mehr als 2000 Personen angeschaut. Die Forscherinnen und Forscher wollten ermitteln, ob es einen Zusammenhang zwischen der Persönlichkeit eines Menschen und seinem Verhalten bei Weihnachtseinkäufen gibt. Und sie fanden tatsächlich einen: Je extravertierter eine Person war, desto mehr Geld gab sie im Schnitt in der Weihnachtszeit aus. Allerdings war der Effekt nur sehr schwach ausgeprägt – für den Einzelnen hat er also wenig Bedeutung. Multipliziert man ihn aber mit der Anzahl der Menschen, die sich in der Woche vor Weihnachten in einem Kaufhaus tummeln, macht die Persönlichkeit der Einkäufer für den Ladenbesitzer einen deutlichen Unterschied. Selbst kleine Effekte können sich demnach über große Gruppen hinweg anhäufen und im realen Leben relevant sein.

Obwohl Merkmale wie Verträglichkeit und Gewissenhaftigkeit das Handeln einer Person oft nur in geringem Maß beeinflussen, können sich die Folgen schnell aufsummieren

Kleine Effekte können sich jedoch nicht nur über große Gruppen hinweg, sondern auch über die Zeit hinweg anhäufen. Dann können sie für den Einzelnen durchaus relevant sein, erklären die Psychologen David Funder und Daniel Ozer von der University of California in Riverside in einem Aufsatz. Besonders offensichtlich ist das im Hinblick auf die Persönlichkeit: Obwohl stabile Merkmale wie Verträglichkeit und Gewissenhaftigkeit das Handeln einer Person oft nur in geringem Maß beeinflussen, können sich die Folgen schnell aufsummieren. In einer Überschlagsrechnung gehen die beiden Psychologen davon aus, dass die Verträglichkeit eines Menschen und sein Erfolg bei einer sozialen Interaktion ungefähr mit einer Effektstärke von 0,05 korrelieren. Ein Mensch, der sich durch Altruismus und Hilfsbereitschaft auszeichnet, ist also im Schnitt ein kleines bisschen erfolgreicher im Umgang mit anderen. Was zunächst nach einem kaum messbaren Effekt klingt, kann sich aber bereits im Lauf von 550 zwischenmenschlichen Begegnungen deutlich bemerkbar machen. Tausche sich etwa ein verträglicher Student 20-mal pro Tag mit anderen aus, hätte das schon nach weniger als einem Monat einen positiven Einfluss auf seine Beliebtheit, wie die Forscher schreiben.

Auch Felix Schönbrodt kennt solche Beispiele. Etwa, wenn jemand häufig schlecht gelaunt, verärgert oder herablassend aussieht, obwohl er überhaupt nicht so empfindet – ein Phänomen, das in der Öffentlichkeit mit unter als »Resting Bitch Face« bezeichnet wird. »In der Folge reagieren vielleicht die Mitmenschen jedes Mal einen Tick unfreundlicher auf diese Person.« Ein einzelnes negatives Feedback macht dabei zunächst nicht viel aus. Doch verhalten sich die Menschen immer wieder so, wird die betreffende Person womöglich irgendwann dünnhäutig oder zieht sich zurück.

Allerdings müsse man in jedem Fall genau hinschauen, ob sich ein kleiner Effekt wirklich mit der Zeit aufsummiert, mahnt Schönbrodt. Oder ob das Ganze eher zur Ehrenrettung der Psychologie vorgebracht wird.

Ermitteln, worauf es wirklich ankommt

Wie wichtig es ist, Effekte richtig zu bewerten, machen psychologische Interventionen deutlich. Menschen, die eine Psychotherapie beginnen, verspüren beispielsweise oft einen großen Leidensdruck. Zudem kostet die Behandlung Zeit und Geld. Nicht nur Psychologen haben also ein großes Interesse daran, herauszufinden, welche Interventionen sich auch in der Praxis bewähren. Häufig geht es in Studien bislang vor allem darum, ob ein statistisch signifikanter Unterschied zwischen der Behandlungs- und der Kontrollgruppe besteht. Gibt es einen Effekt, wird anschließend geschaut, wie groß er ist. Doch schon lange streiten Psychologen darüber, welche Aussagekraft das in der Praxis hat.

»Eine neue Idee ist, zu schauen, ob die Versuchspersonen selbst überhaupt eine Veränderung bemerken«, sagt Felix Schönbrodt. Die Psychologen Farid Anvari und Daniël Lakens von der Technischen Universität Eindhoven untersuchten 2021 die Emotionen von Probanden zu zwei verschiedenen Zeitpunkten. Dazu sollten diese auf verschiedenen Skalen angeben, wie stark sie gerade bestimmte Gefühle (etwa Aufregung, Stolz, Nervosität oder Trauer) verspürten. Außerdem wollten die Forscher bei der zweiten Befragung wissen, ob sich die Teilnehmer insgesamt besser oder schlechter fühlten als bei der ersten Fragerunde. Obwohl Anvari und Lakens auf ihren Skalen durchaus Veränderungen sehen konnten, berichteten manche Probanden, sich ähnlich wie zuvor zu fühlen – sie nahmen subjektiv also gar keinen Unterschied wahr. Solche Ergebnisse lassen sich laut Felix Schönbrodt für Interventionsstudien nutzen. »Man kann so feststellen, wie groß die Veränderung in einem psychologischen Messinstrument sein muss, damit die Patienten auch subjektiv eine merkliche Verbesserung spüren.«

Schreiben Sie uns!

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

Partnerinhalte

Bitte erlauben Sie Javascript, um die volle Funktionalität von Spektrum.de zu erhalten.