Hängen die Zahl unserer Freunde bei Facebook und die Menge grauer Substanz in unserer Amygdala zusammen? Ja, berichteten unlängst Forscher um Ryota Kanai vom University College London. Dieses Ergebnis und 16 weitere haben nun ein Team niederländischer Wissenschaftler kritisch überprüft.

Ihr Fazit: Kein einziges dieser Ergebnisse habe sich replizieren lassen, fassen Wouter Boekel von der Universität Amsterdam und seine Kollegen zusammen. Als sie mit Hilfe ihrer eigenen Probandengruppe und ihren eigenen Methoden nach diesen Zusammenhängen suchten, seien sie nicht fündig geworden, erklären die Wissenschaftler und wecken so erhebliche Zweifel an den ursprünglichen Befunden (PDF der Studie).

Da die untersuchten Studien allesamt formal korrekt durchgeführt wurden und keine offenkundigen Mängel aufwiesen, wirft die gescheiterte Replikation nun erneut die Frage auf, inwieweit statistisch scheinbar einwandfreie Auswertungen letztendlich doch zu falschen Resultaten führen können. Gerade die Disziplinen Hirnforschung und Psychologie werden von diesem Problem geplagt. Kritik entzündete sich beispielsweise an der Rolle des so genannten p-Werts, dem Signifikanzniveau. Dank "p-Hacking" lassen sich etwa auch Studien veröffentlichen, deren Ergebnisse bei genauerer Prüfung in sich zusammenbrechen.

Gescheiterte Replikation oder gescheitert bei der Replikation?

Die wissenschaftliche Community fordert daher seit Langem genau solche Überprüfungen, wie sie nun beispielsweise von Boekel und Kollegen vorgelegt wurden. Doch auch die Replikationsstudien kranken an einer ganzen Anzahl von Problemen. So räumt das Team in seiner Veröffentlichung selbst ein, der Umkehrschluss lasse sich aus der gescheiterten Replikation nicht ziehen. Im Klartext: Nur weil sie beispielsweise keinen neuerlichen Beleg für einen Zusammenhang zwischen Social-Network-Freunden und der Amygdala gefunden haben, heißt das nicht, dass man einen solchen Zusammenhang nun sicher ausschließen könne. Erst weitere fehlgeschlagene Replikationsversuche könnten diese Konklusion nahelegen. Doch dass es diese geben wird, ist angesichts knapper finanzieller Mittel wenig wahrscheinlich. Und renommierte Fachmagazine räumen Negativergebnissen meist nur wenig bis gar keinen Raum ein.

Eine höchst aufschlussreiche Diskussion über Hintergründe, Einschränkungen und den Sinn und Zweck von Replikationsstudien hat sich im Blog "Neuroskeptic" entsponnen; alle Beteiligten haben sich dabei inzwischen öffentlich zu Wort gemeldet und ihre Argumente ausgetauscht, darunter der an der Replikation federführend beteiligte Methodenkritiker Eric-Jan Wagenmakers, ebenfalls von der Universität Amsterdam, der "Facebook-Studien"-Koautor Ryoto Kanai und der Editor des Journals "Cortex", in dem die Replikation erscheinen wird.

So weist Kanai darauf hin, dass die Replikationsstudie mit gerade einmal 36 Versuchsteilnehmern vermutlich gar nicht in der Lage war, die gesuchten Effekte statistisch einwandfrei nachzuweisen. Für mehr Probanden habe jedoch die finanzielle Förderung nicht ausgereicht, entgegnet ihm Wagenmakers – symptomatisch für diese Art Studien.

Rigide Methodentreue

Ein viel diskutiertes Instrument gegen (unabsichtliches) Verfälschen und Verdrehen von Studienergebnissen ist das Vorabregistrieren der geplanten Methode: Wenn bereits im Vorhinein die Vorgehensweise genauestens festgelegt ist, lässt sich auch im Nachhinein nicht mehr daran drehen, so die einfache Überlegung. Boekel et al. gelten als Verfechter dieser Praxis und hatten daher ihren Studienplan öffentlich hinterlegt. Doch wie Kanai nun argumentiert, seien dadurch methodische Fehler bei ihrer Replikationsstudie bereits vor Studienbeginn zementiert und dem Peer-Review-Prozess entzogen worden. Die von Boekel et al. verwendete Messmethode unterschätze beispielsweise die Stärke von Korrelationen.

Boekel und Kollegen hatten sich auf Studien konzentriert, die Korrelationen zwischen dem Verhalten von Versuchspersonen (sprich der Anzahl ihrer Facebook-Freunde) und der Struktur ihres Gehirns (etwa der Größe der Amygdala) gefunden hatten. Insgesamt fünf Studien mit 17 einzelnen Effekten hatten sie dazu in Augenschein genommen.

Deren Methodik hatte an und für sich keine offensichtlichen Mängel. Anders als bei vielen früheren Hirnscannerstudien wurde beispielsweise in den fünf Ursprungsveröffentlichungen sichergestellt, dass keine so genannten Voodoo-Korrelationen auftreten, ein berüchtigter methodischer Fehler, der bei der statistischen Auswertung der Messergebnisse zum Tragen kommt.