Direkt zum Inhalt
Login erforderlich
Dieser Artikel ist Abonnenten mit Zugriffsrechten für diese Ausgabe frei zugänglich.

Methodenkritik: Ein Fehler kommt selten allein

Trau keiner Studie, die nicht mehrfach repliziert wurde! Denn ein neuer Befund ist oft nur das Produkt aus Zufall und der Bevorzugung vermeintlich spektakulärer Befunde.
Lob des Irrtums

Die meisten wissenschaftlichen Studien haben nur eine beschränkte Halbwertzeit. Was heute als Sensation durch die Medien geht – "Langlebigkeits-Gen gefunden!" – ist morgen bereits vergessen und übermorgen widerlegt. Bei einigen Themen produziert die Wissenschaft am laufenden Band ­Studien, die sich mit großer Euphorie diametral widersprechen.

Eigentlich dürfte es derartige Schwankungen nicht geben. Vor allem nicht in der medizini­schen Forschung: Wer etwa heute glaubt, ein neues Heilmittel gefunden zu haben, muss seine Erkenntnisse aufwändig dokumentieren. In den wissenschaftlichen Journalen wird jedes Manuskript von mehreren Experten aus dem Fachgebiet geprüft. In der Regel genügt es, wenn einer davon das Manuskript für mangelhaft hält, um es abzulehnen. Das soll verhindern, dass fehlerhafte Forschungsergebnisse unberechtigte Hoffnungen wecken.

Theoretisch ist dieses System gut gegen Irrtümer gewappnet. Aber die Praxis ist ein wahres Fehlerfiasko: Das jedenfalls geht aus den Forschungen des griechisch-amerikanischen Mediziners John Ioannidis hervor, der die Veröffentlichungen seiner Kollegen erst an der US-amerikanischen Harvard University, später am National Institute of Health statistisch auswertete.

Ioannidis publizierte seine Arbeit 2005 unter dem Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind". Der Großteil aller Studien, behauptet der Mediziner, sei wertlos, weil sie Ergebnisse von zu wenigen Probanden auswerten oder keine Kontrollgruppen anlegen. Es sind Studien, bei denen ein, zwei Dutzend junge Männer ins Labor geholt und vor den Vi­deospielmonitor gesetzt werden, während der Forscher ihre Hirnströme untersucht.

Bei derart wenigen Probanden kann alles Mögliche passieren; eine solche Gruppe ist viel zu klein, um das Ergebnis gegen statistische Ausreißer oder Messfehler abzusichern. Fallen nur zwei der Videospieler in einer solchen Gruppe durch Aggressionen auf, heißt es hinterher, "zehn Prozent aller jungen Männer werden durch Videospiele aggressiv". Werden solche Studien später wiederholt, kommt es oft zu völlig anderen Resultaten. Eigentlich sind Studien mit wenigen Probanden und ohne Kontrollgruppe fahrlässig, doch sie sind vergleichsweise billig, und sie liefern die spektakulärsten Ergebnisse. Und sie machen 80 Prozent (!) aller veröffentlich­ten Arbeiten aus.

Aber selbst Studien auf höchstem wissenschaftlichem Niveau – groß angelegt, mit neutraler Kontrollgruppe – sind häufig fehlerhaft ...

Dieser Beitrag ist ein leicht gekürzter Auszug aus Lob des Irrtums. Warum es ohne Fehler keinen Fortschritt gibt von Jürgen Schaefer, erschienen bei C. Bertelsmann, München 2014

Kennen Sie schon …

Gehirn&Geist – Aus Fehlern lernen

Missgeschicke gehören zum Leben dazu. Unser Gehirn bemerkt sie oft blitzschnell. Wie registriert unser Gehirn, wenn wir uns irren, wie reagiert es darauf und warum lernt das Gehirn nicht immer aus den Fehlern? Daneben berichten wir, aus welchen Gründen manche Kinder den Kontakt zu ihren Eltern abbrechen und wie eine Annäherung vielleicht gelingen kann. Therapien von Morbus Alzheimer konzentrierten sich auf die Bekämpfung der Amyloid-Plaques. Doch man sollte dringend die Ablagerungen des Tau-Proteins stärker in den Blick nehmen. Die Folgen des hybriden Arbeitens rücken zunehmend in den Fokus der Forschung. Es führt zu einer höheren Zufriedenheit bei den Angestellten. Allerdings gibt es auch Nachteile. Bremst das Homeoffice die Kreativität? Daneben gehen wir der Frage nach, ob Tiere empathisch sind.

Spektrum - Die Woche – Wie die Guinness-Brauerei den t-Test erfand

Wer hätte gedacht, dass eine Brauerei der Geburtsort für eine der wichtigsten mathematischen Methoden ist? Dem Guiness-Bier haben wir zu verdanken, dass Ergebnisse in der Wissenschaft als statistisch signifikant gewertet werden können. Außerdem in dieser »Woche«: Wie Rauchen das Immunsystem stört.

Spektrum Psychologie – Kann die Persönlichkeit krank machen?

Der eine frisst den Ärger in sich hinein, der andere geht beim kleinsten Ärgernis in die Luft. Werden mache Menschen deshalb eher schwer krank? Das klären wir in dieser Ausgabe. Außerdem erzählen wir die Geschichte von Ella und ihren zwölf Ichs und beleuchten die Vor- und Nachteile des Auswanderns.

  • Quellen

Ioannidis, J. P. A.:Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. In: The Journal of the American Medical Association 294, S. 218–228, 2005

Ioannidis, J. P. A.:Why Most Published Research Findings Are False. In: PLoS Medicine 2, e124, 2005

Young, N. S. et al.:Why Current Publication Practices May Distort Science. In: PLoS Medicine 5, e201, 2008

Schreiben Sie uns!

Beitrag schreiben

Wir freuen uns über Ihre Beiträge zu unseren Artikeln und wünschen Ihnen viel Spaß beim Gedankenaustausch auf unseren Seiten! Bitte beachten Sie dabei unsere Kommentarrichtlinien.

Tragen Sie bitte nur Relevantes zum Thema des jeweiligen Artikels vor, und wahren Sie einen respektvollen Umgangston. Die Redaktion behält sich vor, Zuschriften nicht zu veröffentlichen und Ihre Kommentare redaktionell zu bearbeiten. Die Zuschriften können daher leider nicht immer sofort veröffentlicht werden. Bitte geben Sie einen Namen an und Ihren Zuschriften stets eine aussagekräftige Überschrift, damit bei Onlinediskussionen andere Teilnehmende sich leichter auf Ihre Beiträge beziehen können. Ausgewählte Zuschriften können ohne separate Rücksprache auch in unseren gedruckten und digitalen Magazinen veröffentlicht werden. Vielen Dank!

Bitte erlauben Sie Javascript, um die volle Funktionalität von Spektrum.de zu erhalten.