Methodenkritik: Ein Fehler kommt selten allein
Die meisten wissenschaftlichen Studien haben nur eine beschränkte Halbwertzeit. Was heute als Sensation durch die Medien geht – "Langlebigkeits-Gen gefunden!" – ist morgen bereits vergessen und übermorgen widerlegt. Bei einigen Themen produziert die Wissenschaft am laufenden Band Studien, die sich mit großer Euphorie diametral widersprechen.
Eigentlich dürfte es derartige Schwankungen nicht geben. Vor allem nicht in der medizinischen Forschung: Wer etwa heute glaubt, ein neues Heilmittel gefunden zu haben, muss seine Erkenntnisse aufwändig dokumentieren. In den wissenschaftlichen Journalen wird jedes Manuskript von mehreren Experten aus dem Fachgebiet geprüft. In der Regel genügt es, wenn einer davon das Manuskript für mangelhaft hält, um es abzulehnen. Das soll verhindern, dass fehlerhafte Forschungsergebnisse unberechtigte Hoffnungen wecken.
Theoretisch ist dieses System gut gegen Irrtümer gewappnet. Aber die Praxis ist ein wahres Fehlerfiasko: Das jedenfalls geht aus den Forschungen des griechisch-amerikanischen Mediziners John Ioannidis hervor, der die Veröffentlichungen seiner Kollegen erst an der US-amerikanischen Harvard University, später am National Institute of Health statistisch auswertete.
Ioannidis publizierte seine Arbeit 2005 unter dem Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind". Der Großteil aller Studien, behauptet der Mediziner, sei wertlos, weil sie Ergebnisse von zu wenigen Probanden auswerten oder keine Kontrollgruppen anlegen. Es sind Studien, bei denen ein, zwei Dutzend junge Männer ins Labor geholt und vor den Videospielmonitor gesetzt werden, während der Forscher ihre Hirnströme untersucht.
Bei derart wenigen Probanden kann alles Mögliche passieren; eine solche Gruppe ist viel zu klein, um das Ergebnis gegen statistische Ausreißer oder Messfehler abzusichern. Fallen nur zwei der Videospieler in einer solchen Gruppe durch Aggressionen auf, heißt es hinterher, "zehn Prozent aller jungen Männer werden durch Videospiele aggressiv". Werden solche Studien später wiederholt, kommt es oft zu völlig anderen Resultaten. Eigentlich sind Studien mit wenigen Probanden und ohne Kontrollgruppe fahrlässig, doch sie sind vergleichsweise billig, und sie liefern die spektakulärsten Ergebnisse. Und sie machen 80 Prozent (!) aller veröffentlichten Arbeiten aus.
Aber selbst Studien auf höchstem wissenschaftlichem Niveau – groß angelegt, mit neutraler Kontrollgruppe – sind häufig fehlerhaft ...
Schreiben Sie uns!
Beitrag schreiben