Seit einigen Jahren wachsen Zweifel an der Qualität von veröffentlichten Studien: Manche vermeintlich bahnbrechenden Ergebnisse entpuppten sich schlimmstenfalls als gefälscht oder manipuliert, und erschreckend viele ließen sich zumindest nicht vollständig bestätigen. Immerhin aber gingen daraufhin Qualitätsmanagementteams von freiwilligen Wissenschaftlern daran, das Ausmaß des Problems zu erfassen. Im Rahmen so genannter Reproduzierbarkeitsprojekte überprüfen fachlich geeignete Forscher alte Studien, so etwa vor knapp zwei Jahren im Fachbereich Psychologie. Ein entsprechendes Projekt hatte 2013 auch damit begonnen, 50 der zwischen 2010 und 2012 meistzitierten Studien aus dem Bereich der Krebsmedizin zu überprüfen. Nun stellt das Team im "Reproducibility Project: Cancer Biology" erste Resultate vor.

Die Beteiligten ziehen dabei ein frühes, eher gemischtes Zwischenfazit, nachdem sie fünf der älteren Studien zu reproduzieren versucht hatten: Beizweien ließen sich die ursprünglichen Resultate zum Großteil bestätigen, bei einer Studie nicht. Und zwei weitere Paper gaben technische Rätsel auf, die eine abschließende Beurteilung erschweren.

Vor allem würden die Zwischenresultate ein Schlaglicht auf die Probleme werfen, die das Reproduzieren von Studien mit sich bringt. So entpuppten sich die ursprünglich eingesetzten Methoden in den Veröffentlichungen als im Detail oft nur mangelhaft beschrieben. Um dieses Problem zu umgehen, mussten die Mitarbeiter des Reproduzierbarkeitsprojekts in jedem einzelnen Fall Rücksprache mit den Originalautoren halten, um das Ursprungsprotokoll exakt nachvollziehen zu können – und diese mussten dann viel Zeit etwa darauf verwenden, alte Arbeitsniederschriften und Labortagebücher zu finden und zu studieren, wenn zum Beispiel die exakte Methodik im Labor in Vergessenheit geraten war.

Zudem erwies sich die biologisch-medizinische Forschung als generell anfällig für ungeplante Überraschungen: So konnte etwa die Wirkung eines vermeintlichen Anti-Tumor-Antikörpers in einem Tierversuch unter anderem deshalb nicht bestätigt werden, weil die in die Tiere implantierten Tumoren auch ohne ihn zurückgingen. In einer anderen Studie konnte die Bedeutung von Mutationen im Gen PREX2 nicht wie geplant überprüft werden, weil die eingesetzten Krebszelllinien deutlich schneller wuchsen als im Originalexperiment. Offenbar können sich bei der Forschung an lebenden Zellen schon minimale Unterschiede im Protokoll drastisch auswirken. Es fällt demnach schon schwer, eindeutige Aussagen zu treffen, aber auch, sie anschließend sicher zu widerlegen. Die Arbeit hat sich als deutlich mühsamer und zeitaufwändiger herausgestellt als geplant, werde aber fortgesetzt, so Projektbeteiligte gegenüber "The Atlantic". Vielleicht werden aber nur rund 30 statt wie geplant 50 Studien überprüft.