Als der Computerwissenschaftler Albert-László Barabási von der North-East University in Boston, Massachusetts, im April 2020 ein Paper bei dem Preprintserver bioRxiv einreichte, erhielt er eine überraschende Antwort. Das biomedizinische Repositorium würde keine Manuskripte mehr annehmen, die allein auf der Grundlage von Computermodellen und Berechnungen Vorhersagen über die Behandlung von Covid-19 machen. Das bioRxiv-Team schlug Barabási vor, seine Studie für ein schnelles Begutachtungsverfahren bei einem Fachmagazin einzureichen, anstatt sie vorab auf einem Dokumentenserver zu veröffentlichen.

Die Veröffentlichungsstandards für Untersuchungen, die sich mit der Coronavirus-Pandemie befassen, sind derzeit im Wandel. Kein Wunder, denn schließlich forschen Wissenschaftler auf der ganzen Welt mit Hochdruck, um der Krise Herr zu werden. Preprintserver, auf denen Forscher ihre Manuskripte veröffentlichen können, noch bevor diese von Fachkollegen begutachtet worden sind (ein Prozess, den man auch als »peer review« bezeichnet), werden mit Studien überflutet. Die beiden populärsten Server für die Coronavirus-Forschung, bioRxiv und medRxiv, haben mittlerweile fast 3000 Studien zum Thema publiziert.

Die Vorzüge liegen dabei auf der Hand: Mit Hilfe der Dokumentenserver können Ergebnisse schnell verbreitet werden, als Informationsgrundlage für Politiker dienen und weitere Forschung ankurbeln, die vielleicht zur Entwicklung von Impfstoffen oder Medikamenten führt. Doch ohne einen ausführlichen Begutachtungsprozess ist es schwierig, die Qualität der Arbeiten zu beurteilen; und schlechte Forschungsergebnisse zu verbreiten, kann Schaden anrichten, insbesondere, wenn daraus Schlüsse für die medizinische Praxis gezogen werden. Das hat dazu geführt, dass Plattformen wie bioRxiv und medRxiv ihre üblichen Screeningverfahren verbessert haben.

»Wir haben einige verrückte Behauptungen und Vorhersagen in Bezug auf Dinge gesehen, mit denen man Covid-19 behandeln könnte«, sagt Richard Sever, Mitbegründer beider Server. Ein Großteil dieser Arbeiten würde auf Computermodellen und Berechnungen basieren. Deshalb beschloss das Team in Rücksprache mit Experten, solche Studien von bioRxiv auszuschließen. »Wir können nicht die Nebenwirkungen aller Medikamente überprüfen, und wir werden auch kein peer review durchführen, um herauszufinden, ob die Modellierungen, die verwendet werden, eine solide Grundlage haben«, erklärt Sever. »Manche Arbeiten sollten ein Begutachtungsverfahren durchlaufen, anstatt vorab auf einem Dokumentenserver verbreitet zu werden.«

Barabási versteht die Notwendigkeit, die Sicherheit der Patienten zu gewährleisten. Mit der Entscheidung er dennoch nicht einverstanden. »Gerade das Coronavirus schafft eine Umgebung, in der man teilen muss«, sagt er. Der Zweck eines Preprintservers, so Barabási, »besteht darin, dass wir entscheiden, was interessant ist, und nicht die Schiedsrichter.« Am Ende veröffentlichte er seine Studie auf dem Preprintserver arXiv.

Auch Dokumentenserver überprüfen eingereichte Studien

ArXiv wurde vor fast 30 Jahren gegründet und war das erste große Preprint-Repositorium. In den vergangenen Jahren sind zahlreiche regionale und fachspezifische Dokumentenserver hinzugekommen. Die Screening-Methoden sind unterschiedlich, doch eine Analyse von 44 Servern, die Forscher Ende April auf bioRxiv veröffentlichten, ergab, dass die meisten von ihnen über Qualitätskontrollsysteme verfügen. Rund 75 Prozent der Anbieter stellen öffentlich Informationen über ihre Screeningverfahren zur Verfügung, bei einem knappen Drittel der Server überprüfen unter anderem Wissenschaftler die eingereichten Arbeiten anhand von Kriterien wie etwa der Relevanz des Inhalts. »Ein scheint ein Missverständnis dahingehend zu geben, dass Preprintserver Arbeiten nicht überprüfen«, sagt Jamie Kirkham, Biostatistiker an der University of Manchester in Großbritannien, und Koautor der Studie. »Wir haben festgestellt, dass die meisten dies tatsächlich tun.«

BioRxiv und medRxiv haben einen zweistufigen Überprüfungsprozess. Zunächst werden eingereichte Paper von internen Mitarbeitern auf Plagiate und Unvollständigkeiten geprüft. Dann nehmen Wissenschaftler und Fachspezialisten, die sich freiwillig gemeldet haben, die Manuskripte unter die Lupe und durchsuchen die Arbeiten nach unwissenschaftlichen Inhalten oder nach Aussagen, die eine Gefahr für die Gesundheit oder die Biosicherheit darstellen könnten. Hin und wieder kennzeichnen die Begutachter auch Arbeiten zur weiteren Überprüfung durch Richard Sever oder die Mitglieder der Führungsriege. Bei bioRxiv ist dieser Prozess in der Regel innerhalb von 48 Stunden abgeschlossen. Bei medRxiv werden die eingereichten Studien genauer begutachtet, da sie für die menschliche Gesundheit möglicherweise von größerer Bewandtnis sind. Die Bearbeitungszeit beträgt hier meist vier bis fünf Tage.

Richard Sever betont dabei, dass der Überprüfungsprozess hauptsächlich dazu dient, Arbeiten zu identifizieren, die Schaden anrichten könnten – zum Beispiel solche, die behaupten, dass Impfen Autismus verursache oder dass es keinen Zusammenhang zwischen Rauchen und Krebs gebe. Für die medizinische Forschung schließt das auch mit ein, dass Studien gekennzeichnet werden, die verbreiteten Gesundheitsratschlägen widersprechen oder unzulässige Kausalzusammenhänge konstruieren. Die eigentliche Qualität der Arbeiten steht aber nicht im Vordergrund.

Während der Pandemie halten die Gutachter nun allerdings auch nach anderen Arten von Inhalten Ausschau, die noch einmal genauer überprüft werden müssen – einschließlich Studien, die Verschwörungstheorien nähren könnten. Dieses zusätzliche Screening wurde bei bioRxiv und medRxiv nach der Reaktion auf einen inzwischen zurückgezogenen bioRxiv-Artikel eingeführt, der Ähnlichkeiten zwischen HIV und dem neuen Coronavirus aufzeigte. Wissenschaftler kritisierten die Arbeit prompt als schlecht. Zudem stütze sie ein falsches Narrativ über den Ursprung von Sars-CoV-2.

Die verstärkten Kontrollen und die schiere Menge an Einreichungen haben dazu geführt, dass die Dokumentenserver mehr Menschen beschäftigen müssen. Aber selbst mit der zusätzlichen Hilfe arbeiten die meisten Mitarbeiter von bioRxiv und medRxiv laut Sever sieben Tage pro Woche.

Bei arXiv und ChemRxiv, einem Preprintserver für Chemie, sind ebenfalls zahlreiche Studie zu Covid-19 eingegangen. ArXiv hat mehr als 800 und ChemRxiv etwa 200 Beiträge veröffentlicht. Beide Plattformen haben ihre Screeningverfahren für Paper, die im Zusammenhang mit dem neuen Coronavirus stehen, ebenfalls verbessert, auch wenn keine von ihnen die Veröffentlichung von Daten, die rein auf Computermodellen basieren, ausschließt. »Wenn alle [Preprintplattformen] die gleichen Standards hätten, dann würden wir systematisch die gleichen Stimmen ausschließen«, sagt Steinn Sigurdsson, wissenschaftlicher Direktor von arXiv. Marshall Brennan von ChemRxiv erklärt, dass man sich mehr Freiheiten nehme, Manuskripte an Autoren zurückzusenden, wenn es darin um Therapien und Behandlungsmöglichkeiten gehe. In einem Paper hätten die Autoren etwa ein einfaches Hausmittel zur Behandlung von Covid-19 vorgeschlagen, wobei ihre Daten lediglich auf einer Computeranalyse beruhten. Diese Studie habe man unverzüglich abgelehnt.

Beschleunigte Begutachtung

Die Fülle an Forschungsarbeiten, die sich mit dem neuen Coronavirus befassen, beeinflusst aber auch die deutlich gründlicheren und ausführlicheren Peer-Review-Verfahren, die Fachzeitschriften vor der Veröffentlichung durchführen. Mehrere Titel, darunter »Science«, die Journals von »Cell Press«, »The BMJ« und »Nature«, berichten, dass sie ihren Peer-Review-Prozess auf Grund der zahlreichen Einreichungen beschleunigt haben, um eine schnelle Verbreitung der Forschungsergebnisse zu gewährleisten.

Eine im April 2020 auf bioRxiv veröffentlichte Studie zeigt, dass viele medizinische Fachzeitschriften den Veröffentlichungsprozess für Covid-19-Paper drastisch beschleunigt haben. Die Analyse, die insgesamt 14 Magazine umfasst, ergab, dass die durchschnittliche Bearbeitungszeit in den vergangenen Wochen von 117 auf 60 Tage gesunken ist. (Dabei fehlen allerdings mehrere einflussreiche Zeitschriften wie »JAMA«, »The Lancet« und »The New England Journal of Medicine«, da hier nicht genug Daten zur Verfügung standen.) Bei manchen Journals vergingen von der Einreichung bis zur Veröffentlichung nicht einmal zwei Wochen. »Da fragt man sich schon, wie gründlich dieser Prozess wirklich ist«, sagt der Autor der Studie, Serge Horbach, Doktorand an der Radboud Universität im niederländischen Nimwegen.

Howard Bauchner, dem Chefredakteur von »JAMA«, ist aufgefallen, dass häufiger schlechte Arbeiten eingereicht werden. Die Zeitschriften des »JAMA«-Netzwerks haben im ersten Quartal des Jahres 2020 53 Prozent mehr Studien erhalten als im gleichen Zeitraum 2019. »Viele davon beziehen sich auf Covid-19, aber die meisten sind von geringer Qualität«, sagt Bauchner.

»Man fragt sich schon, wie gründlich dieser Prozess wirklich ist«
Serge Horbach, Radboud Universität

Um die Ergebnisse schnell überprüfen und Forschungsarbeiten zu Covid-19 rasch veröffentlichen zu können, wollen manche nun Menschen mit einschlägiger Fachkenntnis dazu aufrufen, sich auf einer Liste von Schnellgutachtern einzutragen. Zu den Mitgliedern der Initiative gehört auch »Outbreak Science Rapid PREreview«, eine Plattform, auf der Forscher die umgehende Begutachtung von Manuskripten anbieten oder einfordern können, die mit aktuellen Ausbrüchen von Infektionskrankheiten zusammenhängen.

Auch im Hinblick auf den beschleunigten Veröffentlichungsprozess dürfe man jedoch nicht vergessen, dass »die Rolle einer Fachzeitschrift darin besteht, zu sagen: ›Das wurde von Fachkollegen begutachtet, statistisch überprüft und man kann sich darauf verlassen‹, und nicht: ›Das kommt so schnell wie möglich bei Ihnen an‹«, sagt Theodora Bloom, Redakteurin bei »The BMJ« und Mitbegründerin von medRxiv. Dennoch würden die eingereichten Studien zu Covid-19 bei ihrer Zeitschrift »so schnell wie möglich bearbeitet werden«.

Im Gegensatz zu Preprintservern lässt die Veröffentlichung in einem Fachjournal Forschungsarbeiten glaubhaft und zuverlässig erscheinen, sagt Horbach. »Steht darin Unsinn, ist das potenziell noch viel schädlicher.«

Dieser Artikel ist im Original unter dem Titel »How swamped preprint servers are blocking bad coronavirus research« bei »Nature« erschienen.