Wissenschaftliches Publizieren: Trau, schau, wem
Wenn neue Versuchsergebnisse alte Lehrbuchkenntnisse bestätigen, so ist das für Forscher zum einen frustrierend, zum anderen aber beruhigend - die Daten werden wohl auf wenig Zweifel stoßen. Widersprechen sie der gängigen Meinung jedoch, werden nicht nur Gutachter, sondern auch Fachkollegen wohl eher stutzen. Wie stark prägt also bereits Publiziertes die aktuelle Arbeit am Labortisch?
Wer nicht gerade etwas völlig Exotisches erforscht, der steht heute vor einer riesigen und kaum noch zu bewältigenden Informationsflut von wissenschaftlichen Aufsätzen – egal, welche Disziplin. Allein in der biomedizinischen Forschung wurden in den vergangenen zehn Jahren mehr als fünf Millionen Publikationen mit neuen Ergebnissen, aber auch zusammenfassenden Übersichten veröffentlicht. Wer da den Überblick behalten will, ob Protein A vielleicht Gen B reguliert, der hat in den entsprechenden Literaturdatenbanken gut zu tun. Nicht umsonst erfreuen sich entsprechend automatisierte Suchroboter für den Textdschungel immer größerer Beliebtheit.
Angenommen, ein solcher spuckt nun zehn Ergebnisse aus: Drei besagen, das Protein hat eine Wirkung, fünf sprechen diese ab, und die letzten zwei sind in sich etwas widersprüchlich – wie wirkt sich das nun auf den Doktoranden aus, dessen letzte Versuche an Mäusen eher gegen die Regulation sprechen, während seine Kollegin an Katzen eindeutig einen Effekt beobachtet? Wird er seine Resultate skeptisch in die Schublade stecken und die Experimente noch einmal überprüfen? Oder nach dem Motto "Jetzt erst recht" auf der nächsten Tagung in die Runde werfen?
Andrey Rzhetsky von der Columbia-Univesität in New York und seinen Kollegen dürfte der Gewissenskonflikt bekannt sein, und als Bioinformatiker griffen sie zu ihrem typischen Arbeitsmittel – dem Computer –, um eine Einschätzung zu gewinnen. Sie nutzten das Geneways-Datenprogramm, um Millionen von Aussagen zum Thema Protein-Gen-Wechselwirkungen zu durchforsten, und analysierten, inwieweit eine frühere Veröffentlichung den Inhalt nachfolgender Publikationen beeinflusste.
Dabei berücksichtigten sie eine ganze Reihe von Einschränkungen. So war den Wissenschaftlern klar, dass ein positives Ergebnis – eine nachgewiesene Interaktion beispielsweise – eher publiziert wird als eine negative. Auch räumten sie in ihrem Modell die Möglichkeit ein, dass Experimente mit falsch positiven Resultaten den Weg in die Fachliteratur finden, und natürlich jede Regel ihre – durchaus auch korrekte – Ausnahme haben kann. Sie vergaßen auch nicht, dass eine automatische Textanalyse nicht unterscheiden kann zwischen neuen experimentellen Daten und der Wiederholung der Ergebnisse anderer – auch dieser Faktor wurde eingerechnet, ebenso wie der psychologische Effekt, dass ein Unterschied bestehen dürfte in der Wahrnehmung zwischen mehrfach bestätigten Resultaten und Ausreißern aus dem allgemeinen Meinungsbild.
Alles in allem kristallierte sich schließlich aus den analysierten Daten vor allem das Bild vom Forschertypus des milden Skeptikers heraus, der andere Ergebnisse zwar umfangreich zur Kenntnis nimmt und mit eigenen Arbeiten vergleicht – das größte Vertrauen aber doch den eigenen Resultaten schenkt. So ermittelten Rzhetsky und Co einen deutlichen Einfluss anderer, wobei die Vertreter der gängigen Meinung stärker wirkten als exotischere Ansichten. Die jeweils selbst erstellten Daten aber erhielten mindestens das zehnfache Gewicht.
Doch die Palette bot noch mehr. Rzhetsky und seine Mitarbeiter konnten auch den Wissenschaftler nachweisen, den allein die eigene Arbeit kümmert – was Kollegen veröffentlichen, interessiert ihn nicht und beeinflusst ihn dementsprechend auch nicht. Er macht sich in seiner Gedankenwelt völlig unabhängig von anderen. Das entgegengesetzte Extrem zeigte sich als Superkonformismus: Jegliche vorangehende mit den eigenen Ergebnissen übereinstimmende Erkenntnis wirkt sich so stark auf den Forscher aus, dass seine folgenden Interpretationen ausnahmslos in dieselbe Richtung tendieren. Wären alle so gestrickt, entstünde bald ein recht einheitliches, alles andere als unabhängiges Meinungsbild, in dem "unpassende" Ergebnisse kaum eine Chance haben.
Ganz anders hingegen beim nächsten Typ: Ihn bestärken und inspirieren insbesondere jene Aufsätze, die dem allgemeinen Bild widersprechen. Auch seine Schlussfolgerungen sind also in hohem Maße von früheren Arbeiten abhängig. Ein Kuriosum der besonderen Art stellt noch eine Art Mischung der beiden letzten Formen dar: Solange keine Konflikte auftreten, folgt der jeweilige Wissenschaftler der vorwiegend publizierten Meinung, tauchen jedoch erste Missstimmungen auf, wird aus dem Verfechter plötzlich ein Gegner, der sich nun auf die Seite der Umstürzler stellt.
Jedenfalls spielt damit die Meinung im Kollegenkreis offenbar eine entscheidende Rolle für die Weiterentwicklung wissenschaftlicher Ideen – frühere Erkenntnisse werden zu regelrechten Miniparadigmen. Überrascht allerdings stellte das Team um Rzhetsky fest, dass nur der Einfluss früherer Publikationen beim häufigsten Typs des milden Skeptikers ganz und gar nicht ausreichte, um die enge Verknüpfung der aufeinander folgenden Interpretationen zu erklären. Und auch ein simples, häufiges Nachplappern früherer Erkenntnisse genügte nicht für das beobachtete Muster. Was also sorgte dann dafür, dass Neues so stark auf Altes baute?
Vielleicht einfach die Tatsache, dass Experimente seltenst falsche Ergebnisse liefern und die Zahl positiver Resultate bei Weitem überwiegt, spekulieren Rzhetsky und seine Kollegen – sie nennen diese mögliche Erklärung entsprechend ihre "Optimistenwelt". Doch eine statistische Analyse lieferte mit selber Wahrscheinlichkeit auch die genau entgegengesetzte Möglichkeit: Eine "Pessimistenwelt", in der eigentlich keinem Ergebnis zu trauen und jede zufällig ausgewählte positive Aussage eher falsch als richtig ist. Aus beiden Extremen erwachse schließlich gleichermaßen eine stark von früheren Studien beeinflusste Forschung.
Damit allerdings wird es zur entscheidenden Qualitätsfrage, in welcher der beiden Welten wir leben. Denn im pessimistischen Fall würden sich so ganz einfach und laufend falsche wissenschaftliche Erkenntnisse etablieren. Hier müsste dann eine Umgestaltung des Publikationsprozesses oder ein neues Bewertungsverfahren Abhilfe schaffen, geben die Forscher zu bedenken. Im optimistischen Fall aber liefe der wissenschaftliche Fortschritt wie geschmiert – und der Doktorand, der seine Ergebnisse nicht in der Schublade vergräbt, wäre auf dem richtigen Weg.
Angenommen, ein solcher spuckt nun zehn Ergebnisse aus: Drei besagen, das Protein hat eine Wirkung, fünf sprechen diese ab, und die letzten zwei sind in sich etwas widersprüchlich – wie wirkt sich das nun auf den Doktoranden aus, dessen letzte Versuche an Mäusen eher gegen die Regulation sprechen, während seine Kollegin an Katzen eindeutig einen Effekt beobachtet? Wird er seine Resultate skeptisch in die Schublade stecken und die Experimente noch einmal überprüfen? Oder nach dem Motto "Jetzt erst recht" auf der nächsten Tagung in die Runde werfen?
Andrey Rzhetsky von der Columbia-Univesität in New York und seinen Kollegen dürfte der Gewissenskonflikt bekannt sein, und als Bioinformatiker griffen sie zu ihrem typischen Arbeitsmittel – dem Computer –, um eine Einschätzung zu gewinnen. Sie nutzten das Geneways-Datenprogramm, um Millionen von Aussagen zum Thema Protein-Gen-Wechselwirkungen zu durchforsten, und analysierten, inwieweit eine frühere Veröffentlichung den Inhalt nachfolgender Publikationen beeinflusste.
Dabei berücksichtigten sie eine ganze Reihe von Einschränkungen. So war den Wissenschaftlern klar, dass ein positives Ergebnis – eine nachgewiesene Interaktion beispielsweise – eher publiziert wird als eine negative. Auch räumten sie in ihrem Modell die Möglichkeit ein, dass Experimente mit falsch positiven Resultaten den Weg in die Fachliteratur finden, und natürlich jede Regel ihre – durchaus auch korrekte – Ausnahme haben kann. Sie vergaßen auch nicht, dass eine automatische Textanalyse nicht unterscheiden kann zwischen neuen experimentellen Daten und der Wiederholung der Ergebnisse anderer – auch dieser Faktor wurde eingerechnet, ebenso wie der psychologische Effekt, dass ein Unterschied bestehen dürfte in der Wahrnehmung zwischen mehrfach bestätigten Resultaten und Ausreißern aus dem allgemeinen Meinungsbild.
Alles in allem kristallierte sich schließlich aus den analysierten Daten vor allem das Bild vom Forschertypus des milden Skeptikers heraus, der andere Ergebnisse zwar umfangreich zur Kenntnis nimmt und mit eigenen Arbeiten vergleicht – das größte Vertrauen aber doch den eigenen Resultaten schenkt. So ermittelten Rzhetsky und Co einen deutlichen Einfluss anderer, wobei die Vertreter der gängigen Meinung stärker wirkten als exotischere Ansichten. Die jeweils selbst erstellten Daten aber erhielten mindestens das zehnfache Gewicht.
Doch die Palette bot noch mehr. Rzhetsky und seine Mitarbeiter konnten auch den Wissenschaftler nachweisen, den allein die eigene Arbeit kümmert – was Kollegen veröffentlichen, interessiert ihn nicht und beeinflusst ihn dementsprechend auch nicht. Er macht sich in seiner Gedankenwelt völlig unabhängig von anderen. Das entgegengesetzte Extrem zeigte sich als Superkonformismus: Jegliche vorangehende mit den eigenen Ergebnissen übereinstimmende Erkenntnis wirkt sich so stark auf den Forscher aus, dass seine folgenden Interpretationen ausnahmslos in dieselbe Richtung tendieren. Wären alle so gestrickt, entstünde bald ein recht einheitliches, alles andere als unabhängiges Meinungsbild, in dem "unpassende" Ergebnisse kaum eine Chance haben.
Ganz anders hingegen beim nächsten Typ: Ihn bestärken und inspirieren insbesondere jene Aufsätze, die dem allgemeinen Bild widersprechen. Auch seine Schlussfolgerungen sind also in hohem Maße von früheren Arbeiten abhängig. Ein Kuriosum der besonderen Art stellt noch eine Art Mischung der beiden letzten Formen dar: Solange keine Konflikte auftreten, folgt der jeweilige Wissenschaftler der vorwiegend publizierten Meinung, tauchen jedoch erste Missstimmungen auf, wird aus dem Verfechter plötzlich ein Gegner, der sich nun auf die Seite der Umstürzler stellt.
Jedenfalls spielt damit die Meinung im Kollegenkreis offenbar eine entscheidende Rolle für die Weiterentwicklung wissenschaftlicher Ideen – frühere Erkenntnisse werden zu regelrechten Miniparadigmen. Überrascht allerdings stellte das Team um Rzhetsky fest, dass nur der Einfluss früherer Publikationen beim häufigsten Typs des milden Skeptikers ganz und gar nicht ausreichte, um die enge Verknüpfung der aufeinander folgenden Interpretationen zu erklären. Und auch ein simples, häufiges Nachplappern früherer Erkenntnisse genügte nicht für das beobachtete Muster. Was also sorgte dann dafür, dass Neues so stark auf Altes baute?
Vielleicht einfach die Tatsache, dass Experimente seltenst falsche Ergebnisse liefern und die Zahl positiver Resultate bei Weitem überwiegt, spekulieren Rzhetsky und seine Kollegen – sie nennen diese mögliche Erklärung entsprechend ihre "Optimistenwelt". Doch eine statistische Analyse lieferte mit selber Wahrscheinlichkeit auch die genau entgegengesetzte Möglichkeit: Eine "Pessimistenwelt", in der eigentlich keinem Ergebnis zu trauen und jede zufällig ausgewählte positive Aussage eher falsch als richtig ist. Aus beiden Extremen erwachse schließlich gleichermaßen eine stark von früheren Studien beeinflusste Forschung.
Damit allerdings wird es zur entscheidenden Qualitätsfrage, in welcher der beiden Welten wir leben. Denn im pessimistischen Fall würden sich so ganz einfach und laufend falsche wissenschaftliche Erkenntnisse etablieren. Hier müsste dann eine Umgestaltung des Publikationsprozesses oder ein neues Bewertungsverfahren Abhilfe schaffen, geben die Forscher zu bedenken. Im optimistischen Fall aber liefe der wissenschaftliche Fortschritt wie geschmiert – und der Doktorand, der seine Ergebnisse nicht in der Schublade vergräbt, wäre auf dem richtigen Weg.
Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.