Strenge und Transparenzmaßnahmen könnten dazu beitragen, die Reproduzierbarkeit in der wissenschaftlichen Literatur zu verbessern

JMIR Publications veröffentlichte kürzlich „Establishing Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality“ im Journal of Medical Internet Research (JMIR), in dem berichtet wurde, dass die Verbesserung der Strenge und Transparenzmaßnahmen zu einer Verbesserung der Reproduzierbarkeit führen sollte die wissenschaftliche Literatur, aber die Bewertung von Transparenzmaßnahmen ist in der Regel sehr schwierig, wenn sie manuell von Gutachtern durchgeführt wird.

Das übergeordnete Ziel dieser Studie ist es, eine Messgröße für die Qualität der wissenschaftlichen Berichterstattung zu erstellen, die institutionen- und länderübergreifend verwendet werden kann, sowie die Notwendigkeit einer qualitativ hochwertigen Berichterstattung hervorzuheben, um die Reproduzierbarkeit innerhalb der Biomedizin sicherzustellen, wobei Manuskripte aus dem Reproducibility Project verwendet werden: Krebsbiologie.

Die Autoren befassen sich mit einer Verbesserung des zuvor eingeführten Rigor and Transparency Index (RTI), der versucht, die Strenge und Transparenz von Zeitschriften, Institutionen und Ländern automatisch zu bewerten, indem er Manuskripte verwendet, die nach Kriterien bewertet werden, die in Reproduzierbarkeitsrichtlinien (z. B. NIH, MDAR, ARRIVE ).

Unter Verwendung der Arbeit des Reproducibility Project: Cancer Biology konnten die Autoren feststellen, dass Replikationsstudien signifikant besser abschneiden als die Originalarbeiten, die laut Projekt alle zusätzliche Informationen von den Autoren erforderten, um mit den Replikationsbemühungen zu beginnen.

Leider schneiden die FTI-Maßnahmen für Zeitschriften, Institutionen und Länder derzeit allesamt schlechter ab als der Durchschnitt der Replikationsstudie. Wenn sie die RTI dieser Replikationsstudien als Ziel für zukünftige Manuskripte nehmen, ist mehr Arbeit erforderlich, um sicherzustellen, dass das durchschnittliche Manuskript genügend Informationen für Replikationsversuche enthält.

Dr. Anita Bandrowski von der University of California San Diego sagte: „Die Reproduzierbarkeit der Forschung ist für den wissenschaftlichen Fortschritt notwendig. Im Laufe des letzten Jahrzehnts haben jedoch zahlreiche Berichte über die Nichtreproduzierbarkeit der Forschung Licht auf ein anhaltendes Problem geworfen, das sich als problematisch erweist und teuer.“

Um die Reproduzierbarkeit zu fördern, haben zahlreiche wissenschaftliche Organisationen und Zeitschriften die Richtlinien zur Förderung von Transparenz und Offenheit angenommen, die sich auf die Etablierung bewährter Verfahren auf Ebene einzelner Zeitschriften konzentrieren.

In ähnlicher Weise ist das verlagsgesteuerte Materials Design, Analysis, and Reporting Framework ein multidisziplinäres Forschungsframework, das darauf ausgelegt ist, die Transparenz der Berichterstattung in der biowissenschaftlichen Forschung auf der Ebene einzelner Manuskripte zu verbessern.

Dieser Rahmen bietet eine konsistente Checkliste für die Mindestberichterstattung, deren Kriterien teilweise verwendet wurden, um die erste RTI zu erstellen, eine Zeitschriftenqualitätsmetrik, die sich auf Forschungsmethoden und Berichtstransparenz konzentriert.

Insbesondere stellen die Autoren hier die neueste Version des RTI vor, der den mittleren SciScore über eine Teilmenge von Arbeiten darstellt, und zeigen, wie er zur Bewertung der Berichtstransparenz in Forschungseinrichtungen verwendet werden kann.

Wir können zwar nicht einfach alle Arbeiten mit einer „2“ als nicht wiederholbar und alle Arbeiten mit einer „8“ als wiederholbar beschreiben, da es zahlreiche Felder und die daraus resultierenden Best Practices gibt, aber wir können feststellen, dass höhere Punktzahlen mit mehr methodischen Details verbunden sind und wie solche sind wahrscheinlich einfacher zu verwenden, um eine Replikation zu versuchen.

Quelle:

JMIR-Veröffentlichungen

Referenz:

Menke, J., et al. (2022) Etablierung institutioneller Scores mit dem Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality. Zeitschrift für medizinische Internetforschung. doi.org/10.2196/37324.