Tiltak for strenghet og åpenhet kan bidra til å forbedre reproduserbarheten i den vitenskapelige litteraturen

Tiltak for strenghet og åpenhet kan bidra til å forbedre reproduserbarheten i den vitenskapelige litteraturen

JMIR Publications publiserte nylig "Establishing Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality" i Journal of Medical Internet Research (JMIR), som rapporterte at forbedring av strenghet og åpenhetstiltak bør føre til forbedringer i reproduserbarheten til den vitenskapelige litteraturen, men å evaluere gjennomsiktighetstiltak manuelt er vanligvis svært vanskelige når det gjøres manuelle tiltak.

Det overordnede målet med denne studien er å lage et mål på kvaliteten på vitenskapelig rapportering som kan brukes på tvers av institusjoner og land, samt å synliggjøre behovet for rapportering av høy kvalitet for å sikre reproduserbarhet innenfor biomedisin, ved bruk av manuskripter fra Reproducibility Project: Cancer Biology.

Forfatterne tar for seg en forbedring av den tidligere introduserte Rigor and Transparency Index (RTI), som prøver å automatisk vurdere strengheten og åpenheten til tidsskrifter, institusjoner og land ved å bruke manuskripter vurdert i henhold til kriterier spesifisert i reproduserbarhetsretningslinjer (f.eks. NIH, MDAR, ARRIVE).

Ved å bruke arbeid fra Reproducibility Project: Cancer Biology, var forfatterne i stand til å fastslå at replikasjonsstudier presterte betydelig bedre enn de originale papirene, som alle ifølge prosjektet krevde tilleggsinformasjon fra forfatterne for å starte replikasjonsarbeid.

Dessverre gir RTI-tiltakene for tidsskrifter, institusjoner og land for tiden alle dårligere resultater enn gjennomsnittet for replikasjonsstudier. Hvis de tar RTI av disse replikeringsstudiene som et mål for fremtidige manuskripter, vil det kreves mer arbeid for å sikre at gjennomsnittsmanuskriptet inneholder nok informasjon for replikeringsforsøk.

Dr. Anita Bandrowski ved University of California San Diego sa: "Reproduserbarhet av forskning er nødvendig for vitenskapelig fremgang. Men i løpet av det siste tiåret har tallrike rapporter om ikke-reproduserbarhet av forskning kastet lys over et vedvarende problem som viser seg problematisk og dyrt."

For å fremme reproduserbarhet har en rekke vitenskapelige organisasjoner og tidsskrifter tatt i bruk retningslinjene for åpenhet og åpenhet, som fokuserer på å etablere beste praksis på det enkelte tidsskriftsnivå.

Tilsvarende er det utgiverdrevne Materials Design, Analysis and Reporting Framework et tverrfaglig forskningsrammeverk designet for å forbedre gjennomsiktigheten av rapportering i biovitenskapelig forskning på det individuelle manuskriptnivået.

Dette rammeverket gir en konsistent minimumsrapporteringssjekkliste, kriteriene som ble brukt delvis til å lage den første RTI, en journalkvalitetsmåling fokusert på forskningsmetoder og rapporteringsgjennomsiktighet.

Spesielt presenterer forfatterne her den siste versjonen av RTI, som representerer gjennomsnittlig SciScore på tvers av en undergruppe av artikler, og viser hvordan den kan brukes til å vurdere rapporteringsgjennomsiktighet i forskningsinstitusjoner.

Selv om vi ikke bare kan beskrive alle artikler med en "2" som ikke-repeterbare og alle artikler med en "8" som repeterbare, siden det er mange felt og de resulterende beste praksisene, kan vi merke oss at høyere poengsum er assosiert med flere metodologiske detaljer, og slike er sannsynligvis lettere å bruke for å forsøke replikering.

Kilde:

JMIR-publikasjoner

Referanse:

Menke, J., et al. (2022) Etablering av institusjonelle skårer med Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality. Journal of Medical Internet Research. doi.org/10.2196/37324.