Forholdsregler for strenghed og gennemsigtighed kunne bidrage til at forbedre reproducerbarheden i den videnskabelige litteratur

Forholdsregler for strenghed og gennemsigtighed kunne bidrage til at forbedre reproducerbarheden i den videnskabelige litteratur

JMIR Publications udgav for nylig "Establishing Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality" i Journal of Medical Internet Research (JMIR), som rapporterede, at forbedring af stringens og gennemsigtighedsforanstaltninger skulle føre til forbedringer i reproducerbarheden af ​​den videnskabelige litteratur, men at evaluere, når gennemsigtighedsforanstaltningerne udføres manuelt, normalt er meget vanskelige.

Det overordnede formål med denne undersøgelse er at skabe et mål for kvaliteten af ​​videnskabelig rapportering, der kan bruges på tværs af institutioner og lande, samt at fremhæve behovet for rapportering af høj kvalitet for at sikre reproducerbarhed inden for biomedicin, ved hjælp af manuskripter fra Reproducerbarhedsprojektet: Cancer Biology.

Forfatterne adresserer en forbedring af det tidligere introducerede Rigor and Transparency Index (RTI), som forsøger automatisk at vurdere strengheden og gennemsigtigheden af ​​tidsskrifter, institutioner og lande ved hjælp af manuskripter vurderet i henhold til kriterier specificeret i reproducerbarhedsretningslinjer (f.eks. NIH, MDAR, ARRIVE).

Ved hjælp af arbejde fra Reproducibility Project: Cancer Biology var forfatterne i stand til at fastslå, at replikationsundersøgelser klarede sig væsentligt bedre end de originale artikler, som alle ifølge projektet krævede yderligere information fra forfatterne for at begynde replikationsindsatsen.

Desværre præsterer RTI-målene for tidsskrifter, institutioner og lande i øjeblikket alle dårligere end gennemsnittet for replikationsundersøgelsen. Hvis de tager RTI'en for disse replikationsundersøgelser som et mål for fremtidige manuskripter, vil der kræves mere arbejde for at sikre, at det gennemsnitlige manuskript indeholder nok information til replikationsforsøg.

Dr. Anita Bandrowski fra University of California San Diego sagde: "Reproducerbarhed af forskning er nødvendig for videnskabelige fremskridt. Men i løbet af det sidste årti har talrige rapporter om ikke-reproducerbarhed af forskning kastet lys over et vedvarende problem, der viser sig problematisk og dyrt."

For at fremme reproducerbarheden har talrige videnskabelige organisationer og tidsskrifter vedtaget Transparency and Openness Guidelines, som fokuserer på at etablere best practices på det enkelte tidsskriftsniveau.

Tilsvarende er det udgiverdrevne Materials Design, Analysis and Reporting Framework en tværfaglig forskningsramme designet til at forbedre gennemsigtigheden af ​​rapportering inden for biovidenskabsforskning på det individuelle manuskriptniveau.

Denne ramme giver en konsekvent minimumsrapporteringstjekliste, hvis kriterier til dels blev brugt til at skabe den første RTI, en tidsskriftkvalitetsmåling med fokus på forskningsmetoder og rapporteringsgennemsigtighed.

Især præsenterer forfatterne her den seneste version af RTI, som repræsenterer den gennemsnitlige SciScore på tværs af en undergruppe af papirer, og viser, hvordan den kan bruges til at vurdere rapporteringsgennemsigtighed i forskningsinstitutioner.

Selvom vi ikke blot kan beskrive alle papirer med et "2" som ikke-gentagelige og alle papirer med "8" som gentagelige, da der er adskillige felter og de resulterende bedste praksisser, kan vi bemærke, at højere score er forbundet med flere metodiske detaljer, og sådanne vil sandsynligvis være nemmere at bruge til at forsøge at replikere.

Kilde:

JMIR Publikationer

Reference:

Menke, J., et al. (2022) Etablering af institutionelle scores med Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality. Journal of Medical Internet Research. doi.org/10.2196/37324.