Suche
Mein Konto
Strengheids- en transparantiemaatregelen zouden de reproduceerbaarheid in de wetenschappelijke literatuur kunnen helpen verbeteren
JMIR Publications publiceerde onlangs “Establishing Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality” in de Journal of Medical Internet Research (JMIR), waarin werd gerapporteerd dat het verbeteren van nauwkeurigheid en transparantiemaatregelen zouden moeten leiden tot verbeteringen in de reproduceerbaarheid van de wetenschappelijke literatuur, maar het evalueren van transparantiemaatregelen is meestal erg moeilijk als dit handmatig door beoordelaars wordt gedaan. Het algemene doel van deze studie is om een maatstaf te creëren voor de kwaliteit van wetenschappelijke rapportage die door alle instellingen en landen heen kan worden gebruikt, en om de noodzaak van hoogwaardige rapportage te benadrukken om reproduceerbaarheid te garanderen...
Strengheids- en transparantiemaatregelen zouden de reproduceerbaarheid in de wetenschappelijke literatuur kunnen helpen verbeteren
JMIR Publications publiceerde onlangs “Establishing Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality” in de Journal of Medical Internet Research (JMIR), waarin werd gerapporteerd dat het verbeteren van nauwkeurigheid en transparantiemaatregelen zouden moeten leiden tot verbeteringen in de reproduceerbaarheid van de wetenschappelijke literatuur, maar het evalueren van transparantiemaatregelen is meestal erg moeilijk als dit handmatig door beoordelaars wordt gedaan.
Het algemene doel van deze studie is om een maatstaf te creëren voor de kwaliteit van wetenschappelijke rapportage die door alle instellingen en landen heen kan worden gebruikt, en om de noodzaak van hoogwaardige rapportage te benadrukken om reproduceerbaarheid binnen de biogeneeskunde te garanderen, met behulp van manuscripten van het Reproducibility Project: Cancer Biology.
De auteurs richten zich op een verbetering van de eerder geïntroduceerde Rigor and Transparency Index (RTI), die probeert automatisch de nauwkeurigheid en transparantie van tijdschriften, instellingen en landen te beoordelen met behulp van manuscripten die zijn beoordeeld volgens criteria die zijn gespecificeerd in reproduceerbaarheidsrichtlijnen (bijv. NIH, MDAR, ARRIVE).
Met behulp van werk van het Reproducibility Project: Cancer Biology konden de auteurs vaststellen dat replicatiestudies aanzienlijk beter presteerden dan de originele artikelen, die volgens het project allemaal aanvullende informatie van de auteurs vereisten om met replicatie-inspanningen te kunnen beginnen.
Helaas presteren de RTI-metingen voor tijdschriften, instellingen en landen momenteel allemaal slechter dan het gemiddelde van het replicatieonderzoek. Als ze de RTI van deze replicatiestudies als doelwit nemen voor toekomstige manuscripten, zal er meer werk nodig zijn om ervoor te zorgen dat het gemiddelde manuscript voldoende informatie bevat voor replicatiepogingen.
Dr. Anita Bandrowski van de Universiteit van Californië in San Diego zei: "Reproduceerbaarheid van onderzoek is noodzakelijk voor wetenschappelijke vooruitgang. De afgelopen tien jaar hebben talloze rapporten over de niet-reproduceerbaarheid van onderzoek echter licht geworpen op een hardnekkig probleem dat problematisch en duur blijkt te zijn."
Om de reproduceerbaarheid te bevorderen hebben talrijke wetenschappelijke organisaties en tijdschriften de Transparency and Openness Guidelines aangenomen, die zich richten op het vaststellen van best practices op individueel tijdschriftniveau.
Op dezelfde manier is het door de uitgever aangestuurde Materials Design, Analysis, and Reporting Framework een multidisciplinair onderzoeksraamwerk dat is ontworpen om de transparantie van de rapportage in biowetenschappelijk onderzoek op individueel manuscriptniveau te verbeteren.
Dit raamwerk biedt een consistente minimale rapportagechecklist, waarvan de criteria gedeeltelijk zijn gebruikt om de eerste RTI te creëren, een kwaliteitsmaatstaf voor tijdschriften die zich richt op onderzoeksmethoden en rapportagetransparantie.
In het bijzonder presenteren de auteurs hier de nieuwste versie van de RTI, die de gemiddelde SciScore vertegenwoordigt voor een subset van artikelen, en laten ze zien hoe deze kan worden gebruikt om de transparantie van de rapportage in onderzoeksinstellingen te beoordelen.
Hoewel we niet simpelweg alle artikelen met een “2” als niet-herhaalbaar en alle artikelen met een “8” als herhaalbaar kunnen omschrijven, kunnen we, aangezien er talloze velden en de daaruit voortvloeiende best practices zijn, opmerken dat hogere scores verband houden met meer methodologische details en dat deze waarschijnlijk gemakkelijker te gebruiken zijn bij pogingen tot replicatie.
Bron:
Referentie:
Menke, J., et al. (2022) Institutionele scores vaststellen met de Rigor and Transparency Index: grootschalige analyse van de kwaliteit van wetenschappelijke rapportage. Tijdschrift voor medisch internetonderzoek. doi.org/10.2196/37324.