Tiukkuus ja avoimuustoimenpiteet voivat auttaa parantamaan tieteellisen kirjallisuuden toistettavuutta

Tiukkuus ja avoimuustoimenpiteet voivat auttaa parantamaan tieteellisen kirjallisuuden toistettavuutta

JMIR-julkaisut julkaisivat äskettäin "Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality" Journal of Medical Internet Researchissa (JMIR), jossa kerrottiin, että kurinalaisuuden ja läpinäkyvyyden parantamisen pitäisi johtaa tieteellisen kirjallisuuden toistettavuuden paranemiseen, mutta läpinäkyvyystoimien arviointi tapahtuu yleensä manuaalisesti.

Tämän tutkimuksen yleisenä tavoitteena on luoda tieteellisen raportoinnin laadun mitta, jota voidaan käyttää eri instituutioissa ja maissa, sekä korostaa korkealaatuisen raportoinnin tarvetta biolääketieteen toistettavuuden varmistamiseksi käyttämällä Reprodutibility Project: Cancer Biology -projektin käsikirjoituksia.

Kirjoittajat parantavat aiemmin käyttöön otettua Rigor and Transparency Indexiä (RTI), joka yrittää automaattisesti arvioida lehtien, laitosten ja maiden kurinalaisuutta ja läpinäkyvyyttä käyttämällä käsikirjoituksia, jotka on arvioitu uusittavuusohjeissa (esim. NIH, MDAR, ARRIVE) määriteltyjen kriteerien mukaisesti.

Käyttämällä Reproducibility Project: Cancer Biology -projektia, kirjoittajat pystyivät määrittämään, että replikaatiotutkimukset suoriutuivat huomattavasti paremmin kuin alkuperäiset paperit, jotka kaikki vaativat projektin mukaan tekijöiltä lisätietoja replikointitoimien aloittamiseksi.

Valitettavasti lehtien, laitosten ja maiden RTI-mittaukset toimivat tällä hetkellä huonommin kuin replikointitutkimuksen keskiarvo. Jos he ottavat näiden replikointitutkimusten RTI:n tulevien käsikirjoitusten kohteena, tarvitaan enemmän työtä sen varmistamiseksi, että keskimääräinen käsikirjoitus sisältää tarpeeksi tietoa replikointiyrityksiä varten.

Tohtori Anita Bandrowski Kalifornian yliopistosta San Diegosta sanoi: "Tutkimuksen uusittavuus on välttämätöntä tieteellisen kehityksen kannalta. Kuitenkin viime vuosikymmenen aikana lukuisat raportit tutkimuksen toistettavuudesta ovat tuoneet valoa jatkuvaan ongelmaan, joka on osoittautunut ongelmalliseksi ja kalliiksi."

Uusittavuuden edistämiseksi useat tieteelliset organisaatiot ja lehdet ovat ottaneet käyttöön Transparency and Openness Guidelines -ohjeet, jotka keskittyvät parhaiden käytäntöjen luomiseen yksittäisten lehtien tasolla.

Vastaavasti julkaisijalähtöinen materiaalisuunnittelun, analyysin ja raportoinnin viitekehys on monitieteinen tutkimuskehys, joka on suunniteltu parantamaan biotieteiden tutkimuksen raportoinnin läpinäkyvyyttä yksittäisten käsikirjoitusten tasolla.

Tämä viitekehys tarjoaa johdonmukaisen vähimmäisraportoinnin tarkistuslistan, jonka kriteereitä käytettiin osittain luotaessa ensimmäinen RTI, lehtien laatumittari, joka keskittyy tutkimusmenetelmiin ja raportoinnin läpinäkyvyyteen.

Kirjoittajat esittelevät tässä erityisesti uusimman version RTI:stä, joka edustaa keskimääräistä SciScore-arvoa useissa julkaisuissa, ja osoittavat, kuinka sitä voidaan käyttää arvioitaessa raportoinnin läpinäkyvyyttä tutkimuslaitoksissa.

Vaikka emme voi yksinkertaisesti kuvata kaikkia papereita, joissa on "2" ei-toistettaviksi ja kaikkia papereita, joissa on "8", toistettaviksi, koska kenttiä ja niistä saatuja parhaita käytäntöjä on useita, voimme huomata, että korkeammat pisteet liittyvät metodologisiin yksityiskohtiin, ja niitä on todennäköisesti helpompi käyttää replikointiin.

Lähde:

JMIR-julkaisut

Viite:

Menke, J., et ai. (2022) Instituutiopisteiden määrittäminen tiukka- ja läpinäkyvyysindeksillä: Laajamittainen tieteellisen raportoinnin laadun analyysi. Journal of Medical Internet Research. doi.org/10.2196/37324.