A szigorú és átláthatósági intézkedések segíthetnek javítani a reprodukálhatóságot a tudományos irodalomban

A szigorú és átláthatósági intézkedések segíthetnek javítani a reprodukálhatóságot a tudományos irodalomban

A JMIR Publications nemrégiben publikálta az "Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality" című kiadványt a Journal of Medical Internet Research (JMIR) folyóiratban, amely arról számolt be, hogy a szigorúság és az átláthatóság javítása a tudományos irodalomban a reprodukálhatóság javulását eredményezheti, de az átláthatósági intézkedések kézi végrehajtása esetén általában nagyon nehéz értékelni az áttekintőket.

Ennek a tanulmánynak az általános célja, hogy olyan mérőszámot hozzon létre a tudományos jelentések minőségére vonatkozóan, amely intézmények és országok között használható, valamint kiemeli a magas színvonalú jelentés szükségességét a biomedicinán belüli reprodukálhatóság biztosítása érdekében, a Reprodukálhatósági Projekt: Rákbiológia kéziratok felhasználásával.

A szerzők a korábban bevezetett Rigor and Transparency Index (RTI) fejlesztésével foglalkoznak, amely megkísérli automatikusan felmérni a folyóiratok, intézmények és országok szigorúságát és átláthatóságát a reprodukálhatósági irányelvekben (pl. NIH, MDAR, ARRIVE) meghatározott kritériumok szerint értékelt kéziratok segítségével.

A Reprodukálhatósági Projekt: Rákbiológia munkáját felhasználva a szerzők meg tudták állapítani, hogy a replikációs vizsgálatok lényegesen jobban teljesítettek, mint az eredeti dokumentumok, amelyek mindegyikéhez a projekt szerint további információkra volt szükség a szerzőktől a replikációs erőfeszítések megkezdéséhez.

Sajnos a folyóiratokra, intézményekre és országokra vonatkozó RTI mérések jelenleg mind rosszabbul teljesítenek, mint a replikációs tanulmányok átlaga. Ha ezeknek a replikációs tanulmányoknak az RTI-jét veszik célul a jövőbeli kéziratok számára, több munkára lesz szükség annak biztosítására, hogy az átlagos kézirat elegendő információt tartalmazzon a replikációs kísérletekhez.

Dr. Anita Bandrowski, a San Diego-i Kaliforniai Egyetem munkatársa elmondta: "A kutatás reprodukálhatósága szükséges a tudományos haladáshoz. Az elmúlt évtizedben azonban számos, a kutatások nem reprodukálhatóságáról szóló jelentés rávilágított egy állandó problémára, amely problémásnak és költségesnek bizonyul."

A reprodukálhatóság előmozdítása érdekében számos tudományos szervezet és folyóirat elfogadta az Átláthatósági és Nyitottsági Irányelveket, amelyek az egyes folyóiratok szintjén a legjobb gyakorlatok kialakítására összpontosítanak.

Hasonlóképpen, a kiadók által vezérelt Materials Design, Analysis és Reporting Framework egy multidiszciplináris kutatási keretrendszer, amelynek célja az élettudományi kutatások jelentéseinek átláthatóságának javítása az egyéni kéziratok szintjén.

Ez a keretrendszer konzisztens minimális jelentési ellenőrzőlistát biztosít, amelynek kritériumait részben felhasználták az első RTI, a kutatási módszerekre és a jelentések átláthatóságára összpontosító folyóirat-minőségi mérőszám létrehozásához.

A szerzők elsősorban az RTI legújabb verzióját mutatják be, amely az átlagos SciScore-t reprezentálja a tanulmányok egy részében, és bemutatja, hogyan használható fel a jelentéstétel átláthatóságának értékelésére a kutatóintézetekben.

Bár nem írhatjuk le egyszerűen az összes „2”-es írást nem megismételhetőnek, és az összes „8”-ast megismételhetőnek, mivel számos mező és az ebből eredő legjobb gyakorlatok vannak, megjegyezhetjük, hogy a magasabb pontszámok több módszertani részlettel járnak, és ezeket valószínűleg könnyebben meg lehet próbálni replikálni.

Forrás:

JMIR kiadványok

Referencia:

Menke, J. és mtsai. (2022) Intézményi pontszámok megállapítása a szigorúsági és átláthatósági index segítségével: A tudományos jelentések minőségének nagyléptékű elemzése. Journal of Medical Internet Research. doi.org/10.2196/37324.