Opatření přísnosti a transparentnosti by mohla pomoci zlepšit reprodukovatelnost ve vědecké literatuře

Opatření přísnosti a transparentnosti by mohla pomoci zlepšit reprodukovatelnost ve vědecké literatuře

Publikace JMIR nedávno publikovaly „Stanoving Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality“ v Journal of Medical Internet Research (JMIR), ve kterém se uvádí, že zlepšení přísných a transparentních opatření by mělo vést ke zlepšení reprodukovatelnosti vědecké literatury, ale hodnocení opatření transparentnosti je obvykle velmi obtížné, když je provádějí hodnotitelé ručně.

Celkovým cílem této studie je vytvořit měřítko kvality vědeckých zpráv, které lze použít napříč institucemi a zeměmi, a také zdůraznit potřebu vysoce kvalitních zpráv pro zajištění reprodukovatelnosti v rámci biomedicíny s využitím rukopisů z projektu Reproducibility Project: Cancer Biology.

Autoři se zabývají vylepšením dříve zavedeného indexu přísnosti a transparentnosti (RTI), který se pokouší automaticky hodnotit přísnost a transparentnost časopisů, institucí a zemí pomocí rukopisů hodnocených podle kritérií specifikovaných v pokynech pro reprodukovatelnost (např. NIH, MDAR, ARRIVE).

Pomocí práce z Reproducibility Project: Cancer Biology byli autoři schopni určit, že replikační studie fungovaly výrazně lépe než původní práce, z nichž všechny podle projektu vyžadovaly od autorů další informace, aby bylo možné zahájit replikační úsilí.

Bohužel, měření RTI pro časopisy, instituce a země v současné době dosahují horších výsledků, než je průměr studie replikace. Pokud vezmou RTI těchto replikačních studií jako cíl pro budoucí rukopisy, bude potřeba více práce, aby se zajistilo, že průměrný rukopis bude obsahovat dostatek informací pro pokusy o replikaci.

Doktorka Anita Bandrowski z Kalifornské univerzity v San Diegu řekla: "Pro vědecký pokrok je nezbytná reprodukovatelnost výzkumu. V posledním desetiletí však četné zprávy o nereprodukovatelnosti výzkumu vrhly světlo na přetrvávající problém, který se ukazuje jako problematický a drahý."

Pro podporu reprodukovatelnosti přijalo mnoho vědeckých organizací a časopisů Směrnice pro transparentnost a otevřenost, které se zaměřují na zavedení osvědčených postupů na úrovni jednotlivých časopisů.

Podobně, vydavatelem řízený Material Design, Analysis, and Reporting Framework je multidisciplinární výzkumný rámec určený ke zlepšení transparentnosti podávání zpráv ve výzkumu biologických věd na úrovni jednotlivých rukopisů.

Tento rámec poskytuje konzistentní minimální kontrolní seznam zpráv, jehož kritéria byla částečně použita k vytvoření prvního RTI, metriky kvality časopisu zaměřené na výzkumné metody a transparentnost zpráv.

Autoři zde prezentují zejména nejnovější verzi RTI, která představuje střední SciScore napříč podskupinou článků, a ukazují, jak ji lze použít k posouzení transparentnosti podávání zpráv ve výzkumných institucích.

I když nemůžeme jednoduše popsat všechny práce s „2“ jako neopakovatelné a všechny práce s „8“ jako opakovatelné, protože existuje mnoho polí a výsledné osvědčené postupy, můžeme poznamenat, že vyšší skóre je spojeno s více metodologickými podrobnostmi a takové je pravděpodobně snazší použít k pokusu o replikaci.

Zdroj:

Publikace JMIR

Odkaz:

Menke, J., a kol. (2022) Stanovení institucionálního skóre pomocí indexu přísnosti a transparentnosti: Rozsáhlá analýza kvality vědeckých zpráv. Journal of Medical Internet Research. doi.org/10.2196/37324.