Opatrenia dôslednosti a transparentnosti by mohli pomôcť zlepšiť reprodukovateľnosť vo vedeckej literatúre

Opatrenia dôslednosti a transparentnosti by mohli pomôcť zlepšiť reprodukovateľnosť vo vedeckej literatúre

Publikácie JMIR nedávno publikovali „Stanovenie inštitucionálnych skóre s indexom prísnosti a transparentnosti: Rozsiahla analýza kvality vedeckých správ“ v časopise Journal of Medical Internet Research (JMIR), v ktorom sa uvádza, že zlepšenie opatrení prísnosti a transparentnosti by malo viesť k zlepšeniu reprodukovateľnosti vedeckej literatúry, ale hodnotenie opatrení transparentnosti je zvyčajne veľmi ťažké, keď ho hodnotitelia vykonávajú manuálne.

Celkovým cieľom tejto štúdie je vytvoriť meradlo kvality vedeckých správ, ktoré je možné použiť naprieč inštitúciami a krajinami, ako aj zdôrazniť potrebu vysokokvalitných správ na zabezpečenie reprodukovateľnosti v rámci biomedicíny pomocou rukopisov z projektu Reproducibility Project: Cancer Biology.

Autori sa zaoberajú vylepšením predtým zavedeného indexu prísnosti a transparentnosti (RTI), ktorý sa pokúša automaticky hodnotiť presnosť a transparentnosť časopisov, inštitúcií a krajín pomocou rukopisov hodnotených podľa kritérií špecifikovaných v smerniciach reprodukovateľnosti (napr. NIH, MDAR, ARRIVE).

Pomocou práce z projektu Reproducibility Project: Cancer Biology boli autori schopní určiť, že replikačné štúdie fungovali výrazne lepšie ako pôvodné práce, pričom všetky podľa projektu vyžadovali od autorov dodatočné informácie na začatie úsilia o replikáciu.

Bohužiaľ, všetky merania RTI pre časopisy, inštitúcie a krajiny sú v súčasnosti horšie ako priemer štúdie replikácie. Ak zoberú RTI týchto replikačných štúdií ako cieľ pre budúce rukopisy, bude potrebné viac práce, aby sa zabezpečilo, že priemerný rukopis bude obsahovať dostatok informácií na pokusy o replikáciu.

Doktorka Anita Bandrowski z Kalifornskej univerzity v San Diegu povedala: "Pre vedecký pokrok je nevyhnutná reprodukovateľnosť výskumu. V poslednom desaťročí však početné správy o nereprodukovateľnosti výskumu vrhli svetlo na pretrvávajúci problém, ktorý sa ukazuje ako problematický a drahý."

Na podporu reprodukovateľnosti mnohé vedecké organizácie a časopisy prijali Smernice o transparentnosti a otvorenosti, ktoré sa zameriavajú na stanovenie osvedčených postupov na úrovni jednotlivých časopisov.

Podobne aj vydavateľom riadený materiálový dizajn, analýza a rámec podávania správ je multidisciplinárny výskumný rámec navrhnutý na zlepšenie transparentnosti podávania správ vo výskume biologických vied na úrovni jednotlivých rukopisov.

Tento rámec poskytuje konzistentný minimálny kontrolný zoznam správ, ktorého kritériá boli čiastočne použité na vytvorenie prvého RTI, metriky kvality časopisu zameranej na výskumné metódy a transparentnosť správ.

Autori tu prezentujú najmä najnovšiu verziu RTI, ktorá predstavuje priemer SciScore v podskupine článkov, a ukazujú, ako sa dá použiť na hodnotenie transparentnosti podávania správ vo výskumných inštitúciách.

Aj keď nemôžeme jednoducho opísať všetky práce s „2“ ako neopakovateľné a všetky práce s „8“ ako opakovateľné, keďže existuje množstvo polí a výsledné osvedčené postupy, môžeme si všimnúť, že vyššie skóre je spojené s väčšími metodologickými detailmi a je pravdepodobné, že ich použitie bude jednoduchšie na pokus o replikáciu.

Zdroj:

Publikácie JMIR

Referencia:

Menke, J., a kol. (2022) Stanovenie inštitucionálneho skóre pomocou indexu prísnosti a transparentnosti: Rozsiahla analýza kvality vedeckých správ. Journal of Medical Internet Research. doi.org/10.2196/37324.