Măsurile de rigoare și transparență ar putea contribui la îmbunătățirea reproductibilității în literatura științifică

Măsurile de rigoare și transparență ar putea contribui la îmbunătățirea reproductibilității în literatura științifică

Publicațiile JMIR au publicat recent „Establishing Institutional Scores With the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality” în Journal of Medical Internet Research (JMIR), care a raportat că îmbunătățirea măsurilor de rigoare și transparență ar trebui să conducă la îmbunătățiri în reproductibilitatea literaturii științifice, dar evaluarea măsurilor de transparență este de obicei foarte dificilă atunci când este făcută manual de către evaluatori.

Scopul general al acestui studiu este de a crea o măsură a calității raportării științifice care poate fi utilizată în instituții și țări, precum și pentru a evidenția nevoia de raportare de înaltă calitate pentru a asigura reproductibilitatea în biomedicină, folosind manuscrise din Proiectul Reproductibilitate: Biologia cancerului.

Autorii abordează o îmbunătățire a indicelui de rigurozitate și transparență (RTI) introdus anterior, care încearcă să evalueze automat rigoarea și transparența revistelor, instituțiilor și țărilor folosind manuscrise evaluate conform criteriilor specificate în ghidurile de reproductibilitate (de exemplu, NIH, MDAR, ARRIVE).

Folosind lucrările de la Proiectul de reproductibilitate: Biologia cancerului, autorii au putut determina că studiile de replicare au avut rezultate semnificativ mai bune decât lucrările originale, toate acestea, conform proiectului, au necesitat informații suplimentare de la autori pentru a începe eforturile de replicare.

Din păcate, măsurile RTI pentru reviste, instituții și țări au în prezent toate performanțe mai slabe decât media studiului de replicare. Dacă iau RTI-ul acestor studii de replicare ca țintă pentru manuscrise viitoare, va fi nevoie de mai multă muncă pentru a se asigura că manuscrisul mediu conține suficiente informații pentru încercările de replicare.

Dr. Anita Bandrowski de la Universitatea din California San Diego a spus: "Reproductibilitatea cercetării este necesară pentru progresul științific. Cu toate acestea, în ultimul deceniu, numeroase rapoarte privind nereproductibilitatea cercetării au făcut lumină asupra unei probleme persistente care se dovedește problematică și costisitoare".

Pentru a promova reproductibilitatea, numeroase organizații științifice și reviste au adoptat Ghidurile privind transparența și deschiderea, care se concentrează pe stabilirea celor mai bune practici la nivel individual de jurnal.

În mod similar, cadrul de proiectare, analiză și raportare a materialelor condus de editor este un cadru de cercetare multidisciplinar conceput pentru a îmbunătăți transparența raportării în cercetarea în științele vieții la nivel individual de manuscris.

Acest cadru oferă o listă de verificare minimă consecventă pentru raportare, ale cărei criterii au fost utilizate parțial pentru a crea primul RTI, o metrică a calității jurnalului axată pe metodele de cercetare și transparența raportării.

În special, autorii prezintă aici cea mai recentă versiune a RTI, care reprezintă SciScore mediu într-un subset de lucrări și arată cum poate fi utilizat pentru a evalua transparența raportării în instituțiile de cercetare.

Deși nu putem descrie pur și simplu toate lucrările cu „2” ca nerepetabile și toate lucrările cu „8” ca fiind repetabile, deoarece există numeroase câmpuri și cele mai bune practici rezultate, putem observa că scorurile mai mari sunt asociate cu mai multe detalii metodologice și este probabil să fie mai ușor de utilizat pentru a încerca replicarea.

Sursă:

Publicaţii JMIR

Referinţă:

Menke, J., şi colab. (2022) Stabilirea scorurilor instituționale cu Indicele de Rigor și Transparență: Analiza la scară largă a calității raportării științifice. Journal of Medical Internet Research. doi.org/10.2196/37324.