Mjere strogosti i transparentnosti mogle bi pomoći u poboljšanju ponovljivosti u znanstvenoj literaturi

Mjere strogosti i transparentnosti mogle bi pomoći u poboljšanju ponovljivosti u znanstvenoj literaturi

Publikacije JMIR nedavno su objavile "Uspostavljanje institucionalnih rezultata s indeksom strogosti i transparentnosti: velika analiza kvalitete znanstvenog izvješćivanja" u časopisu Journal of Medical Internet Research (JMIR), u kojem je objavljeno da bi poboljšanje mjera strogosti i transparentnosti trebalo dovesti do poboljšanja ponovljivosti u znanstvenoj literaturi, ali procjena mjera transparentnosti obično je vrlo teška kada ih recenzenti izvode ručno.

Opći cilj ove studije je stvoriti mjeru kvalitete znanstvenog izvješćivanja koje se može koristiti u svim institucijama i zemljama, kao i istaknuti potrebu za visokokvalitetnim izvješćivanjem kako bi se osigurala ponovljivost unutar biomedicine, koristeći rukopise iz Projekta ponovljivosti: Biologija raka.

Autori se bave poboljšanjem prethodno uvedenog Indeksa strogosti i transparentnosti (RTI), koji pokušava automatski procijeniti strogost i transparentnost časopisa, institucija i zemalja koristeći rukopise ocijenjene prema kriterijima navedenim u smjernicama za ponovljivost (npr. NIH, MDAR, ARRIVE).

Koristeći radove iz Projekta reproducibilnosti: biologija raka, autori su mogli utvrditi da su studije replikacije imale znatno bolji učinak od izvornih radova, a sve su to, prema projektu, zahtijevale dodatne informacije od autora da započnu s replikacijom.

Nažalost, RTI mjere za časopise, institucije i zemlje trenutno imaju lošije rezultate od prosjeka replikacijske studije. Ako uzmu RTI ovih replikacijskih studija kao cilj za buduće rukopise, bit će potrebno više rada kako bi se osiguralo da prosječni rukopis sadrži dovoljno informacija za pokušaje replikacije.

Dr. Anita Bandrowski s kalifornijskog sveučilišta San Diego rekla je: "Ponovljivost istraživanja nužna je za znanstveni napredak. Međutim, tijekom posljednjeg desetljeća, brojna izvješća o neponovljivosti istraživanja rasvijetlila su uporan problem koji se pokazao problematičnim i skupim."

Kako bi promicali ponovljivost, brojne su znanstvene organizacije i časopisi usvojili Smjernice za transparentnost i otvorenost, koje su usredotočene na uspostavljanje najbolje prakse na razini pojedinačnih časopisa.

Slično tome, Okvir za dizajn materijala, analizu i izvješćivanje vođen od strane izdavača multidisciplinarni je istraživački okvir dizajniran za poboljšanje transparentnosti izvješćivanja u istraživanju znanosti o životu na razini pojedinačnih rukopisa.

Ovaj okvir pruža dosljedan minimalni popis za provjeru izvješćivanja, čiji su kriteriji djelomično korišteni za stvaranje prvog RTI-ja, metrike kvalitete časopisa usmjerene na metode istraživanja i transparentnost izvješćivanja.

Konkretno, autori ovdje predstavljaju najnoviju verziju RTI-ja, koja predstavlja srednju vrijednost SciScore-a za podskup radova, i pokazuju kako se može koristiti za procjenu transparentnosti izvješćivanja u istraživačkim institucijama.

Iako ne možemo jednostavno opisati sve radove s "2" kao neponovljive i sve radove s "8" kao ponovljive, budući da postoje brojna polja i rezultirajuće najbolje prakse, možemo primijetiti da su viši rezultati povezani s više metodoloških detalja i da će ih se vjerojatno lakše koristiti za pokušaj replikacije.

Izvor:

JMIR Publikacije

Referenca:

Menke, J., et al. (2022.) Uspostavljanje institucionalnih rezultata s Indeksom strogosti i transparentnosti: Opsežna analiza kvalitete znanstvenog izvješćivanja. Journal of Medical Internet Research. doi.org/10.2196/37324.