Rygor i środki przejrzystości mogłyby pomóc w poprawie powtarzalności literatury naukowej

Rygor i środki przejrzystości mogłyby pomóc w poprawie powtarzalności literatury naukowej

Firma JMIR Publications opublikowała niedawno w czasopiśmie Journal of Medical Internet Research (JMIR) artykuł „Establishing Institutional Scores with the Rigor and Transparency Index: Large-scale Analysis of Scientific Reporting Quality”, w którym podano, że poprawa rygoru i przejrzystości powinna prowadzić do poprawy odtwarzalności w literaturze naukowej, jednak ocena miar przejrzystości jest zwykle bardzo trudna, gdy przeprowadzana jest ręcznie przez recenzentów.

Ogólnym celem tego badania jest stworzenie miary jakości raportowania naukowego, którą można wykorzystać w różnych instytucjach i krajach, a także podkreślenie potrzeby wysokiej jakości raportowania, aby zapewnić powtarzalność w biomedycynie, przy wykorzystaniu manuskryptów z projektu Reproducibility Project: Cancer Biology.

Autorzy wprowadzają ulepszenia wprowadzonego wcześniej Rigor and Transparency Index (RTI), który stara się automatycznie oceniać rygor i przejrzystość czasopism, instytucji i krajów korzystających z manuskryptów ocenianych według kryteriów określonych w wytycznych dotyczących powtarzalności (np. NIH, MDAR, ARRIVE).

Korzystając z prac projektu Reproducibility Project: Cancer Biology, autorzy byli w stanie ustalić, że badania replikacyjne wypadły znacznie lepiej niż oryginalne artykuły, a wszystkie z nich, zgodnie z projektem, wymagały od autorów dodatkowych informacji, aby rozpocząć replikację.

Niestety, wskaźniki RTI dla czasopism, instytucji i krajów wypadają obecnie gorzej niż średnia z badania replikacji. Jeśli przyjmą RTI z tych badań replikacji jako cel dla przyszłych rękopisów, potrzeba będzie więcej pracy, aby zapewnić, że przeciętny rękopis zawiera wystarczającą ilość informacji do prób replikacji.

Dr Anita Bandrowski z Uniwersytetu Kalifornijskiego w San Diego powiedziała: „Powtarzalność badań jest niezbędna dla postępu naukowego. Jednak w ciągu ostatniej dekady liczne raporty na temat braku powtarzalności badań rzuciły światło na utrzymujący się problem, który okazuje się problematyczny i kosztowny”.

Aby promować odtwarzalność, liczne organizacje naukowe i czasopisma przyjęły Wytyczne dotyczące przejrzystości i otwartości, które skupiają się na ustalaniu najlepszych praktyk na poziomie poszczególnych czasopism.

Podobnie opracowane przez wydawcę ramy projektowania, analizy i raportowania materiałów to multidyscyplinarna struktura badawcza zaprojektowana w celu poprawy przejrzystości raportowania w badaniach z zakresu nauk przyrodniczych na poziomie pojedynczego manuskryptu.

Ramy te zapewniają spójną minimalną listę kontrolną raportowania, której kryteria zostały częściowo wykorzystane do stworzenia pierwszego RTI, miernika jakości czasopisma skupiającego się na metodach badawczych i przejrzystości raportowania.

W szczególności autorzy przedstawiają najnowszą wersję RTI, która reprezentuje średni wynik SciScore dla podzbioru artykułów i pokazują, jak można go wykorzystać do oceny przejrzystości raportowania w instytucjach badawczych.

Chociaż nie możemy po prostu opisać wszystkich artykułów oznaczonych „2” jako niepowtarzalnych i wszystkich artykułów oznaczonych „8” jako powtarzalnych, ponieważ istnieje wiele dziedzin i wynikających z nich najlepszych praktyk, możemy zauważyć, że wyższe wyniki wiążą się z większą szczegółowością metodologiczną i prawdopodobnie łatwiej będzie je wykorzystać do próby replikacji.

Źródło:

Publikacje JMIR

Odniesienie:

Menke, J. i in. (2022) Ustalanie wyników instytucjonalnych za pomocą wskaźnika rygorystyczności i przejrzystości: wielkoskalowa analiza jakości raportowania naukowego. Journal of Medical Internet Research. doi.org/10.2196/37324.