Мерките за строгост и прозрачност биха могли да помогнат за подобряване на възпроизводимостта в научната литература

Мерките за строгост и прозрачност биха могли да помогнат за подобряване на възпроизводимостта в научната литература

JMIR Publications наскоро публикува „Установяване на институционални резултати с индекса на строгост и прозрачност: широкомащабен анализ на качеството на научното отчитане“ в Journal of Medical Internet Research (JMIR), който съобщава, че подобряването на мерките за строгост и прозрачност трябва да доведе до подобрения във възпроизводимостта на научната литература, но оценяването на мерките за прозрачност обикновено е много трудно, когато се прави ръчно от оценители.

Общата цел на това проучване е да се създаде мярка за качеството на научните доклади, които могат да се използват в институции и държави, както и да се подчертае необходимостта от висококачествени доклади, за да се гарантира възпроизводимост в рамките на биомедицината, като се използват ръкописи от проекта за възпроизводимост: Биология на рака.

Авторите се занимават с подобрение на въведения по-рано Индекс на строгост и прозрачност (RTI), който се опитва автоматично да оцени строгостта и прозрачността на списания, институции и държави, използвайки ръкописи, оценени съгласно критерии, посочени в насоките за възпроизводимост (напр. NIH, MDAR, ARRIVE).

Използвайки работа от проекта за възпроизводимост: Биология на рака, авторите успяха да определят, че проучванията за репликация са се представили значително по-добре от оригиналните документи, всички от които, според проекта, изискват допълнителна информация от авторите, за да започнат усилията за репликация.

За съжаление, мерките за RTI за списания, институции и държави в момента се представят по-лошо от средното проучване за репликация. Ако те приемат RTI на тези изследвания на репликация като цел за бъдещи ръкописи, ще е необходима повече работа, за да се гарантира, че средният ръкопис съдържа достатъчно информация за опити за репликация.

Д-р Анита Бандровски от Калифорнийския университет в Сан Диего каза: „Възпроизводимостта на изследванията е необходима за научния прогрес. През последното десетилетие обаче многобройни доклади за невъзпроизводимостта на изследванията хвърлиха светлина върху постоянен проблем, който се оказва проблематичен и скъп.“

За да насърчат възпроизводимостта, множество научни организации и списания са приели Насоките за прозрачност и откритост, които се фокусират върху установяването на най-добри практики на ниво отделно списание.

По същия начин управляваната от издателите рамка за проектиране, анализ и отчитане на материали е мултидисциплинарна изследователска рамка, предназначена да подобри прозрачността на отчитането в изследванията в областта на науките за живота на ниво индивидуален ръкопис.

Тази рамка предоставя последователен минимален контролен списък за отчитане, чиито критерии бяха използвани отчасти за създаването на първия RTI, показател за качество на списанието, фокусиран върху изследователските методи и прозрачността на отчитането.

По-специално, авторите представят тук най-новата версия на RTI, която представлява средната SciScore в подгрупа от документи, и показват как може да се използва за оценка на прозрачността на докладите в изследователски институции.

Въпреки че не можем просто да опишем всички документи с „2“ като неповторяеми и всички документи с „8“ като повтарящи се, тъй като има многобройни полета и произтичащите от тях най-добри практики, можем да отбележим, че по-високите резултати са свързани с повече методологични подробности и е вероятно такива да бъдат по-лесни за използване при опит за репликация.

източник:

Публикации на JMIR

Справка:

Menke, J., et al. (2022) Установяване на институционални резултати с индекса за строгост и прозрачност: широкомащабен анализ на качеството на научните доклади. Journal of Medical Internet Research. doi.org/10.2196/37324.