Suche
Mein Konto
Medidas de rigor y transparencia podrían ayudar a mejorar la reproducibilidad en la literatura científica
JMIR Publications publicó recientemente “Establecimiento de puntuaciones institucionales con el índice de rigor y transparencia: análisis a gran escala de la calidad de los informes científicos” en el Journal of Medical Internet Research (JMIR), que informó que mejorar las medidas de rigor y transparencia debería conducir a mejoras en la reproducibilidad de la literatura científica, pero evaluar las medidas de transparencia suele ser muy difícil cuando los evaluadores lo hacen manualmente. El objetivo general de este estudio es crear una medida de la calidad de los informes científicos que pueda utilizarse en todas las instituciones y países, así como resaltar la necesidad de informes de alta calidad para garantizar la reproducibilidad...
Medidas de rigor y transparencia podrían ayudar a mejorar la reproducibilidad en la literatura científica
JMIR Publications publicó recientemente “Establecimiento de puntuaciones institucionales con el índice de rigor y transparencia: análisis a gran escala de la calidad de los informes científicos” en el Journal of Medical Internet Research (JMIR), que informó que mejorar las medidas de rigor y transparencia debería conducir a mejoras en la reproducibilidad de la literatura científica, pero evaluar las medidas de transparencia suele ser muy difícil cuando los evaluadores lo hacen manualmente.
El objetivo general de este estudio es crear una medida de la calidad de los informes científicos que pueda utilizarse en instituciones y países, así como resaltar la necesidad de informes de alta calidad para garantizar la reproducibilidad dentro de la biomedicina, utilizando manuscritos del Proyecto de Reproducibilidad: Biología del Cáncer.
Los autores abordan una mejora del Índice de Rigor y Transparencia (RTI) introducido anteriormente, que intenta evaluar automáticamente el rigor y la transparencia de revistas, instituciones y países utilizando manuscritos evaluados de acuerdo con criterios especificados en pautas de reproducibilidad (por ejemplo, NIH, MDAR, ARRIVE).
Utilizando el trabajo del Proyecto de Reproducibilidad: Biología del Cáncer, los autores pudieron determinar que los estudios de replicación funcionaron significativamente mejor que los artículos originales, todo lo cual, según el proyecto, requirió información adicional de los autores para comenzar los esfuerzos de replicación.
Desafortunadamente, las medidas de RTI para revistas, instituciones y países actualmente están obteniendo peores resultados que el promedio de los estudios de replicación. Si toman el RTI de estos estudios de replicación como objetivo para futuros manuscritos, se requerirá más trabajo para garantizar que el manuscrito promedio contenga suficiente información para los intentos de replicación.
La Dra. Anita Bandrowski de la Universidad de California en San Diego dijo: "La reproducibilidad de la investigación es necesaria para el progreso científico. Sin embargo, durante la última década, numerosos informes sobre la no reproducibilidad de la investigación han arrojado luz sobre un problema persistente que está resultando problemático y costoso".
Para promover la reproducibilidad, numerosas organizaciones y revistas científicas han adoptado las Directrices de Transparencia y Apertura, que se centran en establecer mejores prácticas a nivel de revista individual.
De manera similar, el marco de diseño, análisis e informes de materiales impulsado por el editor es un marco de investigación multidisciplinario diseñado para mejorar la transparencia de los informes en la investigación de ciencias biológicas a nivel de manuscrito individual.
Este marco proporciona una lista de verificación mínima consistente para la presentación de informes, cuyos criterios se utilizaron en parte para crear el primer RTI, una métrica de calidad de revistas centrada en los métodos de investigación y la transparencia de los informes.
En particular, los autores presentan aquí la última versión del RTI, que representa el SciScore medio en un subconjunto de artículos, y muestran cómo se puede utilizar para evaluar la transparencia de los informes en instituciones de investigación.
Si bien no podemos simplemente describir todos los artículos con un “2” como no repetibles y todos los artículos con un “8” como repetibles, dado que existen numerosos campos y las mejores prácticas resultantes, podemos observar que las puntuaciones más altas están asociadas con más detalles metodológicos y es probable que sean más fáciles de usar para intentar replicar.
Fuente:
Referencia:
Menke, J., et al. (2022) Establecimiento de puntajes institucionales con el Índice de Rigor y Transparencia: Análisis a gran escala de la calidad de los informes científicos. Revista de investigación médica en Internet. doi.org/10.2196/37324.