Medidas de rigor e transparência poderiam ajudar a melhorar a reprodutibilidade na literatura científica

Medidas de rigor e transparência poderiam ajudar a melhorar a reprodutibilidade na literatura científica

A JMIR Publications publicou recentemente “Estabelecendo pontuações institucionais com o índice de rigor e transparência: análise em larga escala da qualidade dos relatórios científicos” no Journal of Medical Internet Research (JMIR), que relatou que melhorar o rigor e as medidas de transparência deve levar a melhorias na reprodutibilidade da literatura científica, mas a avaliação das medidas de transparência é geralmente muito difícil quando feita manualmente pelos avaliadores.

O objetivo geral deste estudo é criar uma medida da qualidade dos relatórios científicos que possa ser usada em instituições e países, bem como destacar a necessidade de relatórios de alta qualidade para garantir a reprodutibilidade na biomedicina, utilizando manuscritos do Projeto Reprodutibilidade: Biologia do Câncer.

Os autores abordam uma melhoria no Índice de Rigor e Transparência (RTI) introduzido anteriormente, que tenta avaliar automaticamente o rigor e a transparência de periódicos, instituições e países usando manuscritos avaliados de acordo com critérios especificados nas diretrizes de reprodutibilidade (por exemplo, NIH, MDAR, ARRIVE).

Utilizando o trabalho do Reproducibility Project: Cancer Biology, os autores conseguiram determinar que os estudos de replicação tiveram um desempenho significativamente melhor do que os artigos originais, todos os quais, de acordo com o projeto, exigiram informações adicionais dos autores para iniciar os esforços de replicação.

Infelizmente, as medidas de direito à informação para revistas, instituições e países apresentam atualmente um desempenho pior do que a média dos estudos de replicação. Se tomarem o RTI destes estudos de replicação como alvo para manuscritos futuros, será necessário mais trabalho para garantir que o manuscrito médio contenha informações suficientes para tentativas de replicação.

Anita Bandrowski, da Universidade da Califórnia em San Diego, disse: "A reprodutibilidade da pesquisa é necessária para o progresso científico. No entanto, durante a última década, numerosos relatórios sobre a não reprodutibilidade da pesquisa lançaram luz sobre um problema persistente que está se mostrando problemático e caro."

Para promover a reprodutibilidade, diversas organizações científicas e revistas adotaram as Diretrizes de Transparência e Abertura, que se concentram no estabelecimento de melhores práticas em nível de revista individual.

Da mesma forma, o Materials Design, Analysis, and Reporting Framework, orientado por editores, é uma estrutura de pesquisa multidisciplinar projetada para melhorar a transparência dos relatórios em pesquisas em ciências da vida no nível de manuscrito individual.

Esta estrutura fornece uma lista de verificação mínima consistente de relatórios, cujos critérios foram usados ​​em parte para criar o primeiro RTI, uma métrica de qualidade de periódicos focada em métodos de pesquisa e transparência de relatórios.

Em particular, os autores apresentam aqui a versão mais recente do RTI, que representa a média do SciScore num subconjunto de artigos, e mostram como pode ser utilizado para avaliar a transparência dos relatórios em instituições de investigação.

Embora não possamos simplesmente descrever todos os artigos com “2” como não repetíveis e todos os artigos com “8” como repetíveis, uma vez que existem numerosos campos e as melhores práticas resultantes, podemos notar que pontuações mais altas estão associadas a mais detalhes metodológicos e são provavelmente mais fáceis de usar para tentar a replicação.

Fonte:

Publicações JMIR

Referência:

Menke, J., et al. (2022) Estabelecendo pontuações institucionais com o Índice de Rigor e Transparência: Análise em Grande Escala da Qualidade do Relatório Científico. Jornal de Pesquisa Médica na Internet. doi.org/10.2196/37324.