Varför en stor hydroxiklorokinstudie drogs tillbaka på grund av statistiskt missbruk

Varför en stor hydroxiklorokinstudie drogs tillbaka på grund av statistiskt missbruk

En högprofilerad HCQ-studie som hävdade 16 990 Covid-dödsfall avslöjades för att ha missbrukat data och ignorerat doseffekter, vilket belyser varför vetenskapliga publikationer behöver en översyn av insynen.

I en nyligen publicerad studie publicerad i tidskriftenFolkhälsoarkivetForskarna anammade de metodologiska metoderna och resultaten av Pradelle et al. Denna studie främjade debatten om användningen av antireumatiska läkemedel genom att hävda att HCQ var associerat med mer än 16 990 dödsfall under den första vågen av Covid-19-pandemin. Efterföljande recensioner visade i Pradelle et al. Processen saknade dock insyn eftersom detaljerade förklaringar till tillbakadragandet och relaterad korrespondens inte offentliggjordes.

Den föreliggande studien kritiserar de metodologiska påståendena och tillvägagångssätten för datauppsättningen av Pradelle et al.

Bakgrund – HCQ-debatten

Den aldrig tidigare skådade tillväxten av global tillgång till Internet har lett till en omfattande spridning av vetenskaplig kunskap genom sociala nätverk och medieplattformar online, vilket ofta formar den allmänna opinionen, individuellt beteende och i sin tur politiska beslut. Detta skapar ett underförstått ansvar för forskare att upprätthålla de högsta standarderna för rigor i sina metodologiska tillvägagångssätt. Trots detta dras mer än 10 000 publikationer tillbaka varje år efter kritik av deras datatillförlitlighet och precision.

Dessa indragningar representerar inte bara en betydande förlust av finansiering och forskningsansträngningar, utan deras felaktiga resultat, när de väl sprids, kan vara utmanande att vända. Denna studie använder Lancet Gate-debatten för att belysa denna punkt. Diskussionen fokuserar på en publikation i Lancet om hydroxiklorokin (HCQ), ett läkemedel mot malaria som testas för användning mot coronavirus sjukdom 2019 (CoVID-19). Medan utbredda vetenskapliga protester ledde till att den drog sig tillbaka, citerade flera regeringar dess resultat när de utformade sin offentliga policy om användning av HCQ.

Debatten eskalerade till nya höjder när Pradelle et al. Publicerade metaanalyser som uppskattar dödssiffran från HCQ-användning av HCQ under den första vågen av Covid-19. Studien, som hävdade att 16 990 personer kan ha dött efter HCQ-konsumtion, bestod av Belgien, Frankrike, USA, Spanien, Turkiet och Italien och berodde på både omfattande mediebevakning och politiska implikationer. Medan publiceringen så småningom drogs tillbaka på grund av "brist på data" och "tvivelaktiga antaganden", var skadan skedd.

"Syftet med den här artikeln är att ta itu med viktiga frågor om transparensen och integriteten för vetenskaplig publicering, särskilt i sammanhanget av den tillbakadragna artikeln av Pradelle et al. och de nätverksanslutna tidningarna, och svagheterna i det nuvarande publiceringsekosystemet när det gäller att förhindra desinformation och upprätthålla allmänhetens förtroende för vetenskapliga institutioner."

Metodologiska brister

Den första metodologiska brist som undersökts i denna kritik är den av Pradelle et al. Den uppskattade dödligheten på sjukhus. Medan publikationen uppskattade att mer än 16 990 personer dog av medkännande HCQ-användning, presenterades dessa resultat utan lämpliga känslighetsanalyser eller dossubgruppsjusteringar, vilket förhindrade datatillförlitlighet. Uppskattningen för HCQ-relaterad dödlighet (oddskvot [OR]) är fortfarande felaktig. Publikationen av Pradelle et al. härleddes från de tidigare metaanalyserna av Axfors et al. Lånade och härrörde främst från randomiserade kontrollerade prövningar i hög dos, men Pradelle et al. Samma effektstorlek tillämpades på alla patientgrupper, oavsett den faktiska mottagna dosen, utan att ta hänsyn till dosberoendet av effektstorleken eller utföra robusthetskontroller för dess validitet.

Den föreliggande kritiken tar vidare upp vikten av att skilja mellan statistisk och klinisk signifikans. Den belyser felaktig tillämpning av effektstorlekar, bristen på känslighetsanalyser och avsaknaden av subgruppsuppskattningar som kumulativa faktorer som påverkar den kliniska tillförlitligheten av Pradelle et al. Ogiltigförklara.

Reanalysen fann att lägre dos HCQ-regimer inte visade några tydliga bevis på ökad dödlighet, medan endast högre doser var associerade med en möjlig riskökning. Viktigt är att känslighetsanalyser visade att de statistiska slutsatserna i hög grad berodde på en enda stor studie, vilket väckte farhågor om robustheten hos de ursprungliga fynden.

"Som sett i flera länder under Covid-19-pandemin har användningen av HCQ varierat kraftigt när det gäller dosering, patientval, samtidig administrering med andra behandlingar, metodiska standarder och försiktig tolkning av statistiska resultat i utformningen av folkhälsopolitik."

Dessa resultat förstärker behovet av författarna att ta ansvar för att kritiskt utvärdera sina datakällor och de antaganden som är inbäddade i deras statistiska modeller. Den statistiska metoden måste se större transparens innan vetenskap och medicin kan avancera, och spridningen av desinformation kan stoppa.

Utöver metodkritik belyser studien bredare systemproblem inom vetenskaplig publicering, inklusive ökningen av bedrägliga publiceringsmetoder, recensentrötthet, rovtidskrifter, "pappersbruk" och urholkningen av förtroendet för vetenskapliga institutioner.

Framtida rekommendationer

För att ta itu med pågående hot mot den vetenskapliga integriteten ger studien rekommendationer om reproducerbarhet, urholkningen av kollegiala granskningsprocesser och brådskande behov av deras reformer och ökad transparens och ansvarsskyldighet för vetenskapsgranskad vetenskap. Den belyser potentialen med öppen vetenskapspraxis för att utveckla effektiva lösningar, särskilt när det gäller transparens och ansvarsskyldighet.

"Plattformar som Open Science Framework (OSF), Zenodo, Dryad och Figshare är exempel på robusta infrastrukturer som säkerställer att vetenskapligt material förblir tillgängligt för granskning, omanalys och vidare forskning.

Öppna peer review-modeller, där granskarens rapporter och identiteter avslöjas, skulle också kunna förbättra kvaliteten på granskningar och utveckla en mer konstruktiv och ansvarsfull granskningsprocess. "

Artikeln rekommenderar vidare incitament för referentgranskare som CETORING Medical Education (CME), offentligt erkännande och möjligheter till professionella avancemang, och antagandet av öppen data och koddelning för att förbättra reproducerbarheten.

Dessa och andra reformer är avgörande för att uppmuntra granskarnas deltagande, förbättra de rigorösa standarderna för peer review-processen och förbättra den övergripande transparensen för en säkrare och hälsosammare morgondag.

Källor: