Studier visar att framträdande värmekartor kanske inte är redo för bästa sändningstid ännu

Studier visar att framträdande värmekartor kanske inte är redo för bästa sändningstid ännu

Artificiell intelligensmodeller som tolkar medicinska bilder lovar att förbättra klinikers förmåga att ställa korrekta diagnoser i rätt tid och samtidigt minska arbetsbelastningen genom att låta upptagna läkare fokusera på kritiska fall och delegera rutinuppgifter till AI.

Men AI-modeller som saknar insyn i hur och varför en diagnos ställs kan vara problematiska. Detta ogenomskinliga argument -; även känd som "Black Box" AI -; kan minska läkarens förtroende för AI-verktygets tillförlitlighet och därmed motverka användningen av det. Denna brist på transparens kan också få läkare att lita på verktygets tolkning.

Inom området medicinsk bildbehandling har framträdande bedömningar varit ett sätt att skapa mer begripliga AI-modeller och avmystifiera AI-beslutsfattande -; Ett tillvägagångssätt som använder värmekartor för att avgöra om verktyget bara fokuserar korrekt på de relevanta delarna av en given bild eller riktar in sig på irrelevanta delar av den.

Värmekartor fungerar genom att markera områden på en bild som påverkade AI-modellens tolkning. Detta kan hjälpa mänskliga läkare att upptäcka om AI-modellen fokuserar på samma områden som dem eller felaktigt fokuserar på irrelevanta platser i en bild.

Men en ny studie som publicerades den 10 oktober i Nature Machine Intelligence visar att, trots allt vad de lovar, är framträdande värmekartor ännu inte redo för bästa sändningstid.

Analysen, ledd av Harvard Medical School-utredaren Pranav Rajpurkar, Stanfords Matthew Lungren och New York Universitys Adriel Saporta, kvantifierade giltigheten av sju allmänt använda framhävningsmetoder för att bestämma hur tillförlitligt och exakt de kan identifiera patologier som är förknippade med 10 vanliga diagnostiserade tillstånd röntgenbild, såsom lungstrukturer eller utslag i lungor, utslag i lungor, utslag. För att fastställa prestanda jämförde forskarna verktygens prestanda med mänskliga expertbedömningar.

I slutändan underpresterade verktyg som använde framträdande värmekartor baserade värmekartor konsekvent jämfört med mänskliga radiologer i bildutvärdering och deras förmåga att upptäcka patologiska lesioner.

Arbetet representerar den första jämförande analysen mellan framträdande kartor och mänskliga expertprestationer vid bedömning av flera radiografiska patologier. Studien ger också en detaljerad förståelse av om och hur vissa patologiska egenskaper i en bild kan påverka prestandan hos AI-verktyg.

Funktionen för framträdande kartor används redan som ett kvalitetssäkringsverktyg av klinisk praxis som använder AI för att tolka datorstödda detektionsmetoder, såsom: B. Avläsning av lungröntgen. Men med tanke på de nya rönen bör denna funktion avnjutas med försiktighet och en hälsosam dos skepsis, enligt forskarna.

Vår analys visar att saliency-kartor ännu inte är tillräckligt tillförlitliga för att validera individuella kliniska beslut som tas av en AI-modell. Vi har identifierat viktiga begränsningar som ger upphov till allvarliga säkerhetsproblem för användning i nuvarande praxis.”

Pranav Rajpurkar, biträdande professor i biomedicinsk informatik, HMS

Forskarna varnar för att på grund av de viktiga begränsningarna som identifierats i studien bör framträdande baserade värmekartor förfinas ytterligare innan de används i stor utsträckning i kliniska AI-modeller.

Teamets fullständiga kodbas, data och analys är öppna och tillgängliga för alla som är intresserade av att utforska denna viktiga aspekt av klinisk maskininlärning i medicinska bildbehandlingstillämpningar.

Källa:

Harvard Medical School

Hänvisning:

Saporta, A., et al. (2022) Benchmarking av framträdande metoder för tolkning av röntgenbilder. Natur-maskin intelligens. doi.org/10.1038/s42256-022-00536-x.

.