Suche
Mein Konto
Studies tonen aan dat salience-hittekaarten mogelijk nog niet klaar zijn voor prime time
Modellen voor kunstmatige intelligentie die medische beelden interpreteren, beloven het vermogen van artsen om nauwkeurige en tijdige diagnoses te stellen te verbeteren en tegelijkertijd de werkdruk te verminderen doordat drukke artsen zich kunnen concentreren op kritieke gevallen en routinetaken kunnen delegeren aan AI. Maar AI-modellen die geen transparantie bieden over hoe en waarom een diagnose wordt gesteld, kunnen problematisch zijn. Dit ondoorzichtige argument -; ook bekend als “Black Box” AI -; kan het vertrouwen van de arts in de betrouwbaarheid van de AI-tool verminderen en zo het gebruik ervan ontmoedigen. Dit gebrek aan transparantie zou er ook toe kunnen leiden dat artsen de interpretatie van de...
Studies tonen aan dat salience-hittekaarten mogelijk nog niet klaar zijn voor prime time
Modellen voor kunstmatige intelligentie die medische beelden interpreteren, beloven het vermogen van artsen om nauwkeurige en tijdige diagnoses te stellen te verbeteren en tegelijkertijd de werkdruk te verminderen doordat drukke artsen zich kunnen concentreren op kritieke gevallen en routinetaken kunnen delegeren aan AI.
Maar AI-modellen die geen transparantie bieden over hoe en waarom een diagnose wordt gesteld, kunnen problematisch zijn. Dit ondoorzichtige argument -; ook bekend als “Black Box” AI -; kan het vertrouwen van de arts in de betrouwbaarheid van de AI-tool verminderen en zo het gebruik ervan ontmoedigen. Dit gebrek aan transparantie zou er ook toe kunnen leiden dat artsen de interpretatie van het instrument vertrouwen.
Op het gebied van medische beeldvorming zijn saillantiebeoordelingen een manier geweest om begrijpelijker AI-modellen te creëren en AI-besluitvorming te demystificeren -; Een aanpak waarbij gebruik wordt gemaakt van heatmaps om te bepalen of de tool alleen correct focust op de relevante delen van een bepaalde afbeelding of zich richt op irrelevante delen ervan.
Heatmaps werken door gebieden op een afbeelding te markeren die de interpretatie van het AI-model hebben beïnvloed. Dit zou menselijke artsen kunnen helpen detecteren of het AI-model zich richt op dezelfde gebieden als zij of zich onjuist concentreert op irrelevante plaatsen in een beeld.
Maar een nieuwe studie, gepubliceerd op 10 oktober in Nature Machine Intelligence, laat zien dat saillante heatmaps, ondanks al hun beloftes, nog niet klaar zijn voor prime time.
De analyse, geleid door onderzoeker Pranav Rajpurkar van de Harvard Medical School, Matthew Lungren van Stanford en Adriel Saporta van de Universiteit van New York, kwantificeerde de validiteit van zeven veelgebruikte markeringsmethoden om te bepalen hoe betrouwbaar en nauwkeurig ze pathologieën kunnen identificeren die verband houden met tien vaak gediagnosticeerde aandoeningen op röntgenfoto's, zoals longlaesies, pleurale effusies, oedeem of vergrote hartstructuren. Om de prestaties te bepalen, vergeleken de onderzoekers de prestaties van de tools met het oordeel van menselijke experts.
Uiteindelijk presteerden tools die gebruik maakten van opvallende heatmap-gebaseerde heatmaps consequent ondermaats vergeleken met menselijke radiologen op het gebied van beeldbeoordeling en hun vermogen om pathologische laesies te detecteren.
Het werk vertegenwoordigt de eerste vergelijkende analyse tussen saliency-kaarten en de prestaties van menselijke experts bij het beoordelen van meerdere radiografische pathologieën. De studie biedt ook een gedetailleerd inzicht in de vraag of en hoe bepaalde pathologische kenmerken in een afbeelding de prestaties van AI-tools kunnen beïnvloeden.
De saliency map-functie wordt al gebruikt als hulpmiddel voor kwaliteitsborging door klinische praktijken die AI gebruiken om computerondersteunde detectiemethoden te interpreteren, zoals: B. Het lezen van röntgenfoto's van de borstkas. Maar gezien de nieuwe bevindingen moet er volgens de onderzoekers met voorzichtigheid en een gezonde dosis scepsis van deze eigenschap worden genoten.
Uit onze analyse blijkt dat saillantiekaarten nog niet betrouwbaar genoeg zijn om individuele klinische beslissingen van een AI-model te valideren. We hebben belangrijke beperkingen geïdentificeerd die ernstige veiligheidsrisico’s met zich meebrengen voor gebruik in de huidige praktijk.”
Pranav Rajpurkar, universitair docent biomedische informatica, HMS
De onderzoekers waarschuwen dat vanwege de belangrijke beperkingen die in het onderzoek zijn geïdentificeerd, op salience gebaseerde heatmaps verder moeten worden verfijnd voordat ze op grote schaal worden gebruikt in klinische AI-modellen.
De volledige codebase, gegevens en analyses van het team zijn open en beschikbaar voor iedereen die geïnteresseerd is in het verkennen van dit belangrijke aspect van klinisch machinaal leren in toepassingen voor medische beeldvorming.
Bron:
Referentie:
Saporta, A., et al. (2022) Benchmarking van opvallende methoden voor de interpretatie van thoraxfoto's. Natuur-machine-intelligentie. doi.org/10.1038/s42256-022-00536-x.
.