MONET: Nyt AI-værktøj forbedrer medicinsk billeddannelse gennem dyb læring og tekstanalyse

MONET: Nyt AI-værktøj forbedrer medicinsk billeddannelse gennem dyb læring og tekstanalyse

I en nylig undersøgelse offentliggjort i Nature Medicine udviklede forskere grundmodellen Medical Concept Retriever (MONET), som kombinerer medicinske billeder med tekst og evaluerer billeder baseret på deres idéeksistens, hvilket er nyttigt i kritiske opgaver i implementering af medicinsk kunstig intelligens (AI).

baggrund

Opbygning af pålidelige billedbaserede medicinske kunstige intelligenssystemer kræver analyse af information og neurale netværksmodeller på alle udviklingsniveauer, fra træningsfasen til post-udrulningsfasen.

Rigt kommenterede medicinske datasæt med semantisk relevante ideer kunne afmystificere "black box"-teknologier.

Det er medicinsk fordelagtigt at forstå klinisk betydningsfulde udtryk som mørkere pigmentering, atypiske pigmentnetværk og flere farver. Det er dog besværligt at få etiketter, og de fleste medicinske informationssæt indeholder kun diagnostiske noter.

Om studiet

I den aktuelle undersøgelse udviklede forskere MONET, en AI-model, der kan annotere medicinske billeder med medicinsk relevante ideer. De designede modellen til at identificere forskellige menneske-forståelige ideer i to billedmodaliteter i dermatologi: dermoskopiske og kliniske billeder.

Forskerne indsamlede 105.550 dermatologiske billed-tekst-par fra PubMed-artikler og medicinske lærebøger og trænede derefter MONET på 105.550 dermatologiske fotos og naturlige sprogdata fra en stor medicinsk litteraturdatabase.

MONET tildeler vurderinger til billederne for hver idé, hvilket angiver, i hvilket omfang billedet afspejler ideen.

Baseret på kontrastiv læring er MONET en kunstig intelligens-tilgang, der muliggør direkte anvendelse af almindelige tekstbeskrivelser på billeder.

Denne metode undgår manuel mærkning og muliggør rig billed-tekst parinformation i væsentligt større skala, end det er muligt med overvåget læring. Efter MONET-træning evaluerede forskere dets effektivitet i annoteringer og andre brugssager relateret til AI-gennemsigtighed.

Forskerne testede MONETs konceptannoteringsmuligheder ved at vælge de mest konceptuelle billeder fra dermoskopiske og kliniske billeder.

De sammenlignede MONETs præstation med overvågede læringsstrategier, hvor ResNet-50-modeller blev trænet med konceptuelle ground truth-etiketter og OpenAI's Contrastive Language-Image Pretraining (CLIP) model.

Forskerne brugte også MONET til at automatisere dataanalyse og testede dens effektivitet i konceptforskelanalyse.

De brugte MONET til at analysere data fra International Skin Imaging Collaboration (ISIC), den største dermoskopiske billedsamling med over 70.000 offentligt tilgængelige billeder, der rutinemæssigt bruges til at træne dermatologiske AI-modeller.

Forskerne udviklede en modelaudit med MONET (MA-MONET), som bruger MONET til automatisk at detektere semantisk relevante medicinske begreber og modelfejl.

Forskerne evaluerede MONET-MA i virkelige miljøer ved at træne CNN-modeller på data fra flere universiteter og evaluere deres automatiserede konceptannotering.

De sammenlignede den "MONET + CBM" automatiserede idéscoringsmetode med den menneskelige mærkningsmetode, som udelukkende gælder for billeder, der indeholder SkinCon-etiketter.

Forskerne undersøgte også virkningen af ​​konceptvalg på MONET+CBM-ydelse, især på opgaverelevante ideer i flaskehals-lag. Derudover evaluerede de virkningen af ​​at inkorporere begrebet rød i flaskehalsen på MONET+CBM-præstation i interinstitutionelle overførselsscenarier.

Resultater

MONET er en fleksibel medicinsk AI-platform, der på passende vis kan kommentere ideer i dermatologiske billeder som bekræftet af bestyrelsescertificerede hudlæger.

Konceptannotationsfunktionen muliggør relevante troværdighedsvurderinger på tværs af den medicinske kunstige intelligens-pipeline, demonstreret gennem modelaudits, dataaudits og udvikling af fortolkbare modeller.

MONET finder med succes egnede dermoskopiske og kliniske billeder til forskellige dermatologiske nøgleord og overgår den grundlæggende CLIP-model på begge domæner. MONET klarede sig bedre end CLIP på dermoskopiske og kliniske billeder og forblev ækvivalent med overvågede læringsmodeller på kliniske billeder.

MONETs automatiserede annoteringsfunktion hjælper med at identificere kendetegn mellem to grupper af billeder i et menneskeligt læsbart sprog under analyse af idéforskelle.

Forskerne fandt ud af, at MONET opdager anderledes udtrykte ideer i kliniske og dermoskopiske datasæt og kan hjælpe med at undersøge store datasæt.

Brug af MA-MONET afslørede funktioner, der var forbundet med en høj fejlrate, såsom en klynge af billeder mærket "blå-hvidligt slør", "blå", "sort", "grå" og "fladet".

Forskerne identificerede klyngen med den højeste fejlrate baseret på erytem, ​​regressionsstruktur, rødme, atrofi og hyperpigmentering. Dermatologer udvalgte ti målrelaterede ideer til MONET+CBM- og CLIP+CBM-flaskehalslagene, der muliggør fleksible mærkningsmuligheder.

MONET+CBM udkonkurrerer alle basislinjer i middelareal under modtagerens operationskarakteristiske kurve (AUROC) til forudsigelse af malignitet og melanom i kliniske billeder. Overvågede black box-modeller klarede sig konsekvent bedre i kræft- og melanom-forudsigelsestest.

Eksamensbevis

Undersøgelsen viste, at billedtekstmodeller kan øge gennemsigtigheden og troværdigheden af ​​AI på det medicinske område. MONET, en medicinsk konceptannoteringsplatform, kan forbedre gennemsigtigheden og troværdigheden af ​​dermatologisk AI ved at muliggøre idéannotering i stor skala.

AI-modeludviklere kan forbedre dataindsamling, behandling og optimeringspraksis, hvilket resulterer i mere pålidelige medicinske AI-modeller.

MONET kan påvirke den kliniske brug og overvågning af medicinsk billed-AI-systemer ved at muliggøre fuld revision og retfærdighedsanalyse gennem annotering af hudfarvedeskriptorer.

Kilder: