MONET: Nytt AI-verktyg förbättrar medicinsk bildbehandling genom djupinlärning och textanalys

MONET: Nytt AI-verktyg förbättrar medicinsk bildbehandling genom djupinlärning och textanalys

I en nyligen publicerad studie publicerad i Nature Medicine har forskare utvecklat grundmodellen Medical Concept Retriever (MONET), som kombinerar medicinska bilder med text och utvärderar bilder baserat på deras idéexistens, vilket är till hjälp vid kritiska uppgifter vid implementering av medicinsk artificiell intelligens (AI).

bakgrund

Att bygga tillförlitliga bildbaserade medicinska artificiella intelligenssystem kräver att informations- och neurala nätverksmodeller analyseras på alla utvecklingsnivåer, från utbildningsfasen till efterinstallationsfasen.

Rikt kommenterade medicinska datauppsättningar med semantiskt relevanta idéer kan avmystifiera "svarta lådan"-tekniker.

Att förstå kliniskt betydelsefulla termer som mörkare pigmentering, atypiska pigmentnätverk och flera färger är medicinskt fördelaktigt. Det är dock mödosamt att få tag på etiketter och de flesta medicinska informationsuppsättningar innehåller endast diagnostiska anteckningar.

Om studien

I den aktuella studien utvecklade forskare MONET, en AI-modell som kan kommentera medicinska bilder med medicinskt relevanta idéer. De designade modellen för att identifiera olika mänskliga förståeliga idéer i två bildmodaliteter inom dermatologi: dermoskopiska och kliniska bilder.

Forskarna samlade in 105 550 dermatologibild-textpar från PubMed-artiklar och medicinska läroböcker och tränade sedan MONET på 105 550 dermatologifoton och naturliga språkdata från en stor medicinsk litteraturdatabas.

MONET tilldelar bilderna betyg för varje idé, vilket anger i vilken utsträckning bilden återspeglar idén.

Baserat på kontrastiv inlärning, är MONET ett tillvägagångssätt med artificiell intelligens som möjliggör direkt tillämpning av beskrivningar av ren text på bilder.

Denna metod undviker manuell märkning och möjliggör rik bild-text parinformation i en betydligt större skala än vad som är möjligt med övervakad inlärning. Efter MONET-utbildning utvärderade forskare dess effektivitet i annoteringar och andra användningsfall relaterade till AI-transparens.

Forskarna testade MONETs konceptanteckningsfunktioner genom att välja ut de mest konceptuella bilderna från dermoskopiska och kliniska bilder.

De jämförde MONETs prestanda med övervakade inlärningsstrategier där ResNet-50-modeller tränades med konceptuella marksanningsetiketter och OpenAI:s Contrastive Language-Image Pretraining-modell (CLIP).

Forskarna använde också MONET för att automatisera dataanalys och testade dess effektivitet i konceptskillnadsanalys.

De använde MONET för att analysera data från International Skin Imaging Collaboration (ISIC), den största dermoskopiska bildsamlingen med över 70 000 allmänt tillgängliga bilder som rutinmässigt används för att träna dermatologiska AI-modeller.

Forskarna utvecklade en modellrevision med MONET (MA-MONET), som använder MONET för att automatiskt upptäcka semantiskt relevanta medicinska begrepp och modellfel.

Forskarna utvärderade MONET-MA i verkliga miljöer genom att träna CNN-modeller på data från flera universitet och utvärdera deras automatiserade konceptanteckning.

De jämförde den automatiserade idépoängmetoden "MONET + CBM" med den mänskliga märkningsmetoden, som uteslutande gäller foton som innehåller SkinCon-etiketter.

Forskarna undersökte också effekten av konceptval på MONET+CBM-prestanda, särskilt på uppgiftsrelevanta idéer i flaskhalsskikt. Dessutom utvärderade de effekten av att införliva konceptet rött i flaskhalsen på MONET+CBM-prestanda i interinstitutionella överföringsscenarier.

Resultat

MONET är en flexibel medicinsk AI-plattform som på lämpligt sätt kan kommentera idéer i dermatologibilder som verifierats av styrelsecertifierade hudläkare.

Konceptanteckningsfunktionen möjliggör relevanta tillförlitlighetsbedömningar över hela den medicinska artificiella intelligensens pipeline, demonstrerad genom modellrevisioner, datarevisioner och tolkningsbar modellutveckling.

MONET hittar framgångsrikt lämpliga dermoskopiska och kliniska bilder för olika dermatologiska nyckelord och överträffar den grundläggande CLIP-modellen i båda domänerna. MONET överträffade CLIP på dermoskopiska och kliniska bilder och förblev likvärdigt med övervakade inlärningsmodeller på kliniska bilder.

MONETs automatiska anteckningsfunktion hjälper till att identifiera särskiljande funktioner mellan två grupper av bilder på ett läsbart språk under idéskillnadsanalys.

Forskarna fann att MONET upptäcker olika uttryckta idéer i kliniska och dermoskopiska datamängder och kan hjälpa till att undersöka stora datamängder.

Genom att använda MA-MONET avslöjades funktioner som var förknippade med en hög felfrekvens, såsom ett kluster av foton märkta "blå-vitaktig slöja", "blå", "svart", "grå" och "tillplattad".

Forskarna identifierade klustret med den högsta felfrekvensen baserat på erytem, ​​regressionsstruktur, rodnad, atrofi och hyperpigmentering. Dermatologer valde ut tio målrelaterade idéer för MONET+CBM- och CLIP+CBM-flaskhalsskikten som möjliggör flexibla märkningsalternativ.

MONET+CBM överträffar alla baslinjer i medelarea under mottagarens operationskarakteristiska kurva (AUROC) för att förutsäga malignitet och melanom i kliniska bilder. Övervakade black box-modeller presterade konsekvent bättre i cancer- och melanomförutsägelsetest.

Diplom

Studien fann att bildtextmodeller kan öka transparensen och pålitligheten hos AI inom det medicinska området. MONET, en annoteringsplattform för medicinska koncept, kan förbättra transparensen och trovärdigheten för dermatologisk AI genom att möjliggöra storskalig idékommentar.

AI-modellutvecklare kan förbättra datainsamling, bearbetning och optimeringsmetoder, vilket resulterar i mer tillförlitliga medicinska AI-modeller.

MONET kan påverka den kliniska användningen och övervakningen av medicinska bild-AI-system genom att möjliggöra fullständig revision och rättvisa analys genom anteckningar av hudtonsbeskrivningar.

Källor: