MONET: Nytt AI-verktøy forbedrer medisinsk bildebehandling gjennom dyp læring og tekstanalyse

MONET: Nytt AI-verktøy forbedrer medisinsk bildebehandling gjennom dyp læring og tekstanalyse

I en fersk studie publisert i Nature Medicine utviklet forskere grunnmodellen Medical Concept Retriever (MONET), som kombinerer medisinske bilder med tekst og vurderer bilder basert på deres idéeksistens, noe som er nyttig i kritiske oppgaver i implementering av medisinsk kunstig intelligens (AI).

bakgrunn

Å bygge pålitelige bildebaserte medisinske kunstige intelligenssystemer krever analyse av informasjon og nevrale nettverksmodeller på alle utviklingsnivåer, fra opplæringsfasen til post-distribusjonsfasen.

Rikt kommenterte medisinske datasett med semantisk relevante ideer kan avmystifisere "black box"-teknologier.

Å forstå klinisk signifikante termer som mørkere pigmentering, atypiske pigmentnettverk og flere farger er medisinsk gunstig. Det er imidlertid krevende å skaffe etiketter, og de fleste medisinske informasjonssett inneholder kun diagnostiske notater.

Om studiet

I den nåværende studien utviklet forskere MONET, en AI-modell som kan kommentere medisinske bilder med medisinsk relevante ideer. De designet modellen for å identifisere forskjellige menneskeforståelige ideer i to bildemodaliteter innen dermatologi: dermoskopiske og kliniske bilder.

Forskerne samlet inn 105 550 dermatologibilde-tekstpar fra PubMed-artikler og medisinske lærebøker og trente deretter MONET på 105 550 dermatologibilder og naturlig språkdata fra en stor medisinsk litteraturdatabase.

MONET tildeler vurderinger til bildene for hver idé, og angir i hvilken grad bildet reflekterer ideen.

Basert på kontrastiv læring, er MONET en kunstig intelligenstilnærming som muliggjør direkte bruk av ren tekstbeskrivelser på bilder.

Denne metoden unngår manuell merking og muliggjør rik bilde-tekst-parinformasjon i en betydelig større skala enn det som er mulig med overvåket læring. Etter MONET-trening evaluerte forskere effektiviteten i merknader og andre brukstilfeller relatert til AI-gjennomsiktighet.

Forskerne testet MONETs konseptkommentarfunksjoner ved å velge de mest konseptuelle bildene fra dermoskopiske og kliniske bilder.

De sammenlignet MONETs ytelse med veiledede læringsstrategier der ResNet-50-modeller ble trent med konseptuelle grunnsannhetsetiketter og OpenAIs Contrastive Language-Image Pretraining (CLIP) modell.

Forskerne brukte også MONET for å automatisere dataanalyse og testet effektiviteten i konseptforskjellsanalyse.

De brukte MONET til å analysere data fra International Skin Imaging Collaboration (ISIC), den største dermoskopiske bildesamlingen med over 70 000 offentlig tilgjengelige bilder som rutinemessig brukes til å trene dermatologiske AI-modeller.

Forskerne utviklet en modellrevisjon med MONET (MA-MONET), som bruker MONET til automatisk å oppdage semantisk relevante medisinske konsepter og modellfeil.

Forskerne evaluerte MONET-MA i virkelige miljøer ved å trene CNN-modeller på data fra flere universiteter og evaluere deres automatiserte konseptannotering.

De sammenlignet "MONET + CBM" automatiserte idéscoringsmetoden med den menneskelige merkingsmetoden, som utelukkende gjelder for bilder som inneholder SkinCon-etiketter.

Forskerne undersøkte også virkningen av konseptvalg på MONET+CBM-ytelse, spesielt på oppgaverelevante ideer i flaskehals-lag. I tillegg evaluerte de effekten av å innlemme konseptet rødt i flaskehalsen på MONET+CBM-ytelse i interinstitusjonelle overføringsscenarier.

Resultater

MONET er en fleksibel medisinsk AI-plattform som på passende måte kan kommentere ideer i dermatologibilder som bekreftet av styresertifiserte hudleger.

Konseptannoteringsfunksjonen muliggjør relevante pålitelighetsvurderinger på tvers av rørledningen for medisinsk kunstig intelligens, demonstrert gjennom modellrevisjoner, datarevisjoner og tolkbar modellutvikling.

MONET finner vellykket dermoskopiske og kliniske bilder for ulike dermatologiske nøkkelord og overgår den grunnleggende CLIP-modellen på begge domenene. MONET overgikk CLIP på dermoskopiske og kliniske bilder og forble ekvivalent med veiledede læringsmodeller på kliniske bilder.

MONETs automatiserte merknadsfunksjon hjelper til med å identifisere kjennetegn mellom to grupper av bilder på et menneskelig lesbart språk under analyse av idéforskjeller.

Forskerne fant at MONET oppdager ideer som uttrykkes annerledes i kliniske og dermoskopiske datasett og kan hjelpe til med å undersøke store datasett.

Bruk av MA-MONET avslørte funksjoner som var assosiert med høy feilrate, for eksempel en klynge bilder merket "blå-hvitaktig slør", "blått", "svart", "grå" og "flatet".

Forskerne identifiserte klyngen med høyest feilfrekvens basert på erytem, ​​regresjonsstruktur, rødhet, atrofi og hyperpigmentering. Hudleger valgte ti målrelaterte ideer for MONET+CBM- og CLIP+CBM-flaskehalslagene som muliggjør fleksible merkingsalternativer.

MONET+CBM utkonkurrerer alle basislinjer i gjennomsnittlig areal under mottakerens operasjonskarakteristiske kurve (AUROC) for å forutsi malignitet og melanom i kliniske bilder. Overvåkede svarte boksmodeller presterte konsekvent bedre i kreft- og melanomprediksjonstester.

Diplom

Studien fant at bilde-tekstmodeller kan øke åpenheten og påliteligheten til AI i det medisinske feltet. MONET, en annoteringsplattform for medisinsk konsept, kan forbedre åpenheten og påliteligheten til dermatologisk AI ved å muliggjøre idékommentarer i stor skala.

AI-modellutviklere kan forbedre datainnsamling, prosessering og optimaliseringspraksis, noe som resulterer i mer pålitelige medisinske AI-modeller.

MONET kan påvirke klinisk bruk og overvåking av medisinske bilde-AI-systemer ved å muliggjøre full revisjon og rettferdighetsanalyse gjennom merknader av hudfargebeskrivelser.

Kilder: