MONET: Nieuwe AI-tool verbetert medische beeldvorming door middel van deep learning en tekstanalyse

MONET: Nieuwe AI-tool verbetert medische beeldvorming door middel van deep learning en tekstanalyse

In een recente studie gepubliceerd in Nature Medicine ontwikkelden onderzoekers het Medical Concept Retriever (MONET) basismodel, dat medische beelden combineert met tekst en beelden evalueert op basis van hun idee-bestaan, wat nuttig is bij kritieke taken bij de implementatie van medische kunstmatige intelligentie (AI).

achtergrond

Het bouwen van betrouwbare, op beelden gebaseerde medische kunstmatige-intelligentiesystemen vereist het analyseren van informatie en neurale netwerkmodellen op elk ontwikkelingsniveau, van de trainingsfase tot de fase na de implementatie.

Rijkelijk geannoteerde medische datasets met semantisch relevante ideeën zouden ‘black box’-technologieën kunnen demystificeren.

Het begrijpen van klinisch significante termen zoals donkerdere pigmentatie, atypische pigmentnetwerken en meerdere kleuren is medisch nuttig. Het verkrijgen van labels is echter bewerkelijk en de meeste medische informatiesets bevatten alleen diagnostische aantekeningen.

Over de studie

In het huidige onderzoek ontwikkelden onderzoekers MONET, een AI-model dat medische beelden kan annoteren met medisch relevante ideeën. Ze ontwierpen het model om verschillende voor de mens begrijpelijke ideeën te identificeren in twee beeldmodaliteiten in de dermatologie: dermoscopische en klinische beelden.

De onderzoekers verzamelden 105.550 dermatologische beeld-tekstparen uit PubMed-artikelen en medische handboeken en trainden vervolgens MONET op 105.550 dermatologische foto's en natuurlijke taalgegevens uit een grote database met medische literatuur.

MONET kent voor elk idee een beoordeling toe aan de foto's, waarmee wordt aangegeven in welke mate de afbeelding het idee weerspiegelt.

MONET is gebaseerd op contrastief leren en is een kunstmatige-intelligentiebenadering die de directe toepassing van beschrijvingen in platte tekst op afbeeldingen mogelijk maakt.

Deze methode vermijdt handmatig labelen en maakt rijke informatie over beeld-tekstparen mogelijk op een aanzienlijk grotere schaal dan mogelijk is met begeleid leren. Na de MONET-training evalueerden onderzoekers de effectiviteit ervan in annotaties en andere gebruiksscenario's gerelateerd aan AI-transparantie.

De onderzoekers testten de conceptannotatiemogelijkheden van MONET door de meest conceptuele foto's te selecteren uit dermoscopische en klinische beelden.

Ze vergeleken de prestaties van MONET met begeleide leerstrategieën waarbij ResNet-50-modellen werden getraind met conceptuele ground Truth-labels en OpenAI's Contrastive Language-Image Pretraining (CLIP) -model.

De onderzoekers gebruikten MONET ook om de data-analyse te automatiseren en testten de effectiviteit ervan bij de analyse van conceptverschillen.

Ze gebruikten MONET om gegevens te analyseren van de International Skin Imaging Collaboration (ISIC), de grootste dermoscopische beeldcollectie met meer dan 70.000 openbaar beschikbare beelden die routinematig worden gebruikt om dermatologische AI-modellen te trainen.

De onderzoekers ontwikkelden een modelaudit met MONET (MA-MONET), waarmee MONET automatisch semantisch relevante medische concepten en modelfouten kan detecteren.

De onderzoekers evalueerden MONET-MA in reële omgevingen door CNN-modellen te trainen op basis van gegevens van meerdere universiteiten en hun geautomatiseerde conceptannotatie te evalueren.

Ze vergeleken de geautomatiseerde ‘MONET + CBM’-methode voor het scoren van ideeën met de menselijke labelmethode, die uitsluitend van toepassing is op foto’s met SkinCon-labels.

De onderzoekers onderzochten ook de impact van conceptselectie op MONET+CBM-prestaties, vooral op taakrelevante ideeën in knelpuntlagen. Daarnaast evalueerden ze de impact van het opnemen van het concept van rood in het knelpunt op de prestaties van MONET+CBM in interinstitutionele overdrachtsscenario's.

Resultaten

MONET is een flexibel medisch AI-platform dat ideeën op passende wijze kan annoteren in dermatologische beelden, zoals geverifieerd door board-gecertificeerde dermatologen.

De conceptannotatiefunctie maakt relevante betrouwbaarheidsbeoordelingen mogelijk in de hele medische kunstmatige intelligentiepijplijn, gedemonstreerd door modelaudits, gegevensaudits en interpreteerbare modelontwikkeling.

MONET vindt met succes geschikte dermoscopische en klinische beelden voor verschillende trefwoorden in de dermatologie en presteert in beide domeinen beter dan het basis-CLIP-model. MONET presteerde beter dan CLIP op dermoscopische en klinische beelden en bleef gelijkwaardig aan gesuperviseerde leermodellen op klinische beelden.

De geautomatiseerde annotatiefunctie van MONET helpt bij het identificeren van onderscheidende kenmerken tussen twee groepen afbeeldingen in een voor mensen leesbare taal tijdens de analyse van ideeënverschillen.

De onderzoekers ontdekten dat MONET verschillend uitgedrukte ideeën in klinische en dermoscopische datasets detecteert en kan helpen bij het onderzoeken van grote datasets.

Het gebruik van MA-MONET bracht kenmerken aan het licht die verband hielden met een hoog foutenpercentage, zoals een cluster van foto's met het label 'blauw-witachtige sluier', 'blauw', 'zwart', 'grijs' en 'afgeplat'.

De onderzoekers identificeerden het cluster met het hoogste uitvalpercentage op basis van erytheem, regressiestructuur, roodheid, atrofie en hyperpigmentatie. Dermatologen selecteerden tien doelgerelateerde ideeën voor de MONET+CBM- en CLIP+CBM-knelpuntlagen die flexibele etiketteringsopties mogelijk maken.

MONET+CBM presteert beter dan alle basislijnen wat betreft het gemiddelde gebied onder de receiver operating karakteristieke curve (AUROC) voor het voorspellen van maligniteit en melanoom in klinische beelden. Black box-modellen onder toezicht presteerden consistent beter in voorspellingstests voor kanker en melanoom.

Diploma

Uit het onderzoek blijkt dat beeld-tekstmodellen de transparantie en betrouwbaarheid van AI in de medische sector kunnen vergroten. MONET, een annotatieplatform voor medische concepten, kan de transparantie en betrouwbaarheid van dermatologische AI ​​verbeteren door grootschalige annotatie van ideeën mogelijk te maken.

Ontwikkelaars van AI-modellen kunnen de methoden voor het verzamelen, verwerken en optimaliseren van gegevens verbeteren, wat resulteert in betrouwbaardere medische AI-modellen.

MONET kan invloed hebben op het klinische gebruik en de monitoring van AI-systemen voor medische beelden door volledige audit- en eerlijkheidsanalyses mogelijk te maken door middel van annotatie van huidskleurdescriptoren.

Bronnen: