MONET: Novi AI alat poboljšava medicinske slike kroz duboko učenje i analizu teksta

MONET: Novi AI alat poboljšava medicinske slike kroz duboko učenje i analizu teksta

U nedavnoj studiji objavljenoj u časopisu Nature Medicine, istraživači su razvili temeljni model Medical Concept Retriever (MONET), koji kombinira medicinske slike s tekstom i procjenjuje slike na temelju njihovog postojanja ideje, što je od pomoći u kritičnim zadacima u implementaciji medicinske umjetne inteligencije (AI).

pozadina

Izgradnja pouzdanih sustava medicinske umjetne inteligencije temeljenih na slikama zahtijeva analizu informacija i modela neuronskih mreža na svim razinama razvoja, od faze obuke do faze nakon postavljanja.

Bogato označeni skupovi medicinskih podataka sa semantički relevantnim idejama mogli bi demistificirati tehnologije "crne kutije".

Razumijevanje klinički značajnih pojmova kao što su tamnija pigmentacija, atipične pigmentne mreže i višestruke boje je medicinski korisno. Međutim, dobivanje oznaka je naporno i većina skupova medicinskih informacija sadrži samo dijagnostičke bilješke.

O studiju

U trenutnoj studiji istraživači su razvili MONET, model umjetne inteligencije koji može označiti medicinske slike s medicinski relevantnim idejama. Dizajnirali su model za prepoznavanje različitih ljudima razumljivih ideja u dva modaliteta slike u dermatologiji: dermoskopske i kliničke slike.

Istraživači su prikupili 105.550 parova dermatoloških slika i teksta iz PubMed članaka i medicinskih udžbenika, a zatim su obučili MONET na 105.550 dermatoloških fotografija i podataka o prirodnom jeziku iz velike baze podataka medicinske literature.

MONET dodjeljuje ocjene fotografijama za svaku ideju, pokazujući u kojoj mjeri slika odražava ideju.

Temeljen na kontrastivnom učenju, MONET je pristup umjetne inteligencije koji omogućuje izravnu primjenu opisa običnog teksta na slike.

Ovom se metodom izbjegava ručno označavanje i omogućuje bogate informacije o paru slika-tekst u značajno većoj mjeri nego što je to moguće s učenjem pod nadzorom. Nakon obuke o MONET-u, istraživači su procijenili njegovu učinkovitost u komentarima i drugim slučajevima upotrebe povezanima s transparentnošću umjetne inteligencije.

Istraživači su testirali MONET-ove mogućnosti označavanja koncepta odabirom najkonceptualnijih fotografija iz dermoskopskih i kliničkih slika.

Usporedili su izvedbu MONET-a s nadziranim strategijama učenja u kojima su modeli ResNet-50 uvježbani s konceptualnim temeljnim oznakama istine i OpenAI-jevim modelom Contrastive Language-Image Pretraining (CLIP).

Istraživači su također koristili MONET za automatizaciju analize podataka i testirali njegovu učinkovitost u analizi razlika u konceptu.

Koristili su MONET za analizu podataka iz International Skin Imaging Collaboration (ISIC), najveće zbirke dermoskopskih slika s više od 70.000 javno dostupnih slika koje se rutinski koriste za obuku dermatoloških AI modela.

Istraživači su razvili reviziju modela s MONET-om (MA-MONET), koja koristi MONET za automatsko otkrivanje semantički relevantnih medicinskih koncepata i pogrešaka modela.

Istraživači su evaluirali MONET-MA u stvarnim okruženjima trenirajući CNN modele na podacima s više sveučilišta i ocjenjujući njihovu automatiziranu oznaku koncepta.

Usporedili su “MONET + CBM” automatiziranu metodu bodovanja ideja s metodom ljudskog označavanja, koja se odnosi isključivo na fotografije koje sadrže SkinCon oznake.

Istraživači su također ispitali utjecaj odabira koncepta na performanse MONET+CBM-a, posebno na ideje relevantne za zadatke u slojevima uskih grla. Osim toga, procijenili su utjecaj uključivanja koncepta crvenog u usko grlo na izvedbu MONET+CBM u scenarijima međuinstitucionalnog prijenosa.

Rezultati

MONET je fleksibilna medicinska AI platforma koja može na odgovarajući način označiti ideje u dermatološkim slikama koje su potvrdili certificirani dermatolozi.

Značajka označavanja koncepta omogućuje relevantne procjene pouzdanosti u cjevovodu medicinske umjetne inteligencije, prikazane kroz revizije modela, revizije podataka i razvoj modela koji se može tumačiti.

MONET uspješno pronalazi odgovarajuće dermoskopske i kliničke slike za različite dermatološke ključne riječi i nadmašuje osnovni CLIP model u obje domene. MONET je nadmašio CLIP na dermoskopskim i kliničkim slikama i ostao je ekvivalentan modelima učenja pod nadzorom na kliničkim slikama.

MONET-ova automatizirana značajka označavanja pomaže u identificiranju razlikovnih značajki između bilo koje dvije grupe slika na jeziku čitljivom za ljude tijekom analize razlika ideja.

Istraživači su otkrili da MONET otkriva različito izražene ideje u kliničkim i dermoskopskim skupovima podataka i može pomoći u ispitivanju velikih skupova podataka.

Korištenje MA-MONET-a otkrilo je značajke koje su bile povezane s visokom stopom pogreške, kao što je skup fotografija označenih kao "plavo-bjelkasti veo", "plavo", "crno", "sivo" i "spljošteno".

Istraživači su identificirali klaster s najvećom stopom neuspjeha na temelju eritema, regresijske strukture, crvenila, atrofije i hiperpigmentacije. Dermatolozi su odabrali deset ideja povezanih s ciljem za slojeve uskog grla MONET+CBM i CLIP+CBM koji omogućuju fleksibilne mogućnosti označavanja.

MONET+CBM nadmašuje sve osnovne vrijednosti u srednjoj površini ispod krivulje radne karakteristike prijamnika (AUROC) za predviđanje zloćudnosti i melanoma u kliničkim slikama. Nadzirani modeli crne kutije dosljedno su imali bolje rezultate u testovima predviđanja raka i melanoma.

Diploma

Studija je pokazala da modeli slike i teksta mogu povećati transparentnost i pouzdanost umjetne inteligencije u medicinskom polju. MONET, platforma za bilješke medicinskog koncepta, može poboljšati transparentnost i pouzdanost dermatološke umjetne inteligencije omogućavanjem bilješki velikih ideja.

Programeri modela umjetne inteligencije mogu poboljšati prakse prikupljanja, obrade i optimizacije podataka, što rezultira pouzdanijim medicinskim modelima umjetne inteligencije.

MONET može utjecati na kliničku upotrebu i praćenje sustava umjetne inteligencije medicinskih slika omogućavanjem potpune revizije i analize pravednosti putem označavanja deskriptora boje kože.

Izvori: