MONET: jauns AI rīks uzlabo medicīnisko attēlveidošanu, izmantojot dziļu mācīšanos un teksta analīzi

MONET: jauns AI rīks uzlabo medicīnisko attēlveidošanu, izmantojot dziļu mācīšanos un teksta analīzi

Nesenā pētījumā, kas publicēts Nature Medicine, pētnieki izstrādāja medicīnas koncepcijas retrīvera (MONET) fonda modeli, kas apvieno medicīniskos attēlus ar tekstu un novērtē attēlus, pamatojoties uz to idejas esamību, kas ir noderīgs kritiskos uzdevumos medicīniskā mākslīgā intelekta (AI) īstenošanā.

fons

Lai izveidotu uzticamas uz attēliem balstītas medicīniskā mākslīgā intelekta sistēmas, ir jāanalizē informācija un neironu tīklu modeļi visos attīstības līmeņos, sākot no apmācības fāzes līdz fāzei pēc izvietošanas.

Bagātīgi anotētas medicīnas datu kopas ar semantiski atbilstošām idejām varētu demistificēt “melnās kastes” tehnoloģijas.

Izpratne par klīniski nozīmīgiem terminiem, piemēram, tumšāka pigmentācija, netipiski pigmentu tīkli un vairākas krāsas, ir medicīniski izdevīga. Tomēr etiķešu iegūšana ir darbietilpīga, un lielākajā daļā medicīniskās informācijas komplektu ir tikai diagnostikas piezīmes.

Par pētījumu

Pašreizējā pētījumā pētnieki izstrādāja MONET, AI modeli, kas var anotēt medicīniskos attēlus ar medicīniski nozīmīgām idejām. Viņi izstrādāja modeli, lai identificētu dažādas cilvēkiem saprotamas idejas divās dermatoloģijas attēla modalitātēs: dermoskopiskajos un klīniskajos attēlos.

Pētnieki savāca 105 550 dermatoloģijas attēlu un tekstu pārus no PubMed rakstiem un medicīnas mācību grāmatām un pēc tam apmācīja MONET par 105 550 dermatoloģijas fotogrāfijām un dabiskās valodas datiem no lielas medicīnas literatūras datu bāzes.

MONET katrai idejai fotogrāfijām piešķir vērtējumus, norādot, cik lielā mērā attēls atspoguļo ideju.

Pamatojoties uz kontrastējošu mācīšanos, MONET ir mākslīgā intelekta pieeja, kas ļauj attēliem tieši izmantot vienkārša teksta aprakstus.

Šī metode ļauj izvairīties no manuālas marķēšanas un nodrošina bagātīgu attēla un teksta pāra informāciju ievērojami lielākā mērogā, nekā tas ir iespējams ar uzraudzītu mācīšanos. Pēc MONET apmācības pētnieki novērtēja tā efektivitāti anotācijās un citos lietošanas gadījumos, kas saistīti ar AI pārredzamību.

Pētnieki pārbaudīja MONET koncepcijas anotācijas iespējas, atlasot viskonceptuālākās fotogrāfijas no dermoskopiskiem un klīniskiem attēliem.

Viņi salīdzināja MONET veiktspēju ar uzraudzītām mācību stratēģijām, kurās ResNet-50 modeļi tika apmācīti ar konceptuālām pamata patiesības etiķetēm un OpenAI Contrastive Language-Image Pretraining (CLIP) modeli.

Pētnieki arī izmantoja MONET, lai automatizētu datu analīzi, un pārbaudīja tā efektivitāti koncepciju atšķirību analīzē.

Viņi izmantoja MONET, lai analizētu datus no Starptautiskās ādas attēlveidošanas sadarbības (ISIC), kas ir lielākā dermoskopisko attēlu kolekcija ar vairāk nekā 70 000 publiski pieejamiem attēliem, ko regulāri izmanto, lai apmācītu dermatoloģijas AI modeļus.

Pētnieki izstrādāja modeļa auditu ar MONET (MA-MONET), kas izmanto MONET, lai automātiski noteiktu semantiski nozīmīgas medicīnas koncepcijas un modeļu kļūdas.

Pētnieki novērtēja MONET-MA reālās pasaules vidēs, apmācot CNN modeļus par datiem no vairākām universitātēm un novērtējot to automatizēto koncepcijas anotāciju.

Viņi salīdzināja “MONET + CBM” automatizēto ideju vērtēšanas metodi ar cilvēka marķēšanas metodi, kas attiecas tikai uz fotoattēliem, kuros ir SkinCon etiķetes.

Pētnieki arī pētīja koncepcijas izvēles ietekmi uz MONET + CBM veiktspēju, jo īpaši uz uzdevumiem atbilstošām idejām vājo vietu slāņos. Turklāt viņi novērtēja ietekmi, ko rada sarkanās krāsas jēdziena iekļaušana vājajā vietā uz MONET+CBM veiktspēju starpiestāžu nodošanas scenārijos.

Rezultāti

MONET ir elastīga medicīniskā mākslīgā intelekta platforma, kas var atbilstoši komentēt idejas dermatoloģijas attēlos, ko ir apstiprinājuši sertificēti dermatologi.

Koncepcijas anotācijas funkcija ļauj veikt atbilstošus uzticamības novērtējumus visā medicīniskā mākslīgā intelekta cauruļvadā, ko parāda modeļu auditi, datu auditi un interpretējama modeļa izstrāde.

MONET veiksmīgi atrod piemērotus dermoskopiskos un klīniskos attēlus dažādiem dermatoloģijas atslēgvārdiem un pārspēj pamata CLIP modeli abās jomās. MONET pārspēja CLIP dermoskopiskajos un klīniskajos attēlos un palika līdzvērtīgs uzraudzītajiem mācību modeļiem klīniskajos attēlos.

MONET automatizētā anotācijas funkcija palīdz identificēt atšķirības starp jebkurām divām attēlu grupām cilvēkiem saprotamā valodā ideju atšķirību analīzes laikā.

Pētnieki atklāja, ka MONET atklāj atšķirīgi izteiktas idejas klīniskajos un dermoskopiskos datu kopās un var palīdzēt pārbaudīt lielas datu kopas.

Izmantojot MA-MONET, tika atklātas funkcijas, kas bija saistītas ar augstu kļūdu līmeni, piemēram, fotoattēlu kopa ar apzīmējumu “zili bālgans plīvurs”, “zils”, “melns”, “pelēks” un “saplacināts”.

Pētnieki identificēja kopu ar augstāko atteices līmeni, pamatojoties uz eritēmu, regresijas struktūru, apsārtumu, atrofiju un hiperpigmentāciju. Dermatologi atlasīja desmit ar mērķi saistītas idejas MONET+CBM un CLIP+CBM sašaurinājuma slāņiem, kas nodrošina elastīgas marķēšanas iespējas.

MONET+CBM pārspēj visas bāzes līnijas vidējā laukumā zem uztvērēja darbības raksturlīknes (AUROC), lai prognozētu ļaundabīgo audzēju un melanomu klīniskajos attēlos. Uzraudzītie melnās kastes modeļi konsekventi darbojās labāk vēža un melanomas prognozēšanas testos.

Diploms

Pētījumā konstatēts, ka attēla teksta modeļi var palielināt mākslīgā intelekta caurskatāmību un uzticamību medicīnas jomā. MONET, medicīnas koncepciju anotācijas platforma, var uzlabot dermatoloģijas AI pārredzamību un uzticamību, iespējojot liela mēroga ideju anotāciju.

AI modeļu izstrādātāji var uzlabot datu vākšanas, apstrādes un optimizācijas praksi, tādējādi radot uzticamākus medicīniskos mākslīgā intelekta modeļus.

MONET var ietekmēt medicīnisko attēlu AI sistēmu klīnisko izmantošanu un uzraudzību, nodrošinot pilnīgu auditu un godīguma analīzi, izmantojot ādas toņu deskriptoru anotācijas.

Avoti: