MONET: naujas AI įrankis pagerina medicininį vaizdavimą per gilų mokymąsi ir teksto analizę

MONET: naujas AI įrankis pagerina medicininį vaizdavimą per gilų mokymąsi ir teksto analizę

Neseniai „Nature Medicine“ paskelbtame tyrime mokslininkai sukūrė medicinos koncepcijos retriverio (MONET) pagrindo modelį, kuris sujungia medicininius vaizdus su tekstu ir įvertina vaizdus pagal jų idėjos egzistavimą, o tai yra naudinga atliekant svarbias medicininio dirbtinio intelekto (AI) įgyvendinimo užduotis.

fone

Kuriant patikimas vaizdais pagrįstas medicininio dirbtinio intelekto sistemas, reikia analizuoti informaciją ir neuroninių tinklų modelius kiekviename vystymosi lygmenyje – nuo ​​mokymo etapo iki etapo po įdiegimo.

Gausiai anotuoti medicininių duomenų rinkiniai su semantiškai svarbiomis idėjomis galėtų demistifikuoti „juodosios dėžės“ technologijas.

Suprasti kliniškai reikšmingus terminus, tokius kaip tamsesnė pigmentacija, netipiški pigmentų tinklai ir kelios spalvos, yra mediciniškai naudinga. Tačiau etikečių gavimas yra sudėtingas ir daugumoje medicininės informacijos rinkinių yra tik diagnostinės pastabos.

Apie studiją

Dabartiniame tyrime mokslininkai sukūrė MONET, AI modelį, kuris gali komentuoti medicininius vaizdus su mediciniškai svarbiomis idėjomis. Jie sukūrė modelį, kad nustatytų skirtingas žmonėms suprantamas idėjas dviem dermatologijos vaizdo būdais: dermoskopiniais ir klinikiniais vaizdais.

Tyrėjai surinko 105 550 dermatologijos vaizdo ir teksto porų iš PubMed straipsnių ir medicinos vadovėlių, o tada apmokė MONET apie 105 550 dermatologinių nuotraukų ir natūralios kalbos duomenų iš didelės medicinos literatūros duomenų bazės.

MONET kiekvienai idėjai nuotraukoms skiria įvertinimus, nurodydamas, kiek vaizdas atspindi idėją.

Remiantis kontrastiniu mokymusi, MONET yra dirbtinio intelekto metodas, leidžiantis vaizdams tiesiogiai pritaikyti paprasto teksto aprašymus.

Taikant šį metodą išvengiama rankinio ženklinimo ir suteikiama daug didesnio masto raiškios vaizdo ir teksto poros informacija, nei įmanoma naudojant prižiūrimą mokymąsi. Po MONET mokymų mokslininkai įvertino jo veiksmingumą anotacijose ir kitais su AI skaidrumu susijusiais naudojimo atvejais.

Mokslininkai išbandė MONET koncepcijos anotacijos galimybes, atrinkdami konceptualiausias nuotraukas iš dermoskopinių ir klinikinių vaizdų.

Jie palygino MONET našumą su prižiūrimomis mokymosi strategijomis, kuriose ResNet-50 modeliai buvo mokomi naudojant konceptualias pagrindines tiesos etiketes ir OpenAI priešpriešinio kalbinio vaizdo mokymo (CLIP) modelį.

Tyrėjai taip pat naudojo MONET automatizuoti duomenų analizę ir išbandė jos efektyvumą koncepcijų skirtumų analizėje.

Jie naudojo MONET, kad analizuotų duomenis iš Tarptautinės odos vaizdų bendradarbiavimo (ISIC), didžiausios dermoskopinių vaizdų kolekcijos, kurioje yra daugiau nei 70 000 viešai prieinamų vaizdų, kurie reguliariai naudojami dermatologijos AI modeliams mokyti.

Tyrėjai sukūrė modelio auditą su MONET (MA-MONET), kuris naudoja MONET, kad automatiškai aptiktų semantiškai svarbias medicinos koncepcijas ir modelio klaidas.

Tyrėjai įvertino MONET-MA realioje aplinkoje, mokydami CNN modelius pagal duomenis iš kelių universitetų ir įvertindami jų automatizuotą koncepcijos anotaciją.

Jie palygino „MONET + CBM“ automatizuotą idėjų vertinimo metodą su žmogaus ženklinimo metodu, kuris taikomas tik nuotraukoms su „SkinCon“ etiketėmis.

Tyrėjai taip pat ištyrė koncepcijos pasirinkimo poveikį MONET + CBM veikimui, ypač su užduotimis susijusioms idėjoms kliūties sluoksniuose. Be to, jie įvertino raudonos spalvos koncepcijos įtraukimo į kliūtį poveikį MONET+CBM veiksmingumui tarpinstitucinio perdavimo scenarijuose.

Rezultatai

MONET yra lanksti medicininio dirbtinio intelekto platforma, kuri gali tinkamai komentuoti idėjas dermatologiniuose vaizduose, kuriuos patvirtino sertifikuoti dermatologai.

Koncepcijos anotacijos funkcija leidžia atlikti atitinkamus patikimumo vertinimus visame medicininio dirbtinio intelekto vamzdyne, parodytą atliekant modelių auditus, duomenų auditus ir aiškinamąjį modelio kūrimą.

MONET sėkmingai suranda tinkamus dermoskopinius ir klinikinius vaizdus pagal įvairius dermatologijos raktinius žodžius ir abiejose srityse pranoksta pagrindinį CLIP modelį. MONET pranoko CLIP dermoskopiniuose ir klinikiniuose vaizduose ir išliko lygiavertis prižiūrimiems klinikinių vaizdų mokymosi modeliams.

MONET automatizuotos anotacijos funkcija padeda nustatyti skiriamuosius bruožus tarp bet kurių dviejų vaizdų grupių žmonėms suprantama kalba atliekant idėjų skirtumų analizę.

Tyrėjai nustatė, kad MONET aptinka skirtingai išreikštas idėjas klinikiniuose ir dermoskopiniuose duomenų rinkiniuose ir gali padėti ištirti didelius duomenų rinkinius.

Naudojant MA-MONET buvo atskleistos funkcijos, susijusios su dideliu klaidų dažniu, pvz., nuotraukų, pažymėtų „mėlynai balkšva šydu“, „mėlyna“, „juoda“, „pilka“ ir „suplokšta“, grupė.

Tyrėjai nustatė klasterį, kurio gedimų dažnis yra didžiausias, remiantis eritema, regresijos struktūra, paraudimu, atrofija ir hiperpigmentacija. Dermatologai atrinko dešimt su taikiniu susijusių idėjų MONET+CBM ir CLIP+CBM kliūties sluoksniams, kurie suteikia lanksčias ženklinimo parinktis.

MONET+CBM pranoksta visas bazines linijas pagal vidutinį plotą po imtuvo veikimo charakteristikos kreive (AUROC), kad būtų galima prognozuoti piktybinius navikus ir melanomą klinikiniuose vaizduose. Prižiūrimi juodosios dėžės modeliai nuolat buvo geresni vėžio ir melanomos prognozavimo testuose.

Diplomas

Tyrimas parodė, kad vaizdo ir teksto modeliai gali padidinti AI skaidrumą ir patikimumą medicinos srityje. MONET, medicinos koncepcijos anotacijų platforma, gali pagerinti dermatologijos dirbtinio intelekto skaidrumą ir patikimumą, įgalindama didelio masto idėjų anotaciją.

Entwickler von KI-Modellen können die Verfahren zur Datenerfassung, -verarbeitung und -optimierung verbessern, was zu zuverlässigeren medizinischen KI-Modellen führt.

MONET gali turėti įtakos klinikiniam medicininių vaizdų AI sistemų naudojimui ir stebėjimui, įgalindama visą auditą ir teisingumo analizę, anotuojant odos tono aprašus.

Šaltiniai: