MONET: uus tehisintellekti tööriist täiustab meditsiinilist kujutist sügava õppimise ja tekstianalüüsi kaudu

MONET: uus tehisintellekti tööriist täiustab meditsiinilist kujutist sügava õppimise ja tekstianalüüsi kaudu

Hiljutises ajakirjas Nature Medicine avaldatud uuringus töötasid teadlased välja Medical Concept Retriever (MONET) sihtasutuse mudeli, mis ühendab meditsiinilisi pilte tekstiga ja hindab pilte nende idee olemasolu põhjal, mis on abiks meditsiinilise tehisintellekti (AI) rakendamise kriitilistes ülesannetes.

taustal

Usaldusväärsete pildipõhiste meditsiiniliste tehisintellektisüsteemide loomine nõuab teabe ja närvivõrgu mudelite analüüsimist igal arengutasemel alates koolitusfaasist kuni kasutuselevõtujärgse faasini.

Semantiliselt asjakohaste ideedega rikkalikult kommenteeritud meditsiinilised andmekogumid võivad "musta kasti" tehnoloogiaid demüstifitseerida.

Kliiniliselt oluliste terminite, nagu tumedam pigmentatsioon, ebatüüpilised pigmendivõrgustikud ja mitmed värvid, mõistmine on meditsiiniliselt kasulik. Kuid siltide hankimine on töömahukas ja enamik meditsiinilise teabe komplekte sisaldab ainult diagnostilisi märkmeid.

Uuringu kohta

Praeguses uuringus töötasid teadlased välja MONETi, tehisintellekti mudeli, mis suudab lisada meditsiinilisi pilte meditsiiniliselt oluliste ideedega. Nad kujundasid mudeli, et tuvastada erinevaid inimesele arusaadavaid ideid dermatoloogia kahes kujutise modaalsuses: dermoskoopilised ja kliinilised kujutised.

Teadlased kogusid PubMedi artiklitest ja meditsiiniõpikutest 105 550 dermatoloogia pildi-teksti paari ning koolitasid seejärel MONETi 105 550 dermatoloogiafoto ja loomuliku keele andmete põhjal suurest meditsiinilise kirjanduse andmebaasist.

MONET määrab iga idee fotodele hinnangud, mis näitavad, mil määral pilt ideed peegeldab.

Kontrastiivsel õppimisel põhinev MONET on tehisintellekti lähenemine, mis võimaldab piltidele lihtteksti kirjeldusi otse rakendada.

See meetod väldib käsitsi märgistamist ja võimaldab rikkalikku pilt-teksti paariteavet oluliselt suuremas mahus, kui on võimalik juhendatud õppega. Pärast MONETi koolitust hindasid teadlased selle tõhusust märkustes ja muudes AI läbipaistvusega seotud kasutusjuhtudes.

Teadlased testisid MONETi kontseptsiooni annotatsioonivõimalusi, valides dermoskoopiliste ja kliiniliste piltide hulgast kõige kontseptuaalsemad fotod.

Nad võrdlesid MONETi jõudlust juhendatud õppestrateegiatega, milles ResNet-50 mudeleid koolitati kontseptuaalsete tõepõhiste siltide ja OpenAI kontrastse keele-kujutise eelkoolituse (CLIP) mudeliga.

Teadlased kasutasid MONETi ka andmete analüüsi automatiseerimiseks ja testisid selle tõhusust mõistete erinevuste analüüsis.

Nad kasutasid MONETi, et analüüsida andmeid International Skin Imaging Collaborationist (ISIC), mis on suurim dermoskoopiliste kujutiste kogu, mis sisaldab üle 70 000 avalikult kättesaadava pildi, mida kasutatakse regulaarselt dermatoloogia AI mudelite koolitamiseks.

Teadlased töötasid välja mudeliauditi MONETiga (MA-MONET), mis kasutab MONETi semantiliselt oluliste meditsiiniliste kontseptsioonide ja mudelivigade automaatseks tuvastamiseks.

Teadlased hindasid MONET-MA-d reaalses keskkonnas, koolitades CNN-i mudeleid mitme ülikooli andmete põhjal ja hinnates nende automatiseeritud kontseptsiooni annotatsiooni.

Nad võrdlesid automaatsete ideede hindamismeetodit MONET + CBM inimese märgistamise meetodiga, mis kehtib ainult SkinConi silte sisaldavate fotode puhul.

Uurijad uurisid ka kontseptsiooni valiku mõju MONET + CBM-i jõudlusele, eriti kitsaskohtade kihtide ülesandega seotud ideedele. Lisaks hindasid nad punase kontseptsiooni kitsaskohta kaasamise mõju MONET+CBM-i tulemuslikkusele institutsioonidevaheliste üleandmise stsenaariumide puhul.

Tulemused

MONET on paindlik meditsiiniline tehisintellekti platvorm, mis suudab dermatoloogiapiltidel ideid asjakohaselt kommenteerida, nagu on kinnitanud juhatuse sertifitseeritud dermatoloogid.

Kontseptsiooni annotatsiooni funktsioon võimaldab teha asjakohaseid usaldusväärsuse hinnanguid kogu meditsiinilise tehisintellekti torustiku ulatuses, mida näidatakse mudeliauditite, andmeauditite ja tõlgendatavate mudelite arendamise kaudu.

MONET leiab edukalt erinevate dermatoloogia märksõnade jaoks sobivad dermoskoopilised ja kliinilised pildid ning ületab mõlemas valdkonnas CLIP-i põhimudelit. MONET edestas CLIP-i dermoskoopiliste ja kliiniliste piltide puhul ning jäi samaväärseks kliiniliste piltide juhendatud õppemudelitega.

MONETi automaatne annotatsioonifunktsioon aitab ideede erinevuse analüüsi käigus tuvastada eristavaid tunnuseid mis tahes kahe pildirühma vahel inimloetavas keeles.

Uurijad leidsid, et MONET tuvastab kliinilistes ja dermoskoopilistes andmekogumites erinevalt väljendatud ideid ja võib aidata uurida suuri andmekogumeid.

MA-MONETi kasutamine paljastas funktsioonid, mis olid seotud suure veamääraga, näiteks fotode kobar, millel on sildid "sini-valkjas loor", "sinine", "must", "hall" ja "lamedad".

Teadlased tuvastasid erüteemi, regressioonistruktuuri, punetuse, atroofia ja hüperpigmentatsiooni põhjal klastri, millel on kõrgeim ebaõnnestumiste määr. Dermatoloogid valisid MONET+CBM ja CLIP+CBM kitsaskohakihtide jaoks välja kümme sihtmärgiga seotud ideed, mis võimaldavad paindlikke märgistamisvõimalusi.

MONET+CBM ületab kliiniliste piltide puhul pahaloomuliste kasvajate ja melanoomi prognoosimisel vastuvõtja töökarakteristiku kõvera (AUROC) keskmise pindala kõik algtasemed. Kontrollitud musta kasti mudelid toimisid vähi ja melanoomi ennustustestides pidevalt paremini.

Diplom

Uuringust selgus, et pilt-teksti mudelid võivad suurendada tehisintellekti läbipaistvust ja usaldusväärsust meditsiinivaldkonnas. Meditsiinilise kontseptsiooni annotatsiooniplatvorm MONET võib parandada dermatoloogia tehisintellekti läbipaistvust ja usaldusväärsust, võimaldades suuremahulist ideede märkimist.

AI-mudelite arendajad saavad parandada andmete kogumise, töötlemise ja optimeerimise tavasid, mille tulemuseks on usaldusväärsemad meditsiinilised AI-mudelid.

MONET võib mõjutada meditsiiniliste kujutiste tehisintellektisüsteemide kliinilist kasutamist ja jälgimist, võimaldades täielikku auditit ja õigluse analüüsi läbi nahatooni kirjelduste lisamise.

Allikad: