MONET: Novo orodje AI izboljšuje medicinsko slikanje z globokim učenjem in analizo besedila

MONET: Novo orodje AI izboljšuje medicinsko slikanje z globokim učenjem in analizo besedila

V nedavni študiji, objavljeni v Nature Medicine, so raziskovalci razvili temeljni model Medical Concept Retriever (MONET), ki združuje medicinske slike z besedilom in ocenjuje slike na podlagi njihovega obstoja ideje, kar je v pomoč pri kritičnih nalogah pri izvajanju medicinske umetne inteligence (AI).

ozadje

Izgradnja zanesljivih sistemov medicinske umetne inteligence, ki temeljijo na slikah, zahteva analizo informacij in modelov nevronske mreže na vseh stopnjah razvoja, od faze usposabljanja do faze po uvedbi.

Bogato označeni nabori medicinskih podatkov s semantično relevantnimi idejami bi lahko demistificirali tehnologije »črnih skrinjic«.

Razumevanje klinično pomembnih izrazov, kot so temnejša pigmentacija, atipične pigmentne mreže in več barv, je medicinsko koristno. Vendar pa je pridobivanje oznak težavno in večina nizov zdravstvenih informacij vsebuje samo diagnostične opombe.

O študiju

V trenutni študiji so raziskovalci razvili MONET, model umetne inteligence, ki lahko označi medicinske slike z medicinsko pomembnimi idejami. Oblikovali so model za prepoznavanje različnih človeku razumljivih idej v dveh modalitetah slike v dermatologiji: dermoskopskih in kliničnih slikah.

Raziskovalci so zbrali 105.550 dermatoloških parov slika-besedilo iz člankov PubMed in medicinskih učbenikov ter nato usposobili MONET na 105.550 dermatoloških fotografijah in podatkih naravnega jezika iz velike podatkovne zbirke medicinske literature.

MONET za vsako idejo dodeli fotografijam ocene, ki kažejo, v kolikšni meri slika odraža idejo.

MONET temelji na kontrastnem učenju in je pristop umetne inteligence, ki omogoča neposredno uporabo opisov v navadnem besedilu na slikah.

Ta metoda se izogne ​​ročnemu označevanju in omogoča bogate informacije o parih slika-besedilo v znatno večjem obsegu, kot je to mogoče z nadzorovanim učenjem. Po usposabljanju MONET so raziskovalci ocenili njegovo učinkovitost pri opombah in drugih primerih uporabe, povezanih s preglednostjo umetne inteligence.

Raziskovalci so preizkusili MONET-ove zmožnosti označevanja koncepta tako, da so iz dermoskopskih in kliničnih slik izbrali najbolj konceptualne fotografije.

Primerjali so uspešnost MONET-a z nadzorovanimi učnimi strategijami, v katerih so bili modeli ResNet-50 usposobljeni s konceptualnimi osnovnimi oznakami resnice in modelom OpenAI Contrastive Language-Image Pretraining (CLIP).

Raziskovalci so uporabili tudi MONET za avtomatizacijo analize podatkov in preizkusili njegovo učinkovitost pri analizi razlik v konceptu.

Uporabili so MONET za analizo podatkov iz mednarodnega sodelovanja pri slikanju kože (ISIC), največje zbirke dermoskopskih slik z več kot 70.000 javno dostopnimi slikami, ki se redno uporabljajo za usposabljanje dermatoloških modelov AI.

Raziskovalci so razvili revizijo modela z MONET (MA-MONET), ki uporablja MONET za samodejno zaznavanje semantično pomembnih medicinskih konceptov in napak modela.

Raziskovalci so ovrednotili MONET-MA v okoljih resničnega sveta z usposabljanjem modelov CNN na podatkih z več univerz in ovrednotenjem njihovega avtomatiziranega konceptnega označevanja.

Primerjali so avtomatsko metodo točkovanja idej “MONET + CBM” z metodo človeškega označevanja, ki velja izključno za fotografije, ki vsebujejo oznake SkinCon.

Raziskovalci so preučili tudi vpliv izbire koncepta na uspešnost MONET+CBM, zlasti na ideje, pomembne za nalogo, v slojih ozkih grl. Poleg tega so ocenili vpliv vključitve koncepta rdečega v ozko grlo na uspešnost MONET+CBM v scenarijih medinstitucionalnega prenosa.

Rezultati

MONET je prilagodljiva medicinska platforma umetne inteligence, ki lahko ustrezno označi ideje v dermatoloških slikah, ki so jih potrdili dermatologi s certifikatom odbora.

Funkcija označevanja koncepta omogoča ustrezne ocene zanesljivosti v celotnem cevovodu medicinske umetne inteligence, prikazane z revizijami modelov, revizijami podatkov in razvojem modela, ki ga je mogoče interpretirati.

MONET uspešno najde ustrezne dermoskopske in klinične slike za različne dermatološke ključne besede in prekaša osnovni model CLIP na obeh področjih. MONET je presegel CLIP na dermoskopskih in kliničnih slikah ter ostal enakovreden modelom nadzorovanega učenja na kliničnih slikah.

MONET-ova avtomatizirana funkcija opomb pomaga identificirati razlikovalne značilnosti med katerima koli dvema skupinama slik v človeku berljivem jeziku med analizo idejnih razlik.

Raziskovalci so ugotovili, da MONET zazna različno izražene ideje v nizih kliničnih in dermoskopskih podatkov in lahko pomaga preučiti velike nize podatkov.

Uporaba MA-MONET je razkrila značilnosti, ki so bile povezane z visoko stopnjo napak, kot je skupina fotografij z oznako "modro-belkasta tančica", "modra", "črna", "siva" in "sploščena".

Raziskovalci so identificirali skupino z najvišjo stopnjo neuspeha na podlagi eritema, regresijske strukture, rdečine, atrofije in hiperpigmentacije. Dermatologi so izbrali deset ciljno povezanih idej za plasti ozkih grl MONET+CBM in CLIP+CBM, ki omogočajo prilagodljive možnosti označevanja.

MONET+CBM prekaša vse osnovne vrednosti v povprečni površini pod krivuljo delovanja sprejemnika (AUROC) za napovedovanje malignosti in melanoma na kliničnih slikah. Nadzorovani modeli črne skrinjice so bili vedno boljši pri testih napovedovanja raka in melanoma.

Diploma

Študija je pokazala, da lahko slikovno-besedilni modeli povečajo preglednost in zanesljivost umetne inteligence na medicinskem področju. MONET, platforma za označevanje medicinskih konceptov, lahko izboljša preglednost in zanesljivost dermatološke umetne inteligence z omogočanjem obsežnega označevanja idej.

Razvijalci modelov AI lahko izboljšajo prakse zbiranja, obdelave in optimizacije podatkov, kar ima za posledico zanesljivejše medicinske modele AI.

MONET lahko vpliva na klinično uporabo in spremljanje sistemov umetne inteligence medicinskih slik, tako da omogoči popolno revizijo in analizo pravičnosti prek označevanja deskriptorjev tona kože.

Viri: