MONET: Noul instrument AI îmbunătățește imagistica medicală prin învățarea profundă și analiza textului

MONET: Noul instrument AI îmbunătățește imagistica medicală prin învățarea profundă și analiza textului

Într-un studiu recent publicat în Nature Medicine, cercetătorii au dezvoltat modelul fundației Medical Concept Retriever (MONET), care combină imaginile medicale cu text și evaluează imaginile pe baza existenței ideilor lor, ceea ce este util în sarcinile critice în implementarea inteligenței artificiale medicale (AI).

fundal

Construirea unor sisteme fiabile de inteligență artificială medicală bazate pe imagini necesită analizarea informațiilor și a modelelor de rețele neuronale la fiecare nivel de dezvoltare, de la faza de instruire până la faza de post-implementare.

Seturile de date medicale bogat adnotate cu idei relevante din punct de vedere semantic ar putea demistifica tehnologiile „cutie neagră”.

Înțelegerea unor termeni semnificativi din punct de vedere clinic, cum ar fi pigmentarea mai închisă, rețelele de pigmenti atipice și culorile multiple, este benefică din punct de vedere medical. Cu toate acestea, obținerea etichetelor este laborioasă și majoritatea seturilor de informații medicale conțin doar note de diagnostic.

Despre studiu

În studiul actual, cercetătorii au dezvoltat MONET, un model AI care poate adnota imagini medicale cu idei relevante din punct de vedere medical. Ei au proiectat modelul pentru a identifica diferite idei ușor de înțeles de om în două modalități de imagine în dermatologie: imagini dermatoscopice și clinice.

Cercetătorii au colectat 105.550 de perechi imagine-text de dermatologie din articolele PubMed și manualele medicale și apoi au instruit MONET pe 105.550 de fotografii dermatologice și date în limbaj natural dintr-o bază de date mare de literatură medicală.

MONET atribuie evaluări fotografiilor pentru fiecare idee, indicând măsura în care imaginea reflectă ideea.

Bazat pe învățarea contrastivă, MONET este o abordare de inteligență artificială care permite aplicarea directă a descrierilor de text simplu la imagini.

Această metodă evită etichetarea manuală și permite informații bogate pe perechi imagine-text la o scară semnificativ mai mare decât este posibilă cu învățarea supravegheată. După formarea MONET, cercetătorii au evaluat eficiența acestuia în adnotări și alte cazuri de utilizare legate de transparența AI.

Cercetătorii au testat capacitățile de adnotare a conceptului MONET selectând cele mai conceptuale fotografii din imagini dermatoscopice și clinice.

Ei au comparat performanța MONET cu strategiile de învățare supravegheată, în care modelele ResNet-50 au fost antrenate cu etichete conceptuale de adevăr de bază și modelul de preformare a limbajului-imagine (CLIP) al OpenAI.

Cercetătorii au folosit, de asemenea, MONET pentru a automatiza analiza datelor și i-au testat eficiența în analiza diferențelor de concept.

Ei au folosit MONET pentru a analiza datele de la International Skin Imaging Collaboration (ISIC), cea mai mare colecție de imagini dermatoscopice cu peste 70.000 de imagini disponibile public, utilizate în mod obișnuit pentru a antrena modele dermatologice AI.

Cercetătorii au dezvoltat un model de audit cu MONET (MA-MONET), care utilizează MONET pentru a detecta automat conceptele medicale relevante din punct de vedere semantic și erorile de model.

Cercetătorii au evaluat MONET-MA în medii reale prin antrenarea modelelor CNN pe date de la mai multe universități și evaluând adnotarea automată a conceptului.

Ei au comparat metoda automată de punctare a ideilor „MONET + CBM” cu metoda de etichetare umană, care se aplică exclusiv fotografiilor care conțin etichete SkinCon.

Cercetătorii au examinat, de asemenea, impactul selecției conceptului asupra performanței MONET+CBM, în special asupra ideilor relevante pentru sarcini în straturi de blocaj. În plus, au evaluat impactul încorporării conceptului de roșu în blocaj asupra performanței MONET+CBM în scenariile de transfer interinstituțional.

Rezultate

MONET este o platformă medicală flexibilă de inteligență artificială care poate adnota în mod adecvat ideile în imagini dermatologice, așa cum au fost verificate de dermatologi certificați de consiliu.

Funcția de adnotare a conceptului permite evaluări relevante de încredere în pipeline de inteligență artificială medicală, demonstrate prin audituri de modele, audituri de date și dezvoltare de modele interpretabile.

MONET găsește cu succes imagini dermatoscopice și clinice adecvate pentru diferite cuvinte cheie dermatologice și depășește modelul CLIP de bază în ambele domenii. MONET a depășit CLIP la imaginile dermatoscopice și clinice și a rămas echivalent cu modelele de învățare supravegheată pe imaginile clinice.

Funcția de adnotare automată a MONET ajută la identificarea caracteristicilor distinctive între oricare două grupuri de imagini într-un limbaj care poate fi citit de om în timpul analizei diferențelor de idei.

Cercetătorii au descoperit că MONET detectează idei exprimate diferit în seturi de date clinice și dermatoscopice și poate ajuta la examinarea seturilor mari de date.

Utilizarea MA-MONET a dezvăluit caracteristici care au fost asociate cu o rată de eroare ridicată, cum ar fi un grup de fotografii etichetate „voal albastru-albicios”, „albastru”, „negru”, „gri” și „aplatizat”.

Cercetătorii au identificat grupul cu cea mai mare rată de eșec pe baza eritemului, structurii de regresie, roșeață, atrofie și hiperpigmentare. Dermatologii au selectat zece idei legate de ținte pentru straturile de blocaj MONET+CBM și CLIP+CBM care permit opțiuni flexibile de etichetare.

MONET+CBM depășește toate liniile de bază în zona medie sub curba caracteristică de operare a receptorului (AUROC) pentru a prezice malignitatea și melanomul în imaginile clinice. Modelele de cutie neagră supravegheate au avut în mod constant rezultate mai bune la testele de predicție a cancerului și melanomului.

Diplomă

Studiul a constatat că modelele imagine-text pot crește transparența și încrederea AI în domeniul medical. MONET, o platformă de adnotare a conceptului medical, poate îmbunătăți transparența și fiabilitatea AI dermatologiei, permițând adnotarea ideilor la scară largă.

Dezvoltatorii de modele AI pot îmbunătăți practicile de colectare, procesare și optimizare a datelor, rezultând modele AI medicale mai fiabile.

MONET poate avea un impact asupra utilizării clinice și monitorizării sistemelor de inteligență artificială a imaginii medicale, permițând auditul complet și analiza corectitudinii prin adnotarea descriptorilor tonului pielii.

Surse: