MONET: Nový nástroj AI zlepšuje lékařské zobrazování prostřednictvím hlubokého učení a analýzy textu

MONET: Nový nástroj AI zlepšuje lékařské zobrazování prostřednictvím hlubokého učení a analýzy textu

V nedávné studii publikované v Nature Medicine výzkumníci vyvinuli model nadace Medical Concept Retriever (MONET), který kombinuje lékařské obrázky s textem a vyhodnocuje obrázky na základě jejich existence nápadu, což je užitečné při kritických úkolech při implementaci lékařské umělé inteligence (AI).

pozadí

Vytváření spolehlivých lékařských systémů umělé inteligence založených na obrazech vyžaduje analýzu informací a modelů neuronových sítí na každé úrovni vývoje, od fáze školení až po fázi po nasazení.

Bohatě komentované lékařské datové soubory se sémanticky relevantními myšlenkami by mohly demystifikovat technologie „černé skříňky“.

Pochopení klinicky významných pojmů, jako je tmavší pigmentace, atypické pigmentové sítě a více barev, je z lékařského hlediska přínosné. Získávání štítků je však pracné a většina sad lékařských informací obsahuje pouze diagnostické poznámky.

O studiu

V této studii výzkumníci vyvinuli MONET, model umělé inteligence, který může opatřit lékařské snímky medicínsky relevantními nápady. Navrhli model tak, aby identifikoval různé lidem srozumitelné myšlenky ve dvou zobrazovacích modalitách v dermatologii: dermoskopické a klinické obrazy.

Výzkumníci shromáždili 105 550 párů dermatologických obrázků a textů z článků PubMed a lékařských učebnic a poté trénovali MONET na 105 550 dermatologických fotografiích a datech přirozeného jazyka z velké databáze lékařské literatury.

MONET přiděluje fotkám pro každý nápad hodnocení a uvádí, do jaké míry obrázek nápad odráží.

Na základě kontrastivního učení je MONET přístupem umělé inteligence, který umožňuje přímou aplikaci popisů ve formátu prostého textu na obrázky.

Tato metoda se vyhýbá ručnímu označování a umožňuje bohaté informace o páru obrázek-text ve výrazně větším měřítku, než je možné při učení pod dohledem. Po školení MONET výzkumníci vyhodnotili jeho účinnost v anotacích a dalších případech použití souvisejících s transparentností AI.

Vědci otestovali možnosti anotací konceptu MONET výběrem nejkoncepčnějších fotografií z dermoskopických a klinických snímků.

Porovnávali výkon MONETu s řízenými učebními strategiemi, ve kterých byly modely ResNet-50 trénovány s konceptuálními štítky základní pravdy a modelem CLIP (Contrastive Language-Image Pretraining) OpenAI.

Výzkumníci také použili MONET k automatizaci analýzy dat a otestovali její účinnost v analýze rozdílů konceptů.

Použili MONET k analýze dat z International Skin Imaging Collaboration (ISIC), největší sbírky dermoskopických snímků s více než 70 000 veřejně dostupnými snímky, které se běžně používají k výcviku dermatologických modelů umělé inteligence.

Výzkumníci vyvinuli modelový audit s MONET (MA-MONET), který využívá MONET k automatické detekci sémanticky relevantních lékařských konceptů a modelových chyb.

Výzkumníci hodnotili MONET-MA v reálných prostředích tím, že trénovali modely CNN na datech z různých univerzit a vyhodnocovali jejich automatickou anotaci konceptu.

Porovnali automatizovanou metodu bodování nápadů „MONET + CBM“ s metodou lidského označování, která se vztahuje výhradně na fotografie obsahující štítky SkinCon.

Výzkumníci také zkoumali dopad výběru konceptu na výkon MONET+CBM, zejména na nápady související s úkoly v úzkých vrstvách. Kromě toho vyhodnotili dopad začlenění konceptu červené do úzkého místa na výkonnost MONET+CBM v interinstitucionálních scénářích převodu.

Výsledky

MONET je flexibilní lékařská platforma umělé inteligence, která dokáže vhodně anotovat nápady v dermatologických obrázcích, jak to ověřili dermatologové s certifikací.

Funkce anotací konceptu umožňuje relevantní hodnocení důvěryhodnosti napříč medicínským kanálem umělé inteligence, prokázané prostřednictvím modelových auditů, datových auditů a vývoje interpretovatelného modelu.

MONET úspěšně nachází vhodné dermoskopické a klinické snímky pro různá klíčová slova dermatologie a překonává základní model CLIP v obou doménách. MONET překonal CLIP na dermoskopických a klinických snímcích a zůstal ekvivalentní modelům učení pod dohledem na klinických snímcích.

Funkce automatických poznámek MONET pomáhá identifikovat rozlišovací prvky mezi libovolnými dvěma skupinami obrázků v lidsky čitelném jazyce během analýzy rozdílů nápadů.

Výzkumníci zjistili, že MONET detekuje odlišně vyjádřené myšlenky v klinických a dermoskopických souborech dat a může pomoci zkoumat velké soubory dat.

Použití MA-MONET odhalilo funkce, které byly spojeny s vysokou chybovostí, jako je shluk fotografií označených jako „modro-bělavý závoj“, „modrý“, „černý“, „šedý“ a „zploštělý“.

Vědci identifikovali shluk s nejvyšší mírou selhání na základě erytému, regresní struktury, zarudnutí, atrofie a hyperpigmentace. Dermatologové vybrali deset cílových nápadů pro vrstvy úzkého hrdla MONET+CBM a CLIP+CBM, které umožňují flexibilní možnosti označování.

MONET+CBM překonává všechny základní linie ve střední oblasti pod křivkou operační charakteristiky přijímače (AUROC) pro predikci malignity a melanomu v klinických obrazech. Modely černé skříňky pod dohledem trvale dosahovaly lepších výsledků v testech predikce rakoviny a melanomu.

Diplom

Studie zjistila, že modely obrázků a textu mohou zvýšit transparentnost a důvěryhodnost umělé inteligence v lékařské oblasti. MONET, platforma pro anotaci lékařských konceptů, může zlepšit transparentnost a důvěryhodnost dermatologické umělé inteligence tím, že umožní anotaci nápadů ve velkém měřítku.

Vývojáři modelů umělé inteligence mohou zlepšit postupy shromažďování, zpracování a optimalizace dat, což vede ke spolehlivějším lékařským modelům umělé inteligence.

MONET může ovlivnit klinické použití a monitorování systémů umělé inteligence pro lékařské snímky tím, že umožní úplný audit a analýzu poctivosti prostřednictvím anotací deskriptorů odstínu pleti.

Zdroje: