MONET: nowe narzędzie AI usprawnia obrazowanie medyczne dzięki głębokiemu uczeniu się i analizie tekstu

MONET: nowe narzędzie AI usprawnia obrazowanie medyczne dzięki głębokiemu uczeniu się i analizie tekstu

W niedawnym badaniu opublikowanym w Nature Medicine naukowcy opracowali podstawowy model Medical Concept Retriever (MONET), który łączy obrazy medyczne z tekstem i ocenia obrazy na podstawie ich istnienia, co jest pomocne w kluczowych zadaniach wdrażania sztucznej inteligencji medycznej (AI).

tło

Budowa niezawodnych systemów sztucznej inteligencji medycznej opartej na obrazach wymaga analizy informacji i modeli sieci neuronowych na każdym etapie rozwoju, od fazy szkoleniowej po fazę powdrożeniową.

Bogato opatrzone adnotacjami zbiory danych medycznych zawierające semantycznie istotne pomysły mogą wyjaśnić technologie „czarnych skrzynek”.

Zrozumienie terminów istotnych klinicznie, takich jak ciemniejsza pigmentacja, nietypowe sieci pigmentów i wiele kolorów, jest korzystne z medycznego punktu widzenia. Uzyskanie etykiet jest jednak pracochłonne i większość zestawów informacji medycznych zawiera jedynie notatki diagnostyczne.

O badaniu

W ramach obecnego badania naukowcy opracowali MONET, model sztucznej inteligencji, który może opisywać obrazy medyczne pomysłami istotnymi z medycznego punktu widzenia. Zaprojektowali model w celu identyfikacji różnych zrozumiałych dla człowieka koncepcji w dwóch modalnościach obrazowych w dermatologii: obrazach dermoskopowych i klinicznych.

Naukowcy zebrali 105 550 par obraz-tekst dermatologiczny z artykułów PubMed i podręczników medycznych, a następnie przeszkolili MONET na 105 550 zdjęciach dermatologicznych i danych w języku naturalnym z dużej bazy danych literatury medycznej.

MONET przypisuje zdjęciom oceny do każdego pomysłu, wskazując, w jakim stopniu obraz odzwierciedla ideę.

Opierając się na uczeniu kontrastowym, MONET to podejście oparte na sztucznej inteligencji, które umożliwia bezpośrednie stosowanie opisów w postaci zwykłego tekstu na obrazach.

Ta metoda pozwala uniknąć ręcznego etykietowania i umożliwia bogatą informację o parach obraz-tekst na znacznie większą skalę niż jest to możliwe w przypadku uczenia się nadzorowanego. Po szkoleniu MONET badacze ocenili jego skuteczność w adnotacjach i innych przypadkach użycia związanych z przejrzystością sztucznej inteligencji.

Naukowcy przetestowali możliwości programu MONET w zakresie dodawania adnotacji do koncepcji, wybierając najbardziej koncepcyjne zdjęcia z obrazów dermoskopowych i klinicznych.

Porównali wydajność programu MONET ze strategiami nadzorowanego uczenia się, w ramach których trenowano modele ResNet-50 za pomocą koncepcyjnych etykiet prawdy podstawowej oraz modelu wstępnego szkolenia języka i obrazu OpenAI (CLIP).

Naukowcy wykorzystali także MONET do zautomatyzowania analizy danych i przetestowali jego skuteczność w analizie różnic koncepcji.

Wykorzystali MONET do analizy danych z International Skin Imaging Collaboration (ISIC), największej kolekcji obrazów dermoskopowych obejmującej ponad 70 000 publicznie dostępnych obrazów rutynowo wykorzystywanych do szkolenia modeli sztucznej inteligencji w dermatologii.

Naukowcy opracowali audyt modelu za pomocą MONET (MA-MONET), który wykorzystuje MONET do automatycznego wykrywania istotnych semantycznie koncepcji medycznych i błędów modeli.

Naukowcy ocenili MONET-MA w środowiskach rzeczywistych, ucząc modele CNN na danych z wielu uniwersytetów i oceniając ich automatyczne adnotacje dotyczące koncepcji.

Porównali automatyczną metodę punktacji pomysłów „MONET + CBM” z metodą ludzkiego etykietowania, która dotyczy wyłącznie zdjęć zawierających etykiety SkinCon.

Naukowcy zbadali także wpływ wyboru koncepcji na wydajność MONET+CBM, szczególnie na pomysły istotne dla zadań w warstwach wąskich gardeł. Ponadto ocenili wpływ włączenia koncepcji czerwonego wąskiego gardła na wyniki MONET+CBM w scenariuszach transferu międzyinstytucjonalnego.

Wyniki

MONET to elastyczna platforma medyczna AI, która może odpowiednio opisywać pomysły na obrazach dermatologicznych, zweryfikowanych przez certyfikowanych dermatologów.

Funkcja adnotacji koncepcji umożliwia odpowiednią ocenę wiarygodności w całym procesie sztucznej inteligencji medycznej, wykazaną poprzez audyty modeli, audyty danych i rozwój modeli możliwych do interpretacji.

MONET z powodzeniem znajduje odpowiednie obrazy dermoskopowe i kliniczne dla różnych słów kluczowych z zakresu dermatologii i przewyższa podstawowy model CLIP w obu obszarach. MONET uzyskał lepsze wyniki niż CLIP w obrazach dermoskopowych i klinicznych i pozostał równoważny modelom nadzorowanego uczenia się na obrazach klinicznych.

Funkcja automatycznych adnotacji MONET pomaga zidentyfikować cechy wyróżniające dowolne dwie grupy obrazów w języku czytelnym dla człowieka podczas analizy różnic pomysłów.

Naukowcy odkryli, że MONET wykrywa różnie wyrażone pomysły w zestawach danych klinicznych i dermoskopowych i może pomóc w badaniu dużych zbiorów danych.

Korzystanie z MA-MONET ujawniło cechy powiązane z wysokim poziomem błędów, takie jak grupa zdjęć oznaczonych jako „niebiesko-białawy welon”, „niebieski”, „czarny”, „szary” i „spłaszczony”.

Naukowcy zidentyfikowali klaster o najwyższym wskaźniku niepowodzeń na podstawie rumienia, struktury regresyjnej, zaczerwienienia, atrofii i przebarwień. Dermatolodzy wybrali dziesięć pomysłów ukierunkowanych na cele dla warstw wąskich gardeł MONET+CBM i CLIP+CBM, które umożliwiają elastyczne opcje etykietowania.

MONET+CBM przewyższa wszystkie linie bazowe w średnim obszarze pod krzywą charakterystyki działania odbiornika (AUROC) w przewidywaniu nowotworów złośliwych i czerniaka w obrazach klinicznych. Nadzorowane modele czarnej skrzynki konsekwentnie osiągały lepsze wyniki w testach przewidywania raka i czerniaka.

Dyplom

Badanie wykazało, że modele obrazowo-tekstowe mogą zwiększyć przejrzystość i wiarygodność sztucznej inteligencji w medycynie. MONET, platforma do adnotacji koncepcji medycznych, może poprawić przejrzystość i wiarygodność sztucznej inteligencji w dermatologii, umożliwiając dodawanie adnotacji do pomysłów na dużą skalę.

Twórcy modeli sztucznej inteligencji mogą ulepszyć praktyki gromadzenia, przetwarzania i optymalizacji danych, co skutkuje bardziej niezawodnymi modelami medycznej sztucznej inteligencji.

MONET może mieć wpływ na kliniczne zastosowanie i monitorowanie systemów sztucznej inteligencji obrazu medycznego, umożliwiając pełny audyt i analizę rzetelności poprzez adnotację deskryptorów odcienia skóry.

Źródła: