MONET: Нов AI инструмент подобрява медицинските изображения чрез дълбоко обучение и анализ на текст

MONET: Нов AI инструмент подобрява медицинските изображения чрез дълбоко обучение и анализ на текст

В скорошно проучване, публикувано в Nature Medicine, изследователите разработиха основния модел на Medical Concept Retriever (MONET), който комбинира медицински изображения с текст и оценява изображения въз основа на съществуването на идеята им, което е полезно при критични задачи при внедряването на медицински изкуствен интелект (AI).

фон

Изграждането на надеждни медицински системи с изкуствен интелект, базирани на изображения, изисква анализиране на информация и модели на невронни мрежи на всяко ниво на развитие, от фазата на обучение до фазата след внедряване.

Богато анотирани набори от медицински данни със семантично подходящи идеи биха могли да демистифицират технологиите на „черната кутия“.

Разбирането на клинично значими термини като по-тъмна пигментация, атипични пигментни мрежи и множество цветове е от медицинска полза. Получаването на етикети обаче е трудоемко и повечето комплекти с медицинска информация съдържат само диагностични бележки.

Относно изследването

В настоящото проучване изследователите разработиха MONET, AI модел, който може да анотира медицински изображения с медицински значими идеи. Те проектираха модела, за да идентифицират различни идеи, разбираеми за човека, в два модалности на изображението в дерматологията: дермоскопски и клинични изображения.

Изследователите събраха 105 550 дерматологични двойки изображение-текст от статии на PubMed и медицински учебници и след това обучиха MONET на 105 550 дерматологични снимки и данни на естествения език от голяма база данни с медицинска литература.

MONET дава оценки на снимките за всяка идея, като посочва степента, в която изображението отразява идеята.

Базиран на контрастно обучение, MONET е подход с изкуствен интелект, който позволява директното прилагане на описания в обикновен текст към изображения.

Този метод избягва ръчното етикетиране и дава възможност за богата информация за двойки изображение-текст в значително по-голям мащаб, отколкото е възможно с контролирано обучение. След обучението на MONET, изследователите оцениха неговата ефективност в анотации и други случаи на употреба, свързани с прозрачността на AI.

Изследователите тестваха възможностите на MONET за концептуални пояснения, като избраха най-концептуалните снимки от дермоскопски и клинични изображения.

Те сравняват ефективността на MONET със стратегии за контролирано обучение, в които моделите ResNet-50 са обучени с концептуални основни етикети на истината и модела на OpenAI за контрастно езиково предварително обучение (CLIP).

Изследователите също така използваха MONET за автоматизиране на анализа на данни и тестваха ефективността му в анализа на концептуалните разлики.

Те използваха MONET, за да анализират данни от International Skin Imaging Collaboration (ISIC), най-голямата колекция от дермоскопски изображения с над 70 000 публично достъпни изображения, използвани рутинно за обучение на дерматологични AI модели.

Изследователите разработиха одит на модел с MONET (MA-MONET), който използва MONET за автоматично откриване на семантично значими медицински концепции и грешки в модела.

Изследователите оцениха MONET-MA в реални среди, като обучиха моделите на CNN върху данни от множество университети и оцениха автоматизираната им концептуална анотация.

Те сравниха автоматизирания метод за оценяване на идеята „MONET + CBM“ с метода за човешко етикетиране, който се прилага изключително за снимки, съдържащи етикети SkinCon.

Изследователите също така изследваха въздействието на избора на концепция върху производителността на MONET+CBM, особено върху идеите, свързани със задачата, в слоевете с тесни места. В допълнение, те оцениха въздействието от включването на концепцията за червено в тясното място върху ефективността на MONET+CBM в сценарии за междуинституционален трансфер.

Резултати

MONET е гъвкава медицинска AI платформа, която може да коментира по подходящ начин идеи в дерматологични изображения, проверени от сертифицирани дерматолози.

Функцията за анотации на концепцията дава възможност за подходящи оценки на надеждността в целия тръбопровод за медицински изкуствен интелект, демонстрирани чрез одити на модели, одити на данни и разработка на интерпретируем модел.

MONET успешно намира подходящи дермоскопски и клинични изображения за различни дерматологични ключови думи и превъзхожда основния модел CLIP и в двата домейна. MONET превъзхожда CLIP върху дермоскопски и клинични изображения и остава еквивалентен на моделите за контролирано обучение върху клинични изображения.

Функцията за автоматизирано анотиране на MONET помага да се идентифицират разграничителните характеристики между всеки две групи изображения на разбираем за човека език по време на анализ на разликата в идеите.

Изследователите установиха, че MONET открива различно изразени идеи в набори от клинични и дермоскопски данни и може да помогне при изследването на големи набори от данни.

Използването на MA-MONET разкри функции, които са свързани с висок процент грешки, като група от снимки, обозначени като „синьо-белезникав воал“, „син“, „черен“, „сив“ и „сплескан“.

Изследователите идентифицираха клъстера с най-висок процент на неуспех въз основа на еритема, регресивна структура, зачервяване, атрофия и хиперпигментация. Дерматолозите избраха десет идеи, свързани с целите, за слоевете с тесни места MONET+CBM и CLIP+CBM, които позволяват гъвкави опции за етикетиране.

MONET+CBM превъзхожда всички базови линии в средната площ под кривата на работната характеристика на приемника (AUROC) за прогнозиране на злокачествено заболяване и меланом в клинични изображения. Наблюдаваните модели на черна кутия постоянно се представят по-добре при тестовете за прогнозиране на рак и меланом.

Диплома

Проучването установи, че моделите изображение-текст могат да увеличат прозрачността и надеждността на AI в областта на медицината. MONET, платформа за анотиране на медицински концепции, може да подобри прозрачността и надеждността на дерматологичния изкуствен интелект, като позволи широкомащабно анотиране на идеи.

Разработчиците на AI модели могат да подобрят събирането, обработката и практиките за оптимизиране на данни, което води до по-надеждни медицински AI модели.

MONET може да повлияе на клиничното използване и наблюдение на системите за изкуствен интелект на медицински изображения, като позволи пълен одит и анализ на справедливостта чрез анотация на дескриптори за тон на кожата.

източници: