MONET: Az új mesterséges intelligencia eszköz mély tanulással és szövegelemzéssel javítja az orvosi képalkotást

MONET: Az új mesterséges intelligencia eszköz mély tanulással és szövegelemzéssel javítja az orvosi képalkotást

A Nature Medicine-ben nemrég megjelent tanulmányukban a kutatók kidolgozták a Medical Concept Retriever (MONET) alapozó modellt, amely az orvosi képeket szöveggel kombinálja, és ötletlétük alapján értékeli a képeket, ami az orvosi mesterséges intelligencia (AI) megvalósításának kritikus feladataiban segít.

háttér

A megbízható képalapú orvosi mesterséges intelligencia rendszerek felépítéséhez információ és neurális hálózati modellek elemzése szükséges a fejlesztés minden szintjén, a képzési szakasztól a telepítés utáni szakaszig.

A szemantikailag releváns ötleteket tartalmazó, gazdag megjegyzésekkel ellátott orvosi adatkészletek demisztifikálhatják a „fekete doboz” technológiákat.

A klinikailag jelentős kifejezések, például a sötétebb pigmentáció, az atipikus pigmenthálózatok és a többféle szín megértése orvosi szempontból előnyös. A címkék beszerzése azonban fáradságos, és a legtöbb orvosi információs készlet csak diagnosztikai megjegyzéseket tartalmaz.

A tanulmányról

A jelenlegi tanulmányban a kutatók kifejlesztették a MONET-et, egy mesterséges intelligencia-modellt, amely orvosilag releváns ötletekkel magyarázza az orvosi képeket. Úgy tervezték meg a modellt, hogy a bőrgyógyászatban kétféle képmódban azonosítsák a különböző, ember által érthető ötleteket: dermoszkópos és klinikai képen.

A kutatók 105 550 bőrgyógyászati ​​kép-szöveg párt gyűjtöttek össze a PubMed cikkekből és orvosi szakkönyvekből, majd a MONET-et 105 550 bőrgyógyászati ​​fotón és természetes nyelvi adaton képezték ki egy nagy orvosi irodalmi adatbázisból.

A MONET minden ötlethez minősítést rendel a fotókhoz, jelezve, hogy a kép mennyire tükrözi az ötletet.

A kontrasztív tanuláson alapuló MONET egy mesterséges intelligencia megközelítés, amely lehetővé teszi egyszerű szöveges leírások közvetlen alkalmazását a képekre.

Ez a módszer elkerüli a kézi címkézést, és lényegesen nagyobb léptékben teszi lehetővé a gazdag kép-szöveg páros információkat, mint a felügyelt tanulással. A MONET képzést követően a kutatók értékelték annak hatékonyságát a megjegyzésekben és az AI átláthatóságával kapcsolatos egyéb használati esetekben.

A kutatók úgy tesztelték a MONET koncepció-annotációs képességeit, hogy a dermoszkópikus és klinikai képek közül a legkoncepcionálisabb fotókat választották ki.

Összehasonlították a MONET teljesítményét felügyelt tanulási stratégiákkal, amelyekben a ResNet-50 modelleket fogalmi alapigazság-címkékkel és az OpenAI kontrasztos nyelv-kép-előképzési (CLIP) modelljével képezték ki.

A kutatók emellett a MONET segítségével automatizálták az adatelemzést, és tesztelték annak hatékonyságát a fogalmi különbségek elemzésében.

A MONET segítségével elemezték az International Skin Imaging Collaboration (ISIC) adatait, amely a legnagyobb dermoszkópos képgyűjtemény több mint 70 000 nyilvánosan elérhető képpel, amelyet rutinszerűen használnak a bőrgyógyászati ​​mesterséges intelligencia modellek képzésére.

A kutatók a MONET segítségével modellauditot fejlesztettek ki (MA-MONET), amely a MONET segítségével automatikusan észleli a szemantikailag releváns orvosi koncepciókat és a modellhibákat.

A kutatók valós környezetben értékelték a MONET-MA-t úgy, hogy több egyetemről származó adatokra oktatták a CNN-modelleket, és értékelték azok automatizált koncepció-annotációját.

Összehasonlították a „MONET + CBM” automatizált ötletpontozási módszert a humán címkézési módszerrel, amely kizárólag a SkinCon címkéket tartalmazó fotókra vonatkozik.

A kutatók azt is megvizsgálták, hogy a koncepcióválasztás milyen hatással van a MONET+CBM teljesítményére, különösen a szűk keresztmetszet rétegeiben a feladat szempontjából releváns ötletekre. Ezenkívül értékelték a vörös fogalmának a szűk keresztmetszetbe való beépítésének hatását a MONET+CBM teljesítményére az intézményközi átadási forgatókönyvekben.

Eredmények

A MONET egy rugalmas orvosi mesterségesintelligencia-platform, amely megfelelő megjegyzésekkel tudja ellátni az ötleteket a bőrgyógyászati ​​képeken, amint azt a testület által minősített bőrgyógyászok igazolják.

A koncepció-annotációs funkció lehetővé teszi a releváns megbízhatósági értékeléseket az orvosi mesterséges intelligencia folyamatában, amelyet modellauditokkal, adatauditokkal és értelmezhető modellfejlesztéssel bizonyítanak.

A MONET sikeresen megtalálja a megfelelő dermoszkópos és klinikai képeket a különböző bőrgyógyászati ​​kulcsszavakhoz, és mindkét területen felülmúlja az alap CLIP modellt. A MONET felülmúlta a CLIP-et a dermoszkópos és klinikai képeken, és a klinikai képeken egyenértékű maradt a felügyelt tanulási modellekkel.

A MONET automatizált annotációs funkciója segít azonosítani a megkülönböztető jellemzőket bármely két képcsoport között egy ember által olvasható nyelven az ötletkülönbségek elemzése során.

A kutatók azt találták, hogy a MONET a klinikai és dermoszkópiai adatkészletekben eltérően kifejezett gondolatokat észlel, és segíthet nagy adathalmazok vizsgálatában.

A MA-MONET használata során olyan funkciókat fedeztek fel, amelyek magas hibaarányhoz kapcsolódtak, mint például a „kék-fehéres fátyol”, „kék”, „fekete”, „szürke” és „lapított” címkékkel ellátott fotók csoportja.

A kutatók az erythema, a regressziós szerkezet, a bőrpír, az atrófia és a hiperpigmentáció alapján azt a klasztert azonosították, amelynél a legmagasabb a hibaarány. A bőrgyógyászok tíz célhoz kapcsolódó ötletet választottak ki a MONET+CBM és a CLIP+CBM szűk keresztmetszet rétegekhez, amelyek rugalmas címkézési lehetőségeket tesznek lehetővé.

A MONET+CBM minden alapvonalat felülmúl a vevő működési jellemzői görbe alatti átlagos területen (AUROC) a rosszindulatú daganatok és a melanoma előrejelzésében a klinikai képeken. A felügyelt fekete doboz modellek következetesen jobban teljesítettek a rák- és melanoma-előrejelző tesztekben.

Oklevél

A tanulmány megállapította, hogy a kép-szöveg modellek növelhetik a mesterséges intelligencia átláthatóságát és megbízhatóságát az orvosi területen. A MONET, az orvosi koncepciók annotációs platformja javíthatja a bőrgyógyászati ​​mesterséges intelligencia átláthatóságát és megbízhatóságát azáltal, hogy lehetővé teszi a nagyszabású ötlet-annotációt.

Az AI-modellek fejlesztői javíthatják az adatgyűjtési, -feldolgozási és -optimalizálási gyakorlatokat, ami megbízhatóbb orvosi mesterségesintelligencia-modelleket eredményezhet.

A MONET hatással lehet az orvosi képalkotó mesterséges intelligencia rendszerek klinikai használatára és monitorozására azáltal, hogy teljes körű auditot és igazságossági elemzést tesz lehetővé a bőrtónus-leírók megjegyzéseivel.

Források: