MONET: Uusi tekoälytyökalu parantaa lääketieteellistä kuvantamista syvän oppimisen ja tekstianalyysin avulla

MONET: Uusi tekoälytyökalu parantaa lääketieteellistä kuvantamista syvän oppimisen ja tekstianalyysin avulla

Tuoreessa Nature Medicine -lehdessä julkaistussa tutkimuksessa tutkijat kehittivät Medical Concept Retriever (MONET) -säätiön mallin, joka yhdistää lääketieteelliset kuvat tekstiin ja arvioi kuvia niiden idean olemassaolon perusteella, mikä on hyödyllistä kriittisissä tehtävissä lääketieteellisen tekoälyn (AI) toteutuksessa.

tausta

Luotettavien kuvapohjaisten lääketieteellisten tekoälyjärjestelmien rakentaminen edellyttää tiedon ja hermoverkkomallien analysointia kaikilla kehitystasoilla koulutusvaiheesta käyttöönoton jälkeiseen vaiheeseen.

Runsaasti selitetyt lääketieteelliset tietojoukot, joissa on semanttisesti relevantteja ideoita, voisivat selvittää "mustan laatikon" tekniikoita.

Kliinisesti merkittävien termien, kuten tummemman pigmentin, epätyypillisten pigmenttiverkostojen ja useiden värien ymmärtäminen on lääketieteellisesti hyödyllistä. Tarrojen hankkiminen on kuitenkin työlästä, ja useimmat lääketieteelliset tiedot sisältävät vain diagnostisia huomautuksia.

Tietoja tutkimuksesta

Tässä tutkimuksessa tutkijat kehittivät MONETin, tekoälymallin, joka voi merkitä lääketieteellisiin kuviin lääketieteellisesti merkityksellisiä ideoita. He suunnittelivat mallin tunnistamaan erilaisia ​​ihmisen ymmärrettäviä ideoita kahdessa ihotautikuvamuodossa: dermoskooppisissa ja kliinisissä kuvissa.

Tutkijat keräsivät 105 550 ihotautikuva-teksti-paria PubMed-artikkeleista ja lääketieteellisistä oppikirjoista ja kouluttivat sitten MONETia 105 550 ihotautikuvassa ja luonnollisen kielen datassa suuresta lääketieteellisen kirjallisuuden tietokannasta.

MONET antaa kuville arvosanan jokaiselle idealle, joka kertoo, missä määrin kuva heijastaa ideaa.

Kontrastiiviseen oppimiseen perustuva MONET on tekoäly-lähestymistapa, joka mahdollistaa pelkän tekstin kuvausten suoran soveltamisen kuviin.

Tämä menetelmä välttää manuaalisen merkinnän ja mahdollistaa monipuolisen kuva-teksti-pariinformaation huomattavasti suuremmassa mittakaavassa kuin on mahdollista ohjatulla oppimisella. MONET-koulutuksen jälkeen tutkijat arvioivat sen tehokkuutta huomautuksissa ja muissa tekoälyn läpinäkyvyyteen liittyvissä käyttötapauksissa.

Tutkijat testasivat MONETin konseptimerkintäominaisuuksia valitsemalla käsitteellisimmät valokuvat dermoskooppisista ja kliinisistä kuvista.

He vertasivat MONETin suorituskykyä valvottuihin oppimisstrategioihin, joissa ResNet-50-malleja koulutettiin käsitteellisellä totuustunnisteella ja OpenAI:n Contrastive Language-Image Pretraining (CLIP) -mallilla.

Tutkijat käyttivät myös MONETia data-analyysin automatisointiin ja testasivat sen tehokkuutta konseptien erojen analysoinnissa.

He käyttivät MONETia analysoimaan tietoja International Skin Imaging Collaborationista (ISIC), joka on suurin dermoskooppinen kuvakokoelma, jossa on yli 70 000 julkisesti saatavilla olevaa kuvaa, joita käytetään rutiininomaisesti ihotautien tekoälymallien kouluttamiseen.

Tutkijat kehittivät MONET-mallin auditoinnin (MA-MONET), joka käyttää MONETia automaattisesti semanttisesti merkityksellisten lääketieteellisten käsitteiden ja mallivirheiden havaitsemiseen.

Tutkijat arvioivat MONET-MA:ta todellisissa ympäristöissä kouluttamalla CNN-malleja useiden yliopistojen tiedoista ja arvioimalla niiden automaattista konseptimerkintää.

He vertasivat "MONET + CBM" -automaattista ideapisteytysmenetelmää ihmisen merkintämenetelmään, joka koskee yksinomaan SkinCon-merkintöjä sisältäviä valokuvia.

Tutkijat tutkivat myös konseptivalinnan vaikutusta MONET+CBM:n suorituskykyyn, erityisesti tehtävään liittyviin ideoihin pullonkaulakerroksissa. Lisäksi he arvioivat punaisen käsitteen sisällyttämistä pullonkaulaan MONET+CBM:n suorituskykyyn toimielinten välisissä siirtoskenaarioissa.

Tulokset

MONET on joustava lääketieteellinen tekoälyalusta, joka voi asianmukaisesti merkitä ideoita ihotautikuviin, kuten hallituksen sertifioidut ihotautilääkärit ovat vahvistaneet.

Konseptimerkintäominaisuus mahdollistaa asiaankuuluvat luotettavuusarvioinnit lääketieteellisen tekoälyn putkilinjassa, mikä osoitetaan malliauditoinneilla, dataauditoinneilla ja tulkittavissa olevien mallien kehittämisellä.

MONET löytää onnistuneesti sopivia dermoskooppisia ja kliinisiä kuvia erilaisille dermatologisille avainsanoille ja ylittää CLIP-perusmallin molemmilla aloilla. MONET ylitti CLIP:n dermoskooppisissa ja kliinisissä kuvissa ja pysyi samana kuin kliinisissä kuvissa valvottuja oppimismalleja.

MONETin automaattinen merkintäominaisuus auttaa tunnistamaan kahden kuvaryhmän erottavat piirteet ihmisen luettavalla kielellä ideoiden eroanalyysin aikana.

Tutkijat havaitsivat, että MONET havaitsee eri tavoin ilmaistuja ideoita kliinisissä ja dermoskooppisissa tietosarjoissa ja voi auttaa tutkimaan suuria tietojoukkoja.

MA-MONETin käyttäminen paljasti ominaisuuksia, jotka liittyivät korkeaan virheprosenttiin, kuten "sinivalkoinen verho", "sininen", "musta", "harmaa" ja "littetyt" merkityt valokuvat.

Tutkijat tunnistivat klusterin, jolla on suurin epäonnistumisaste eryteeman, regressiorakenteen, punoituksen, atrofian ja hyperpigmentaation perusteella. Ihotautilääkärit valitsivat kymmenen kohteeseen liittyvää ideaa MONET+CBM- ja CLIP+CBM-pullonkaulakerroksiin, jotka mahdollistavat joustavat merkintävaihtoehdot.

MONET+CBM ylittää kaikki perusviivat vastaanottimen toimintakäyrän alapuolella (AUROC) pahanlaatuisuuden ja melanooman ennustamisessa kliinisissä kuvissa. Valvotut mustat laatikkomallit suoriutuivat jatkuvasti paremmin syövän ja melanooman ennustetesteissä.

Diplomi

Tutkimuksessa havaittiin, että kuva-tekstimallit voivat lisätä tekoälyn läpinäkyvyyttä ja luotettavuutta lääketieteen alalla. MONET, lääketieteellisen konseptin merkintäalusta, voi parantaa dermatologian tekoälyn läpinäkyvyyttä ja luotettavuutta mahdollistamalla laajamittaisen ideamerkinnän.

Tekoälymallien kehittäjät voivat parantaa tiedonkeruu-, käsittely- ja optimointikäytäntöjä, mikä johtaa luotettavampiin lääketieteellisiin tekoälymalleja.

MONET voi vaikuttaa lääketieteellisten kuvien tekoälyjärjestelmien kliiniseen käyttöön ja seurantaan mahdollistamalla täydellisen auditoinnin ja oikeudenmukaisuusanalyysin ihon sävykuvausmerkintöjen avulla.

Lähteet: