Tutkimukset osoittavat, että näkyvyyden lämpökartat eivät ehkä ole vielä valmiita parhaaseen katseluun

Tutkimukset osoittavat, että näkyvyyden lämpökartat eivät ehkä ole vielä valmiita parhaaseen katseluun

Lääketieteellisiä kuvia tulkitsevat tekoälymallit lupaavat parantaa kliinikon kykyä tehdä tarkkoja ja oikea-aikaisia ​​diagnooseja ja vähentää samalla työmäärää antamalla kiireisille lääkäreille mahdollisuuden keskittyä kriittisiin tapauksiin ja delegoida rutiinitehtävät tekoälylle.

Mutta tekoälymallit, joista puuttuu läpinäkyvyys diagnoosin tekemiseen ja miksi, voivat olla ongelmallisia. Tämä läpinäkymätön argumentti -; tunnetaan myös nimellä "Black Box" AI -; voi heikentää lääkärin luottamusta tekoälytyökalun luotettavuuteen ja siten estää sen käyttöä. Tämä läpinäkyvyyden puute voi myös saada kliinikot luottamaan työkalun tulkintaan.

Lääketieteellisen kuvantamisen alalla näkyvyysarvioinnit ovat olleet tapa luoda ymmärrettävämpiä tekoälymalleja ja tehdä tekoälyn päätöksenteon mysteeriksi -; Lähestymistapa, joka käyttää lämpökarttoja sen määrittämiseen, keskittyykö työkalu oikein vain tietyn kuvan oleellisiin osiin vai kohdistaako se sen epäolennaisiin osiin.

Lämpökartat toimivat korostamalla kuvan alueita, jotka vaikuttivat AI-mallin tulkintaan. Tämä voi auttaa ihmislääkäreitä havaitsemaan, keskittyykö tekoälymalli samoihin alueisiin kuin he vai onko se tarkentunut väärin kuvan epäolennaisiin paikkoihin.

Mutta uusi tutkimus, joka julkaistiin 10. lokakuuta Nature Machine Intelligencessä, osoittaa, että kaikista lupauksistaan ​​huolimatta näkyvyyden lämpökartat eivät ole vielä valmiita parhaaseen katseluun.

Harvard Medical Schoolin tutkijan Pranav Rajpurkarin, Stanfordin Matthew Lungrenin ja New Yorkin yliopiston Adriel Saportan johtamassa analyysissä määritettiin seitsemän laajalti käytetyn korostusmenetelmän pätevyys määrittääkseen, kuinka luotettavasti ja tarkasti ne pystyvät tunnistamaan 10 yleisesti diagnosoituun sairauteen liittyvät sairaudet. Suorituskyvyn määrittämiseksi tutkijat vertasivat työkalujen suorituskykyä ihmisen asiantuntija-arvioon.

Loppujen lopuksi työkalut, jotka käyttivät merkittäviä lämpökarttoihin perustuvia lämpökarttoja, olivat jatkuvasti huonompia kuin ihmisradiologit kuvan arvioinnissa ja niiden kyvyssä havaita patologisia vaurioita.

Teos on ensimmäinen vertaileva analyysi näkyvyyskarttojen ja ihmisen asiantuntijan suoritusten välillä useiden radiografisten patologioiden arvioinnissa. Tutkimus antaa myös yksityiskohtaisen käsityksen siitä, voivatko kuvan tietyt patologiset piirteet vaikuttaa tekoälytyökalujen suorituskykyyn ja miten.

Näkyvyyskarttaominaisuus on jo käytössä laadunvarmistustyökaluna kliinisissä käytännöissä, jotka käyttävät tekoälyä tietokoneavusteisten havaitsemismenetelmien tulkitsemiseen, kuten: B. Rintakehän röntgensäteiden lukeminen. Mutta uusien löydösten valossa tästä ominaisuudesta tulisi tutkijoiden mukaan nauttia varoen ja terveellä annoksella skeptisyyttä.

Analyysimme osoittaa, että näkyvyyskartat eivät ole vielä tarpeeksi luotettavia validoimaan tekoälymallin yksittäisiä kliinisiä päätöksiä. Olemme tunnistaneet tärkeitä rajoituksia, jotka aiheuttavat vakavia turvallisuusongelmia nykyisessä käytössä."

Pranav Rajpurkar, biolääketieteen informatiikan apulaisprofessori, HMS

Tutkijat varoittavat, että tutkimuksessa havaittujen tärkeiden rajoitusten vuoksi näkyvyyteen perustuvia lämpökarttoja tulisi edelleen jalostaa ennen kuin niitä käytetään laajalti kliinisissä tekoälymalleissa.

Tiimin koko koodikanta, tiedot ja analyysit ovat avoimia ja kaikkien saatavilla, jotka ovat kiinnostuneita tutkimaan tätä tärkeää kliinisen koneoppimisen näkökohtaa lääketieteellisissä kuvantamissovelluksissa.

Lähde:

Harvard Medical School

Viite:

Saporta, A., et ai. (2022) Benchmarking salienency -menetelmät rintakehän röntgenkuvan tulkinnassa. Luonto-koneäly. doi.org/10.1038/s42256-022-00536-x.

.