Mahdollisuudet ja rajoitukset suuren kielimallin käyttämiselle vastaamaan potilaiden viesteihin

Mahdollisuudet ja rajoitukset suuren kielimallin käyttämiselle vastaamaan potilaiden viesteihin

Mass General Brighamin tutkijoiden uusi tutkimus osoittaa, että suuret kielimallit (LLM), eräänlainen generatiivinen tekoäly, voivat auttaa vähentämään lääkärien työtaakkaa ja parantamaan potilaiden koulutusta, kun niitä käytetään potilaan viesteihin vastaamiseen. Tutkimuksessa havaittiin myös LLM:ien rajoituksia, jotka voivat vaikuttaa potilasturvallisuuteen, mikä viittaa siihen, että LLM:iden luoman viestinnän huolellinen seuranta on välttämätöntä turvallisen käytön kannalta. Tulokset julkaistu vLancet Digital Healthkorostaa, että LLM:n toteuttamiseen tarvitaan mitoitettu lähestymistapa.

Kasvavat hallinnolliset ja dokumentointivaatimukset ovat lisänneet lääkäreiden työuupumusta. Virtaviivaistaakseen ja automatisoidakseen lääkärien työnkulkua sähköisten terveystietojen (EHR) toimittajat ovat ottaneet käyttöön generatiivisia tekoälyalgoritmeja auttaakseen lääkäreitä laatimaan viestejä potilaille. Niiden käytön tehoa, turvallisuutta ja kliinisiä vaikutuksia ei kuitenkaan tiedetty.

Generatiivisella tekoälyllä on mahdollisuus tarjota molempien maailmojen parhaat puolet, mikä vähentää kliinikon taakkaa ja kouluttaa potilasta paremmin. Tiimimme kokemuksen perusteella työskentelystä LLM:ien kanssa olemme kuitenkin huolissamme mahdollisista riskeistä, jotka liittyvät LLM:ien integroimiseen viestintäjärjestelmiin. Kun LLM-integraatio EHR:iin yleistyy, tavoitteemme tässä tutkimuksessa oli tunnistaa asiaankuuluvat edut ja puutteet.

Danielle Bitterman, MD,Vastaava kirjoittaja,Tiedekunnan jäsen Mass General Brighamin tekoäly (AIM) -ohjelmassa ja lääkäri Brigham and Women's Hospitalin säteilyonkologian osastolla

Tutkimuksessa tutkijat käyttivät OpenAI:n GPT-4:ää, perus-LLM:ää, luodakseen 100 skenaariota syöpäpotilaista ja siihen liittyvän potilaskysymyksen. Tutkimuksessa ei käytetty todellisten potilaiden kysymyksiä. Kuusi säteilyonkologia vastasi kysymyksiin manuaalisesti; GPT-4 loi sitten vastaukset kysymyksiin. Lopuksi LLM:n tuottamat vastaukset toimitettiin samoille säteilyonkologeille tarkistettavaksi ja muokattavaksi. Säteilyonkologit eivät tienneet, oliko GPT-4 vai ihminen kirjoittanut vastaukset, ja 31 % tapauksista olettivat, että LLM:n tuottama vastaus oli ihmisen kirjoittama.

Keskimäärin lääkärin kirjoittamat vastaukset olivat lyhyempiä kuin LLM:n kirjoittamat vastaukset. GPT-4 sisälsi enemmän potilaiden koulutusta, mutta se oli vähemmän ohjeellinen ohjeissaan. Lääkärit ilmoittivat, että LLM-tuki paransi heidän havaittuaan tehokkuutensa ja piti LLM:n tuottamia vastauksia turvallisina 82,1 prosenttia ajasta ja hyväksyttäviä lähetettäväksi potilaalle ilman jatkokäsittelyä 58,3 prosenttia ajasta. Tutkijat havaitsivat myös joitain puutteita: Jos niitä ei käsitellä, 7,1 prosenttia LLM:n tuottamista vasteista voi aiheuttaa riskin potilaalle ja 0,6 prosenttia vastauksista saattaa aiheuttaa kuolemanvaaran, lähinnä siksi, että GPT-4-vaste ei kertonut potilaalle kiireesti hakeutumaan välitöntä lääketieteellistä apua.

Huomaa, että LLM:n luomat/lääkärin muokkaamat vastaukset olivat pituudeltaan ja sisällöltään enemmän samanlaisia ​​kuin LLM:n luomat vastaukset kuin manuaaliset vastaukset. Monissa tapauksissa lääkärit säilyttivät LLM:n luomaa koulutussisältöä, mikä viittaa siihen, että he pitivät sitä arvokkaana. Vaikka tämä voisi edistää potilaiden koulutusta, tutkijat korostavat, että liiallinen riippuvuus LLM:istä voi myös aiheuttaa riskejä niiden todistettujen puutteiden vuoksi.

Tekoälytyökalujen ilmaantuminen terveydenhuollossa voi muuttaa positiivisesti hoidon jatkuvuutta, ja on välttämätöntä tasapainottaa niiden innovaatiopotentiaali ja sitoutuminen turvallisuuteen ja laatuun. Mass General Brigham on johtaja tekoälyn vastuullisessa käytössä ja tekee syvällistä tutkimusta uusista ja nousevista teknologioista tukeakseen tekoälyn sisällyttämistä terveydenhuoltoon, työvoimatukeen ja hallintoprosesseihin. Massakenraali Brigham johtaa parhaillaan pilottiprojektia, jonka tavoitteena on integroida generatiivinen tekoäly sähköiseen terveystietueeseen vastaamaan potilasportaalin viesteihin, ja testaa teknologiaa useissa avohoitokäytännöissä koko terveydenhuoltojärjestelmässä.

Jatkossa tutkimuksen tekijät tutkivat, kuinka potilaat näkevät LLM-pohjaisen viestinnän ja kuinka potilaiden rodulliset ja demografiset ominaisuudet vaikuttavat LLM:n tuottamiin reaktioihin perustuen LLM:ien tunnettuihin algoritmisiin harhaan.

"Ihmisen pitäminen ajan tasalla on olennainen turvallisuusaskel käytettäessä tekoälyä lääketieteessä, mutta se ei ole yksikokoinen ratkaisu", Bitterman sanoi. "Koska palveluntarjoajat luottavat yhä enemmän LLM:ihin, saatamme jäädä huomaamatta virheitä, jotka voivat aiheuttaa vahinkoa potilaille. Tämä tutkimus osoittaa, että tarvitaan järjestelmiä LLM:ien laadun seurantaa varten, kliinikoiden koulutusta LLM-tulosten asianmukaiseen seurantaan ja enemmän tekoälytaitoja potilaille ja kliinikoille." ja perustasolla parempi ymmärrys siitä, kuinka käsitellä LLM:n tekemiä virheitä."

Lähteet: