Suure keelemudeli kasutamise võimalused ja piirangud patsiendi sõnumitele vastamiseks

Suure keelemudeli kasutamise võimalused ja piirangud patsiendi sõnumitele vastamiseks

Mass General Brighami teadlaste uus uuring näitab, et suured keelemudelid (LLM), teatud tüüpi generatiivne AI, võivad aidata vähendada arstide töökoormust ja parandada patsientide koolitust, kui neid kasutatakse patsientide sõnumitele vastuste koostamiseks. Uuringus leiti ka piiranguid LLM-idele, mis võivad mõjutada patsiendi ohutust, mis viitab sellele, et LLM-ide loodud suhtluse hoolikas jälgimine on ohutuks kasutamiseks hädavajalik. Tulemused avaldati aastalLancet Digital Healthrõhutada vajadust mõõdetud lähenemisviisi järele LLM-i rakendamisel.

Kasvavad haldus- ja dokumentatsiooninõuded on suurendanud arstide läbipõlemist. Arstide töövoogude sujuvamaks muutmiseks ja automatiseerimiseks on elektrooniliste tervisekaartide (EHR) müüjad võtnud kasutusele generatiivsed AI-algoritmid, mis aitavad arstidel patsientidele sõnumeid koostada. Siiski ei olnud nende kasutamise efektiivsus, ohutus ja kliiniline mõju teada.

Generatiivsel tehisintellektil on potentsiaal pakkuda mõlemast maailmast parimat, vähendades arstide koormust ja õpetades samal ajal paremini patsienti. Kuid meie meeskonna LLM-idega töötamise kogemuse põhjal tunneme muret potentsiaalsete riskide pärast, mis on seotud LLM-ide integreerimisega sõnumsidesüsteemidesse. Kuna LLM-i integreerimine EHR-idesse muutub tavalisemaks, oli meie selle uuringu eesmärk tuvastada asjakohased eelised ja puudused.

Danielle Bitterman, MD,Vastav autor,Mass General Brighami tehisintellekti programmi (AIM) õppejõud ja Brighami ja naistehaigla kiirgusonkoloogia osakonna arst

Uuringu jaoks kasutasid teadlased OpenAI GPT-4, põhilist LLM-i, et luua 100 stsenaariumi vähihaigete ja kaasneva patsiendiküsimuse kohta. Uuringus ei kasutatud tegelike patsientide küsimusi. Kuus kiirgusonkoloogi vastasid küsimustele käsitsi; Seejärel genereeris GPT-4 küsimustele vastused. Lõpuks esitati LLM-i loodud vastused samadele kiirgusonkoloogidele ülevaatamiseks ja redigeerimiseks. Kiiritusonkoloogid ei teadnud, kas vastused kirjutas GPT-4 või inimene, ning 31% juhtudest eeldasid, et LLM-i genereeritud vastuse oli kirjutanud inimene.

Arsti poolt kirjutatud vastused olid keskmiselt lühemad kui LLM-i poolt kirjutatud vastused. GPT-4 kaldus hõlmama rohkem patsientide koolitust, kuid oli oma juhistes vähem suunav. Arstid teatasid, et LLM-i tugi parandas nende tajutavat tõhusust ja pidas LLM-i loodud vastuseid ohutuks 82,1 protsenti ajast ja vastuvõetavaks saata patsiendile ilma täiendava töötlemiseta 58,3 protsenti ajast. Uurijad märkisid ka mõningaid puudusi: kui neid ei käsitleta, võib 7,1 protsenti LLM-i tekitatud vastustest kujutada endast ohtu patsiendile ja 0,6 protsenti vastustest võib põhjustada surmaohtu, peamiselt seetõttu, et GPT-4 vastus ei andnud patsienti kiiresti teavitada, et ta viivitamatult arstiabi otsiks.

Pange tähele, et LLM-i loodud / arsti redigeeritud vastused olid pikkuse ja sisu poolest sarnasemad LLM-i loodud vastustega kui käsitsi vastustega. Paljudel juhtudel säilitasid arstid LLM-i loodud haridussisu, mis viitab sellele, et nad pidasid seda väärtuslikuks. Kuigi see võib edendada patsientide harimist, rõhutavad teadlased, et liigne sõltuvus LLM-idest võib samuti kujutada endast riske nende tõestatud puuduste tõttu.

Tehisintellekti tööriistade esilekerkimine tervishoius võib tervishoiu järjepidevust positiivselt muuta ning hädavajalik on tasakaalustada nende potentsiaal innovatsiooniks pühendumisega ohutusele ja kvaliteedile. Mass General Brigham on tehisintellekti vastutustundliku kasutamise liider ning viib läbi põhjalikke uuringuid uute ja esilekerkivate tehnoloogiate kohta, et toetada tehisintellekti kaasamist tervishoiuteenuste osutamisse, tööjõu toetamisse ja haldusprotsessidesse. Massikindral Brigham juhib praegu pilootprojekti, mille eesmärk on integreerida generatiivne tehisintellekt elektroonilisesse terviseloosse, et koostada vastuseid patsiendiportaali sõnumitele, ning katsetab tehnoloogiat mitmetes ambulatoorsetes praktikates kogu tervishoiusüsteemis.

Edaspidi uurivad uuringu autorid, kuidas patsiendid tajuvad LLM-põhist suhtlust ja kuidas patsientide rassilised ja demograafilised omadused mõjutavad LLM-i loodud vastuseid, mis põhinevad LLM-ide teadaolevatel algoritmilistel eelarvamustel.

"Inimeste teavitamine on AI meditsiinis kasutamisel oluline turvaetapp, kuid see ei ole kõigile sobiv lahendus," ütles Bitterman. "Kuna teenuseosutajad toetuvad üha enam LLM-idele, võime ilma jääda vigadest, mis võivad põhjustada patsiendile kahju. See uuring näitab vajadust süsteemide järele, mis jälgiksid LLM-ide kvaliteeti, koolitaksid arstid LLM-i tulemusi asjakohaselt jälgima ning rohkem AI-oskusi patsientidele ja arstidele." ja põhimõttelisel tasandil parem arusaam sellest, kuidas LLM-ide tehtud vigadega toime tulla.

Allikad: