Mogućnosti i ograničenja korištenja velikog jezičnog modela za odgovaranje na poruke pacijenata

Mogućnosti i ograničenja korištenja velikog jezičnog modela za odgovaranje na poruke pacijenata

Nova studija istraživača s Mass General Brighama pokazuje da veliki jezični modeli (LLM), vrsta generativne umjetne inteligencije, mogu pomoći u smanjenju opterećenja liječnika i poboljšati edukaciju pacijenata kada se koriste za sastavljanje odgovora na poruke pacijenata. Studija je također otkrila ograničenja LLM-a koja mogu utjecati na sigurnost pacijenata, sugerirajući da je pažljivo praćenje komunikacije koju generiraju LLM-ovi ključno za sigurnu upotrebu. Rezultati objavljeni uLancet Digital Healthnaglašavaju potrebu za odmjerenim pristupom implementaciji LLM-a.

Sve veći administrativni i dokumentacijski zahtjevi doveli su do porasta izgaranja liječnika. Kako bi pojednostavili i automatizirali tijekove rada liječnika, dobavljači elektroničkih zdravstvenih zapisa (EHR) usvojili su generativne algoritme umjetne inteligencije koji pomažu liječnicima da sastavljaju poruke pacijentima. Međutim, učinkovitost, sigurnost i klinički učinak njihove uporabe nisu bili poznati.

Generativna umjetna inteligencija ima potencijal ponuditi najbolje od oba svijeta, smanjujući teret kliničara uz bolju edukaciju pacijenata. Međutim, na temelju iskustva našeg tima u radu s LLM-ovima, zabrinuti smo zbog potencijalnih rizika povezanih s integracijom LLM-a u sustave za razmjenu poruka. Kako integracija LLM-a u EHR postaje sve češća, naš je cilj u ovoj studiji bio identificirati relevantne prednosti i nedostatke.”

Danielle Bitterman, dr.med.Autor za dopisivanje,Član fakulteta u programu umjetne inteligencije u medicini (AIM) na Mass General Brigham i liječnik na Odjelu radijacijske onkologije u Brigham and Women's Hospital

Za studiju su istraživači koristili OpenAI-jev GPT-4, osnovni LLM, kako bi generirali 100 scenarija o pacijentima oboljelima od raka i popratno pitanje pacijenta. Studija nije koristila pitanja stvarnih pacijenata. Šest radijacijskih onkologa ručno je odgovaralo na pitanja; GPT-4 je potom generirao odgovore na pitanja. Konačno, odgovori generirani LLM-om dostavljeni su istim onkolozima radijacije na pregled i uređivanje. Onkolozi radijacije nisu znali je li GPT-4 ili čovjek napisao odgovore i u 31% slučajeva pretpostavili su da je odgovor generiran LLM-om napisao čovjek.

U prosjeku, odgovori liječnika bili su kraći od odgovora doktora znanosti. GPT-4 je uključivao više edukacije za pacijente, ali je bio manje direktivan u svojim uputama. Liječnici su izvijestili da je podrška LLM-a poboljšala njihovu percipiranu učinkovitost i da su odgovore generirane LLM-om smatrali sigurnima u 82,1 posto vremena i prihvatljivim za slanje pacijentu bez daljnje obrade u 58,3 posto vremena. Istraživači su također zamijetili neke nedostatke: ako se ne riješe, 7,1 posto odgovora generiranih LLM-om moglo bi predstavljati rizik za pacijenta, a 0,6 posto odgovora moglo bi predstavljati rizik od smrti, uglavnom zato što odgovor GPT-4 nije uspio hitno obavijestiti pacijenta da potraži hitnu liječničku pomoć.

Valja napomenuti da su odgovori generirani od strane LLM-a/od strane liječnika bili sličniji po duljini i sadržaju odgovorima generiranim od strane LLM-a nego ručnim odgovorima. U mnogim slučajevima liječnici su zadržali obrazovni sadržaj koji je stvorio LLM, što sugerira da su ga smatrali vrijednim. Iako bi ovo moglo promicati edukaciju pacijenata, istraživači naglašavaju da pretjerano oslanjanje na LLM također može predstavljati rizike zbog njihovih dokazanih nedostataka.

Pojava alata umjetne inteligencije u zdravstvu ima potencijal za pozitivnu transformaciju kontinuuma skrbi i neophodno je uravnotežiti njihov potencijal za inovacije s predanošću sigurnosti i kvaliteti. Mass General Brigham predvodnik je u odgovornom korištenju umjetne inteligencije i provodi dubinska istraživanja novih i novih tehnologija kako bi podržao ugradnju umjetne inteligencije u pružanje zdravstvene skrbi, podršku radnoj snazi ​​i administrativne procese. Mass General Brigham trenutno vodi pilot-projekt integracije generativne umjetne inteligencije u elektronički zdravstveni karton za autorske odgovore na poruke portala pacijenata i testira tehnologiju u nizu ambulantnih praksi u zdravstvenom sustavu.

Ubuduće, autori studije ispitat će kako pacijenti percipiraju komunikaciju temeljenu na LLM-u i kako rasne i demografske karakteristike pacijenata utječu na odgovore koje generira LLM na temelju poznatih algoritamskih pristranosti u LLM-u.

"Informiranje ljudi ključni je sigurnosni korak kada se radi o korištenju umjetne inteligencije u medicini, ali to nije jedinstveno rješenje za sve", rekao je Bitterman. "Budući da se pružatelji usluga sve više i više oslanjaju na LLM, mogli bismo propustiti pogreške koje bi mogle uzrokovati štetu pacijentima. Ova studija pokazuje potrebu za sustavima za praćenje kvalitete LLM-a, obukom kliničara da na odgovarajući način prate ishode LLM-a i više vještina umjetne inteligencije za pacijente i kliničare." i, na temeljnoj razini, bolje razumijevanje kako se nositi s pogreškama koje čine LLM-ovi.”

Izvori: