Liela valodas modeļa izmantošanas iespējas un ierobežojumi, lai atbildētu uz pacientu ziņojumiem

Liela valodas modeļa izmantošanas iespējas un ierobežojumi, lai atbildētu uz pacientu ziņojumiem

Jauns Mass General Brigham pētnieku pētījums liecina, ka lielie valodu modeļi (LLM), kas ir ģeneratīvā AI veids, var palīdzēt samazināt ārstu darba slodzi un uzlabot pacientu izglītošanu, ja tos izmanto, veidojot atbildes uz pacientu ziņojumiem. Pētījumā tika atklāti arī LLM ierobežojumi, kas var ietekmēt pacientu drošību, liekot domāt, ka LLM radīto sakaru rūpīga uzraudzība ir būtiska drošai lietošanai. Rezultāti publicētiLancet Digital Healthuzsvērt vajadzību pēc izmērītas pieejas LLM ieviešanai.

Pieaugošās administratīvās un dokumentācijas prasības ir izraisījušas ārstu izdegšanas pieaugumu. Lai racionalizētu un automatizētu ārstu darbplūsmas, elektronisko veselības karšu (EHR) pārdevēji ir pieņēmuši ģeneratīvus AI algoritmus, lai palīdzētu ārstiem sastādīt ziņojumus pacientiem. Tomēr to lietošanas efektivitāte, drošība un klīniskā ietekme nebija zināma.

Ģeneratīvajam AI ir potenciāls piedāvāt labāko no abām pasaulēm, samazinot klīnicista slogu, vienlaikus labāk izglītojot pacientu. Tomēr, pamatojoties uz mūsu komandas pieredzi darbā ar LLM, mums ir bažas par iespējamiem riskiem, kas saistīti ar LLM integrēšanu ziņojumapmaiņas sistēmās. Tā kā LLM integrācija EHR kļūst arvien izplatītāka, mūsu mērķis šajā pētījumā bija identificēt attiecīgos ieguvumus un trūkumus.

Daniela Bitermana, MD,Atbilstošais autors,Fakultātes loceklis Mākslīgā intelekta medicīnā (AIM) programmā Mass General Brigham un ārsts Brigamas un sieviešu slimnīcas Radiācijas onkoloģijas nodaļā

Pētījumā pētnieki izmantoja OpenAI GPT-4, pamata LLM, lai izveidotu 100 scenārijus par vēža slimniekiem un ar to saistīto pacienta jautājumu. Pētījumā netika izmantoti faktisko pacientu jautājumi. Seši radiācijas onkologi atbildēja uz jautājumiem manuāli; Pēc tam GPT-4 ģenerēja atbildes uz jautājumiem. Visbeidzot, LLM radītās atbildes tika sniegtas tiem pašiem radiācijas onkologiem pārskatīšanai un rediģēšanai. Radiācijas onkologi nezināja, vai atbildes ir uzrakstījis GPT-4 vai cilvēks, un 31% gadījumu pieņēma, ka LLM ģenerētu atbildi ir uzrakstījis cilvēks.

Vidēji ārstu autorizētās atbildes bija īsākas nekā LLM autorizētās atbildes. GPT-4 bija tendence iekļaut vairāk pacientu izglītošanas, taču tā norādījumi nebija tik direktīvu. Ārsti ziņoja, ka LLM atbalsts uzlaboja viņu uztverto efektivitāti un uzskatīja, ka LLM radītās atbildes ir drošas 82,1 procentos gadījumu un pieņemamas nosūtīt pacientam bez turpmākas apstrādes 58,3 procentos gadījumu. Pētnieki arī atzīmēja dažus trūkumus: ja tas netiek novērsts, 7, 1 procenti LLM radīto reakciju varētu radīt risku pacientam un 0, 6 procenti atbilžu varētu radīt nāves risku, galvenokārt tāpēc, ka GPT-4 atbilde nespēja steidzami informēt pacientu, lai nekavējoties meklētu medicīnisko palīdzību.

Jāatzīmē, ka LLM ģenerētās/ārsta rediģētās atbildes pēc garuma un satura bija līdzīgākas LLM ģenerētajām atbildēm nekā manuālajām atbildēm. Daudzos gadījumos ārsti saglabāja LLM izveidoto izglītības saturu, kas liecina, ka viņi to uzskatīja par vērtīgu. Lai gan tas varētu veicināt pacientu izglītošanu, pētnieki uzsver, ka pārmērīga paļaušanās uz LLM var radīt arī riskus to pierādīto trūkumu dēļ.

AI rīku parādīšanās veselības aprūpē var pozitīvi pārveidot aprūpes nepārtrauktību, un ir obligāti jāsabalansē to inovācijas potenciāls ar apņemšanos nodrošināt drošību un kvalitāti. Mass General Brigham ir līderis atbildīgā AI izmantošanā un veic padziļinātu izpēti par jaunām un topošām tehnoloģijām, lai atbalstītu AI iekļaušanu veselības aprūpes sniegšanā, darbaspēka atbalstā un administratīvajos procesos. Masu ģenerālis Brigams pašlaik vada izmēģinājuma projektu, lai integrētu ģeneratīvo AI elektroniskajā veselības kartē, lai autoru atbildes uz pacientu portāla ziņojumiem, un testē tehnoloģiju vairākās ambulatorās praksēs visā veselības sistēmā.

Turpmāk pētījuma autori pārbaudīs, kā pacienti uztver LLM balstītu komunikāciju un kā pacientu rasu un demogrāfiskās īpašības ietekmē LLM radītās atbildes, pamatojoties uz zināmām algoritmiskām novirzēm LLM.

"Cilvēka informēšana ir būtisks drošības solis, kad runa ir par mākslīgā intelekta izmantošanu medicīnā, taču tas nav universāls risinājums," sacīja Bitermans. "Tā kā pakalpojumu sniedzēji arvien vairāk paļaujas uz LLM, mēs varam palaist garām kļūdas, kas varētu nodarīt kaitējumu pacientam. Šis pētījums parāda, ka ir vajadzīgas sistēmas, lai uzraudzītu LLM kvalitāti, apmācību ārstiem, lai pienācīgi uzraudzītu LLM rezultātus, un vairāk AI prasmju pacientiem un ārstiem." un fundamentālā līmenī labāka izpratne par to, kā rīkoties ar LLM pieļautajām kļūdām.

Avoti: