Didelės kalbos modelio naudojimo atsakant į paciento pranešimus galimybės ir apribojimai

Didelės kalbos modelio naudojimo atsakant į paciento pranešimus galimybės ir apribojimai

Naujas Mass General Brigham tyrėjų atliktas tyrimas rodo, kad dideli kalbos modeliai (LLM), generatyvaus AI tipas, gali padėti sumažinti gydytojų darbo krūvį ir pagerinti pacientų švietimą, kai jie naudojami kuriant atsakymus į pacientų pranešimus. Tyrimas taip pat nustatė, kad LLM apribojimai gali turėti įtakos pacientų saugumui, o tai rodo, kad norint saugiai naudoti LLM sukurtus ryšius, būtina atidžiai stebėti. Rezultatai paskelbti mLancet Digital Healthpabrėžti, kad reikia išmatuoto požiūrio į LLM įgyvendinimą.

Didėjantys administraciniai ir dokumentacijos reikalavimai padidino gydytojų perdegimą. Siekdami supaprastinti ir automatizuoti gydytojų darbo eigą, elektroninių sveikatos įrašų (EHR) pardavėjai pritaikė generuojamuosius AI algoritmus, padedančius gydytojams rašyti pranešimus pacientams. Tačiau jų vartojimo veiksmingumas, saugumas ir klinikinis poveikis nebuvo žinomi.

Generatyvusis dirbtinis intelektas gali pasiūlyti geriausius iš abiejų pasaulių, sumažindamas gydytojo naštą ir geriau mokydamas pacientą. Tačiau, remiantis mūsų komandos patirtimi dirbant su LLM, nerimaujame dėl galimos rizikos, susijusios su LLM integravimu į pranešimų siuntimo sistemas. Kadangi LLM integracija į EHR tampa vis dažnesnė, mūsų šio tyrimo tikslas buvo nustatyti atitinkamus privalumus ir trūkumus.

Danielle Bitterman, medicinos mokslų daktarėAutorius korespondentas,Dirbtinio intelekto medicinoje (AIM) programos Mass General Brigham fakulteto narys ir Brigamo ir moterų ligoninės Radiacinės onkologijos skyriaus gydytojas

Tyrimui mokslininkai naudojo OpenAI GPT-4, pagrindinį LLM, kad sukurtų 100 scenarijų apie vėžiu sergančius pacientus ir kartu pateiktą paciento klausimą. Tyrime nebuvo naudojami faktinių pacientų klausimai. Šeši radiacijos onkologai į klausimus atsakė rankiniu būdu; Tada GPT-4 sugeneravo atsakymus į klausimus. Galiausiai, LLM sukurti atsakymai buvo pateikti tiems patiems radiacijos onkologams peržiūrėti ir redaguoti. Radiaciniai onkologai nežinojo, ar atsakymus parašė GPT-4, ar žmogus, ir 31% atvejų manė, kad LLM sugeneruotą atsakymą parašė žmogus.

Vidutiniškai gydytojų atsakymai buvo trumpesni nei LLM atsakymai. GPT-4 buvo linkęs įtraukti daugiau pacientų švietimo, bet jo instrukcijose buvo mažiau nurodymų. Gydytojai pranešė, kad LLM pagalba pagerino jų suvokiamą efektyvumą ir laikė, kad LLM sugeneruoti atsakymai yra saugūs 82,1 procento laiko ir priimtina siųsti pacientui be tolesnio apdorojimo 58,3 procento laiko. Tyrėjai taip pat atkreipė dėmesį į kai kuriuos trūkumus: Neatsižvelgus į tai, 7,1 procento LLM sugeneruotų atsakymų gali kelti pavojų pacientui, o 0,6 procento atsakymų gali kelti mirties pavojų, daugiausia dėl to, kad GPT-4 atsakas nesugebėjo skubiai informuoti paciento apie tai, kad reikia nedelsiant kreiptis į gydytoją.

Pažymėtina, kad LLM sukurti / gydytojo redaguoti atsakymai buvo panašesni ilgio ir turinio atžvilgiu į LLM sugeneruotus atsakymus nei į rankinius atsakymus. Daugeliu atvejų gydytojai pasiliko LLM sukurtą mokomąjį turinį, o tai rodo, kad jie manė, kad jis vertingas. Nors tai galėtų skatinti pacientų švietimą, mokslininkai pabrėžia, kad per didelis pasitikėjimas LLM taip pat gali kelti pavojų dėl įrodytų jų trūkumų.

DI priemonių atsiradimas sveikatos priežiūros srityje gali teigiamai pakeisti priežiūros tęstinumą, todėl būtina suderinti jų inovacijų potencialą su įsipareigojimu užtikrinti saugą ir kokybę. Mass Generolas Brighamas yra atsakingo dirbtinio intelekto naudojimo lyderis ir atlieka nuodugnius naujų ir atsirandančių technologijų tyrimus, siekdamas paremti AI įtraukimą į sveikatos priežiūros paslaugų teikimą, paramą darbuotojams ir administracinius procesus. Mišių generolas Brighamas šiuo metu vadovauja bandomajam projektui, kurio tikslas – integruoti generatyvųjį AI į elektroninius sveikatos įrašus, kad būtų galima sukurti atsakymus į pacientų portalo pranešimus, ir išbando technologiją daugelyje ambulatorinių praktikų visoje sveikatos sistemoje.

Toliau tyrimo autoriai išnagrinės, kaip pacientai suvokia LLM pagrįstą bendravimą ir kaip pacientų rasinės ir demografinės charakteristikos įtakoja LLM generuojamus atsakymus, pagrįstus žinomais LLM algoritminiais paklaidais.

„Žmonių informavimas yra esminis saugos žingsnis, kai kalbama apie dirbtinio intelekto naudojimą medicinoje, tačiau tai nėra universalus sprendimas“, – sakė Bitermanas. "Kadangi paslaugų teikėjai vis labiau pasitiki LLM, galime praleisti klaidas, dėl kurių gali būti padaryta žala pacientams. Šis tyrimas rodo, kad reikia sistemų, skirtų LLM kokybei stebėti, gydytojų mokymas tinkamai stebėti LLM rezultatus ir daugiau AI įgūdžių pacientams ir gydytojams." ir iš esmės geriau suprasti, kaip elgtis su LLM daromomis klaidomis.

Šaltiniai: