A nagy nyelvi modell használatának lehetőségei és korlátai a betegek üzeneteire való reagáláshoz

A nagy nyelvi modell használatának lehetőségei és korlátai a betegek üzeneteire való reagáláshoz

A Mass General Brigham kutatóinak új tanulmánya azt mutatja, hogy a nagy nyelvi modellek (LLM-ek), a generatív mesterséges intelligencia egy fajtája, segíthetnek csökkenteni az orvosok munkáját és javítani a betegek oktatását, ha a betegek üzeneteire válaszolnak. A tanulmány az LLM-ek korlátozásait is megállapította, amelyek hatással lehetnek a betegek biztonságára, ami arra utal, hogy az LLM-ek által generált kommunikáció gondos figyelemmel kísérése elengedhetetlen a biztonságos használathoz. Eredmények közzététele:Lancet Digital Healthhangsúlyozzák az LLM megvalósításának mért megközelítésének szükségességét.

A növekvő adminisztrációs és dokumentációs követelmények az orvosi kiégés növekedéséhez vezettek. Az orvosi munkafolyamatok egyszerűsítése és automatizálása érdekében az elektronikus egészségügyi nyilvántartások (EHR) szállítói generatív mesterséges intelligencia-algoritmusokat alkalmaztak, amelyek segítenek az orvosoknak üzeneteket írni a betegeknek. Használatuk hatékonysága, biztonságossága és klinikai hatása azonban ismeretlen volt.

A generatív mesterséges intelligencia mindkét világból a legjobbat kínálja, csökkentve a klinikus terheit, miközben jobban oktatja a pácienst. Csapatunk LLM-ekkel folytatott munkatapasztalata alapján azonban aggodalmunk van az LLM-ek üzenetküldő rendszerekbe történő integrálásával járó lehetséges kockázatokkal kapcsolatban. Ahogy egyre gyakoribbá válik az LLM-integráció az EHR-ekbe, a célunk ebben a tanulmányban az volt, hogy azonosítsuk a releváns előnyöket és hiányosságokat.”

Danielle Bitterman, MD,Levelező szerző,A Mass General Brigham Mesterséges Intelligencia az Orvostudományban (AIM) program oktatója és a Brigham and Women's Hospital Sugár Onkológiai Osztályának orvosa

A tanulmányhoz a kutatók az OpenAI GPT-4-ét, egy alapszintű LLM-t használták, hogy 100 forgatókönyvet generáljanak a rákos betegekről és egy hozzá tartozó betegkérdést. A vizsgálat nem használt tényleges betegek kérdéseit. Hat sugáronkológus válaszolt a kérdésekre manuálisan; A GPT-4 ezután válaszokat generált a kérdésekre. Végül az LLM által generált válaszokat ugyanazoknak a sugár-onkológusoknak adtuk át áttekintésre és szerkesztésre. A sugáronkológusok nem tudták, hogy a GPT-4 vagy ember írta-e a válaszokat, és az esetek 31%-ában feltételezték, hogy az LLM által generált választ ember írta.

Átlagosan az orvos által írt válaszok rövidebbek voltak, mint az LLM által írt válaszok. A GPT-4 általában több oktatást tartalmazott a betegek számára, de kevésbé volt irányító az utasításokban. Az orvosok arról számoltak be, hogy az LLM-támogatás javította az észlelt hatékonyságukat, és az LLM által generált válaszokat az esetek 82,1 százalékában biztonságosnak tartották, és az esetek 58,3 százalékában elfogadhatónak ítélték, ha további feldolgozás nélkül elküldik a betegnek. A kutatók néhány hiányosságra is felfigyeltek: ha figyelmen kívül hagyják, az LLM által generált válaszok 7,1 százaléka jelenthet kockázatot a beteg számára, és a válaszok 0,6 százaléka jelenthet halálozási kockázatot, főként azért, mert a GPT-4 válasz nem tudta sürgősen tájékoztatni a pácienst, hogy azonnali orvosi segítséget kérjen.

Megjegyzendő, hogy az LLM által generált/orvos által szerkesztett válaszok hossza és tartalma jobban hasonlított az LLM által generált válaszokhoz, mint a kézi válaszokhoz. Sok esetben az orvosok megtartották az LLM által készített oktatási tartalmat, ami arra utal, hogy értékesnek találták azt. Bár ez elősegítheti a betegek oktatását, a kutatók hangsúlyozzák, hogy az LLM-ekre való túlzott támaszkodás bizonyított hiányosságaik miatt kockázatokat is jelenthet.

A mesterséges intelligencia eszközök megjelenése az egészségügyben potenciálisan pozitívan átalakíthatja az ellátás folytonosságát, és elengedhetetlen, hogy egyensúlyba hozzuk az innovációs potenciáljukat a biztonság és a minőség iránti elkötelezettséggel. Brigham tömegtábornok vezető szerepet tölt be a mesterséges intelligencia felelős használatában, és mélyreható kutatásokat végez az új és feltörekvő technológiákkal kapcsolatban, hogy támogassa a mesterséges intelligencia beépítését az egészségügyi ellátásba, a munkaerő támogatásába és az adminisztratív folyamatokba. Brigham tömegtábornok jelenleg egy kísérleti projektet vezet, amelynek célja a generatív mesterséges intelligencia integrálása az elektronikus egészségügyi nyilvántartásba a betegportál üzeneteire adott válaszok készítéséhez, és a technológiát számos járóbeteg gyakorlatban teszteli az egészségügyi rendszerben.

A továbbiakban a tanulmány szerzői megvizsgálják, hogy a betegek hogyan érzékelik az LLM-alapú kommunikációt, és hogy a betegek faji és demográfiai jellemzői hogyan befolyásolják az LLM által generált válaszokat az LLM-ekben ismert algoritmikus torzítások alapján.

"Az emberek tájékoztatása alapvető biztonsági lépés az MI gyógyászatban történő alkalmazásakor, de ez nem egy mindenki számára megfelelő megoldás" - mondta Bitterman. "Mivel a szolgáltatók egyre inkább az LLM-ekre hagyatkoznak, előfordulhat, hogy kihagyunk olyan hibákat, amelyek a betegek károsodásához vezethetnek. Ez a tanulmány azt mutatja, hogy szükség van az LLM-ek minőségét figyelő rendszerekre, a klinikusok képzésére az LLM-eredmények megfelelő nyomon követésére, valamint a betegek és a klinikusok több mesterségesintelligencia-készségére." és alapvetően annak jobb megértése, hogyan kezeljük az LLM-ek által elkövetett hibákat.”

Források: