Možnosti in omejitve uporabe velikega jezikovnega modela za odzivanje na sporočila bolnikov

Možnosti in omejitve uporabe velikega jezikovnega modela za odzivanje na sporočila bolnikov

Nova študija raziskovalcev na Mass General Brigham kaže, da lahko veliki jezikovni modeli (LLM), vrsta generativne umetne inteligence, pomagajo zmanjšati delovno obremenitev zdravnikov in izboljšajo izobraževanje pacientov, če se uporabljajo za sestavljanje odgovorov na sporočila pacientov. Študija je odkrila tudi omejitve LLM-jev, ki lahko vplivajo na varnost pacientov, kar kaže na to, da je skrbno spremljanje komunikacij, ki jih ustvarijo LLM-ji, bistveno za varno uporabo. Rezultati objavljeni vLancet Digital Healthpoudarjajo potrebo po odmerjenem pristopu k izvajanju LLM.

Vse večje administrativne in dokumentacijske zahteve so privedle do povečanja izgorelosti zdravnikov. Za poenostavitev in avtomatizacijo zdravniških delovnih tokov so prodajalci elektronskih zdravstvenih kartotek (EHR) sprejeli generativne algoritme umetne inteligence, ki zdravnikom pomagajo pri sestavljanju sporočil bolnikom. Vendar pa učinkovitost, varnost in klinični učinek njihove uporabe niso bili znani.

Generativna umetna inteligenca ima potencial, da ponudi najboljše iz obeh svetov, zmanjša obremenitev klinika in hkrati bolje izobražuje pacienta. Vendar pa imamo na podlagi izkušenj naše ekipe pri delu z LLM-ji pomisleke glede možnih tveganj, povezanih z integracijo LLM-jev v sisteme za sporočanje. Ker postaja integracija LLM v EHR vse pogostejša, je bil naš cilj v tej študiji ugotoviti ustrezne prednosti in pomanjkljivosti.«

Danielle Bitterman, dr.Dopisni avtor,Članica fakultete v programu umetne inteligence v medicini (AIM) na univerzi Mass General Brigham in zdravnica na oddelku za radiacijsko onkologijo v bolnišnici Brigham and Women’s Hospital

Za študijo so raziskovalci uporabili OpenAI GPT-4, osnovni LLM, da ustvarijo 100 scenarijev o bolnikih z rakom in spremljajoče vprašanje za bolnika. Študija ni uporabila vprašanj dejanskih bolnikov. Šest radioonkologov je na vprašanja odgovarjalo ročno; GPT-4 je nato ustvaril odgovore na vprašanja. Nazadnje so bili odgovori, ustvarjeni z LLM, posredovani istim onkologom za obsevanje v pregled in urejanje. Radiološki onkologi niso vedeli, ali je odgovore napisal GPT-4 ali človek, in v 31 % primerov so domnevali, da je odgovor, ustvarjen z LLM, napisal človek.

V povprečju so bili odgovori zdravnikov krajši od odgovorov LLM. GPT-4 je običajno vključeval več izobraževanja za bolnike, vendar je bil v svojih navodilih manj direktiven. Zdravniki so poročali, da je podpora LLM izboljšala njihovo zaznano učinkovitost in menila, da so odzivi, ustvarjeni z LLM, varni v 82,1 odstotka časa in sprejemljivi za pošiljanje pacientu brez nadaljnje obdelave v 58,3 odstotka časa. Raziskovalci so opazili tudi nekatere pomanjkljivosti: če jih ne bi obravnavali, bi lahko 7,1 odstotka odzivov, ustvarjenih z LLM, predstavljalo tveganje za pacienta, 0,6 odstotka odzivov pa bi lahko pomenilo tveganje smrti, večinoma zato, ker odziv GPT-4 ni nujno obvestil pacienta, naj poišče takojšnjo zdravniško pomoč.

Opozoriti je treba, da so bili odgovori, ustvarjeni z LLM/urejeni s strani zdravnika, po dolžini in vsebini bolj podobni odzivom, ustvarjenim z LLM, kot ročnim odgovorom. V mnogih primerih so zdravniki obdržali izobraževalno vsebino, ki jo je ustvaril LLM, kar nakazuje, da se jim zdi dragocena. Medtem ko bi to lahko spodbudilo izobraževanje pacientov, raziskovalci poudarjajo, da lahko pretirano zanašanje na LLM predstavlja tudi tveganje zaradi njihovih dokazanih pomanjkljivosti.

Pojav orodij umetne inteligence v zdravstvu lahko pozitivno preoblikuje kontinuum oskrbe, zato je nujno uravnotežiti njihov potencial za inovacije z zavezanostjo varnosti in kakovosti. Mass General Brigham je vodilni na področju odgovorne uporabe umetne inteligence in izvaja poglobljene raziskave o novih in nastajajočih tehnologijah za podporo vključevanju umetne inteligence v zagotavljanje zdravstvenega varstva, podporo delovni sili in upravne procese. Mass General Brigham trenutno vodi pilotni projekt za integracijo generativne umetne inteligence v elektronski zdravstveni zapis za avtorje odgovorov na sporočila portala pacientov in preizkuša tehnologijo v številnih ambulantah v zdravstvenem sistemu.

V prihodnje bodo avtorji študije preučili, kako bolniki dojemajo komunikacijo, ki temelji na LLM, in kako rasne in demografske značilnosti pacientov vplivajo na odzive, ki jih ustvari LLM, na podlagi znanih algoritemskih pristranskosti v LLM.

"Obveščanje ljudi je bistven varnostni korak, ko gre za uporabo umetne inteligence v medicini, vendar to ni rešitev, ki ustreza vsem," je dejal Bitterman. "Ker se ponudniki vse bolj zanašajo na študije LLM, lahko spregledamo napake, ki bi lahko povzročile škodo pacientom. Ta študija kaže potrebo po sistemih za spremljanje kakovosti študija LLM, usposabljanju klinikov za ustrezno spremljanje rezultatov LLM in več spretnostih umetne inteligence za bolnike in zdravnike." in na temeljni ravni boljše razumevanje, kako se soočiti z napakami, ki jih delajo LLM.«

Viri: