Posibilitățile și limitările utilizării unui model lingvistic mare pentru a răspunde la mesajele pacientului

Posibilitățile și limitările utilizării unui model lingvistic mare pentru a răspunde la mesajele pacientului

Un nou studiu al cercetătorilor de la Mass General Brigham arată că modelele de limbaj mari (LLM), un tip de IA generativă, pot ajuta la reducerea volumului de muncă al medicului și la îmbunătățirea educației pacientului atunci când sunt utilizate pentru a redacta răspunsuri la mesajele pacientului. Studiul a constatat, de asemenea, limitări ale LLM-urilor care pot afecta siguranța pacienților, sugerând că monitorizarea atentă a comunicațiilor generate de LLM-uri este esențială pentru utilizarea în siguranță. Rezultate publicate înLancet Digital Healthsubliniază necesitatea unei abordări măsurate a implementării LLM.

Creșterea cerințelor administrative și de documentare a dus la o creștere a epuizării medicilor. Pentru a eficientiza și automatiza fluxurile de lucru ale medicilor, furnizorii de fișe medicale electronice (EHR) au adoptat algoritmi generativi de inteligență artificială pentru a ajuta medicii să compună mesaje pentru pacienți. Cu toate acestea, eficacitatea, siguranța și impactul clinic al utilizării lor au fost necunoscute.

Inteligența artificială generativă are potențialul de a oferi tot ce este mai bun din ambele lumi, reducând povara clinicianului, în timp ce educă mai bine pacientul. Cu toate acestea, pe baza experienței echipei noastre de lucru cu LLM-uri, avem îngrijorări cu privire la riscurile potențiale asociate cu integrarea LLM-urilor în sistemele de mesagerie. Pe măsură ce integrarea LLM în EHR devine mai comună, scopul nostru în acest studiu a fost să identificăm beneficiile și deficiențele relevante.”

Danielle Bitterman, MD,Autorul corespondent,Membru al facultății în programul de Inteligență Artificială în Medicină (AIM) la Mass General Brigham și medic în Departamentul de Oncologie Radiațională de la Brigham and Women’s Hospital

Pentru studiu, cercetătorii au folosit GPT-4 de la OpenAI, un LLM de bază, pentru a genera 100 de scenarii despre pacienții cu cancer și o întrebare aferentă pacientului. Studiul nu a folosit întrebări de la pacienți reali. Șase oncologi în radiații au răspuns manual la întrebări; GPT-4 a generat apoi răspunsuri la întrebări. În cele din urmă, răspunsurile generate de LLM au fost furnizate acelorași oncologi în radiații pentru revizuire și editare. Oncologii în radiații nu știau dacă GPT-4 sau un om au scris răspunsurile și în 31% din cazuri au presupus că un răspuns generat de LLM a fost scris de un om.

În medie, răspunsurile scrise de medic au fost mai scurte decât răspunsurile scrise de LLM. GPT-4 a avut tendința de a include mai multă educație pentru pacienți, dar a fost mai puțin directiv în instrucțiunile sale. Medicii au raportat că sprijinul LLM a îmbunătățit eficiența lor percepută și au considerat răspunsurile generate de LLM sigure în 82,1 la sută din timp și acceptabile pentru a fi trimise unui pacient fără procesare ulterioară în 58,3 la sută din timp. Cercetătorii au remarcat, de asemenea, unele deficiențe: dacă nu sunt soluționate, 7,1% dintre răspunsurile generate de LLM ar putea prezenta un risc pentru pacient și 0,6% dintre răspunsuri ar putea prezenta un risc de deces, mai ales pentru că răspunsul GPT-4 nu a reușit să informeze urgent pacientul să solicite asistență medicală imediată.

De notat, răspunsurile generate de LLM/editate de medic au fost mai asemănătoare ca lungime și conținut cu răspunsurile generate de LLM decât cu răspunsurile manuale. În multe cazuri, medicii au păstrat conținutul educațional creat de LLM, sugerând că l-au găsit valoros. Deși acest lucru ar putea promova educația pacienților, cercetătorii subliniază că dependența excesivă de LLM poate prezenta riscuri din cauza deficiențelor lor dovedite.

Apariția instrumentelor de inteligență artificială în asistența medicală are potențialul de a transforma pozitiv continuumul îngrijirii și este imperativ să echilibrăm potențialul lor de inovare cu un angajament față de siguranță și calitate. Generalul de masă Brigham este un lider în utilizarea responsabilă a inteligenței artificiale și efectuează cercetări aprofundate asupra tehnologiilor noi și emergente pentru a sprijini încorporarea inteligenței artificiale în furnizarea de asistență medicală, în sprijinul forței de muncă și în procesele administrative. Generalul de masă Brigham conduce în prezent un proiect pilot de integrare a IA generativă în dosarul electronic de sănătate pentru a crea răspunsuri la mesajele portalului pacienților și testează tehnologia într-o serie de practici de ambulatoriu din sistemul de sănătate.

În continuare, autorii studiului vor examina modul în care pacienții percep comunicarea bazată pe LLM și modul în care caracteristicile rasiale și demografice ale pacienților influențează răspunsurile generate de LLM bazate pe părtiniri algoritmice cunoscute în LLM.

„Menținerea unui om informat este un pas esențial de siguranță atunci când vine vorba de utilizarea AI în medicină, dar nu este o soluție unică”, a spus Bitterman. „Pe măsură ce furnizorii se bazează din ce în ce mai mult pe LLM-uri, este posibil să omitem erori care ar putea duce la vătămarea pacientului. Acest studiu arată necesitatea sistemelor de monitorizare a calității LLM-urilor, pregătirea clinicienilor pentru a monitoriza în mod corespunzător rezultatele LLM și mai multe abilități de inteligență artificială pentru pacienți și clinicieni”. și, la un nivel fundamental, o mai bună înțelegere a modului de a face față greșelilor pe care le fac LLM.”

Surse: