Possibilità e limiti dell'utilizzo di un ampio modello linguistico per rispondere ai messaggi dei pazienti

Possibilità e limiti dell'utilizzo di un ampio modello linguistico per rispondere ai messaggi dei pazienti

Un nuovo studio condotto dai ricercatori del Mass General Brigham mostra che i modelli linguistici di grandi dimensioni (LLM), un tipo di intelligenza artificiale generativa, possono aiutare a ridurre il carico di lavoro dei medici e migliorare l’educazione dei pazienti quando utilizzati per comporre risposte ai messaggi dei pazienti. Lo studio ha inoltre riscontrato limitazioni ai LLM che potrebbero avere un impatto sulla sicurezza dei pazienti, suggerendo che un attento monitoraggio delle comunicazioni generate dai LLM è essenziale per un utilizzo sicuro. Risultati pubblicati inLancet Salute Digitalesottolineare la necessità di un approccio misurato all'implementazione del LLM.

I crescenti requisiti amministrativi e di documentazione hanno portato ad un aumento del burnout dei medici. Per semplificare e automatizzare i flussi di lavoro dei medici, i fornitori di cartelle cliniche elettroniche (EHR) hanno adottato algoritmi di intelligenza artificiale generativa per aiutare i medici a comporre messaggi per i pazienti. Tuttavia, l’efficacia, la sicurezza e l’impatto clinico del loro utilizzo erano sconosciuti.

L’intelligenza artificiale generativa ha il potenziale per offrire il meglio di entrambi i mondi, riducendo l’onere per il medico e educando meglio il paziente. Tuttavia, in base all'esperienza del nostro team di lavoro con LLM, nutriamo dubbi sui potenziali rischi associati all'integrazione di LLM nei sistemi di messaggistica. Poiché l’integrazione del LLM nelle cartelle cliniche elettroniche diventa sempre più comune, il nostro obiettivo in questo studio era identificare vantaggi e carenze rilevanti”.

Danielle Bitterman, dottoressa,Autore corrispondente,Membro della facoltà del programma Artificial Intelligence in Medicine (AIM) presso il Mass General Brigham e medico presso il Dipartimento di Radioterapia Oncologica presso il Brigham and Women's Hospital

Per lo studio, i ricercatori hanno utilizzato GPT-4 di OpenAI, un LLM di base, per generare 100 scenari sui pazienti affetti da cancro e una domanda di accompagnamento per il paziente. Lo studio non ha utilizzato domande poste da pazienti reali. Sei radioterapisti hanno risposto manualmente alle domande; GPT-4 ha quindi generato le risposte alle domande. Infine, le risposte generate dal LLM sono state fornite agli stessi radioterapisti per la revisione e la modifica. Gli oncologi delle radiazioni non sapevano se GPT-4 o un essere umano avessero scritto le risposte e nel 31% dei casi presumevano che una risposta generata da LLM fosse stata scritta da un essere umano.

In media, le risposte scritte dai medici erano più brevi delle risposte scritte dal LLM. GPT-4 tendeva a includere una maggiore istruzione per i pazienti ma era meno direttivo nelle sue istruzioni. I medici hanno riferito che il supporto LLM ha migliorato la loro efficienza percepita e ha considerato le risposte generate da LLM sicure nell'82,1% delle volte e accettabili da inviare a un paziente senza ulteriore elaborazione nel 58,3% delle volte. I ricercatori hanno anche notato alcune carenze: se non affrontate, il 7,1% delle risposte generate dal LLM potrebbe rappresentare un rischio per il paziente e lo 0,6% delle risposte potrebbe rappresentare un rischio di morte, soprattutto perché la risposta GPT-4 non è riuscita a informare urgentemente il paziente di cercare cure mediche immediate.

Da notare che le risposte generate da LLM/modificate dal medico erano più simili per lunghezza e contenuto alle risposte generate da LLM rispetto alle risposte manuali. In molti casi, i medici hanno mantenuto il contenuto educativo creato dal LLM, suggerendo che lo trovavano prezioso. Sebbene ciò possa promuovere l’educazione dei pazienti, i ricercatori sottolineano che un eccessivo affidamento sugli LLM può anche comportare rischi a causa delle loro comprovate carenze.

L’emergere di strumenti di intelligenza artificiale nel settore sanitario ha il potenziale per trasformare positivamente il continuum delle cure ed è imperativo bilanciare il loro potenziale di innovazione con l’impegno per la sicurezza e la qualità. Il Generale Brigham è leader nell’uso responsabile dell’intelligenza artificiale e conduce ricerche approfondite su tecnologie nuove ed emergenti per supportare l’integrazione dell’intelligenza artificiale nella fornitura di assistenza sanitaria, nel supporto della forza lavoro e nei processi amministrativi. Il Generale Brigham sta attualmente conducendo un progetto pilota per integrare l’intelligenza artificiale generativa nella cartella clinica elettronica per creare risposte ai messaggi del portale dei pazienti e sta testando la tecnologia in una serie di ambulatori in tutto il sistema sanitario.

Andando avanti, gli autori dello studio esamineranno il modo in cui i pazienti percepiscono la comunicazione basata su LLM e il modo in cui le caratteristiche razziali e demografiche dei pazienti influenzano le risposte generate da LLM basate su pregiudizi algoritmici noti negli LLM.

“Mantenere informato un essere umano è un passo essenziale per la sicurezza quando si tratta di utilizzare l’intelligenza artificiale in medicina, ma non è una soluzione valida per tutti”, ha affermato Bitterman. "Poiché i fornitori si affidano sempre di più agli LLM, potremmo perdere errori che potrebbero causare danni ai pazienti. Questo studio mostra la necessità di sistemi per monitorare la qualità degli LLM, formazione per i medici per monitorare adeguatamente i risultati LLM e maggiori competenze di intelligenza artificiale per pazienti e medici." e, a livello fondamentale, una migliore comprensione di come affrontare gli errori commessi dai LLM.

Fonti: