I punteggi degli strumenti di intelligenza artificiale clinica valutano l'esame di licenza medica più alto di sempre negli Stati Uniti

I punteggi degli strumenti di intelligenza artificiale clinica valutano l'esame di licenza medica più alto di sempre negli Stati Uniti

Un potente strumento di intelligenza artificiale clinica sviluppato dai ricercatori di informatica biomedica dell'Università di BuffaloRete Jama aperta.

Ottenendo punteggi più alti all’USMLE rispetto alla maggior parte dei medici e a tutti gli altri strumenti di intelligenza artificiale finora, l’intelligenza artificiale clinica semantica (SCAI, pronunciata “Sky”) ha il potenziale per diventare un partner fondamentale per i medici, afferma l’autore principale Peter L. Elkin, MD, presidente del Dipartimento di informatica biomedica presso la Jacobs School of Medicine and Biomedical Sciences presso UB e medico presso UBMD Internal Medicine.

Secondo Elkin, SCAI è lo strumento di intelligenza artificiale clinica più accurato fino ad oggi, ottenendo il punteggio della versione più avanzata allo Step 3 dell'USMLE, mentre uno strumento GPT4 Omni ha ottenuto il 90,5% nello stesso test.

Come medici, siamo abituati a utilizzare i computer come strumenti, ma lo SCAI è diverso. Può aumentare il tuo processo decisionale e il tuo pensiero in base al proprio ragionamento. “

Peter L. Elkin, MD, presidente del Dipartimento di Informatica Biomedica, Jacobs School of Medicine e Scienze Biomediche presso UB

Lo strumento può rispondere a domande mediche poste dai medici o dal pubblico

I ricercatori hanno testato il modello rispetto all'USMLE, richiesto per l'abilitazione dei medici a livello nazionale, che valuta la capacità del medico di applicare conoscenze, concetti e principi e di dimostrare competenze di base incentrate sul paziente. Le domande con una componente visiva sono state eliminate.

Elkin spiega che la maggior parte degli strumenti di intelligenza artificiale funzionano con le statistiche per trovare associazioni nei dati online che possono essere utilizzati per rispondere a una domanda. “Chiamiamo questi strumenti intelligenza artificiale generativa”, afferma. "Alcuni hanno ipotizzato che stiano semplicemente plagiando ciò che c'è su Internet perché le risposte che ti danno sono ciò che hanno scritto altri." Tuttavia, questi modelli di intelligenza artificiale stanno ora diventando partner nella cura piuttosto che semplici strumenti che i medici possono utilizzare nella loro pratica, afferma.

“Ma Scai risponde a domande più complesse ed esegue ragionamenti semantici più complessi”, afferma. “Abbiamo creato fonti di conoscenza che possono essere più simili al modo in cui le persone apprendono durante la loro formazione alla facoltà di medicina”.

Il team ha iniziato con un software di elaborazione del linguaggio naturale sviluppato in precedenza. Hanno aggiunto grandi quantità di informazioni cliniche autorevoli tratte da fonti ampiamente disparate, che vanno dalla recente letteratura medica e linee guida cliniche a dati genomici, informazioni sui farmaci, raccomandazioni per le dimissioni, dati sulla sicurezza dei pazienti e altro ancora. Tutti i dati che potrebbero essere distorti, come ad esempio: B. note cliniche non sono state incluse.

13 milioni di fatti medici

SCAI contiene 13 milioni di fatti medici e tutte le possibili interazioni tra tali fatti. Il team ha utilizzato fatti clinici di base noti come reti semantiche triple semantiche (relazione soggetto-oggetto come “la penicillina cura la polmonite pneumococcica”). Lo strumento può quindi rappresentare queste reti semantiche in modo tale da poterne trarre conclusioni logiche.

"Abbiamo insegnato ai modelli linguistici di grandi dimensioni come utilizzare il ragionamento semantico", afferma Elkin.

Altre tecniche che hanno contribuito allo SCAI includono i grafici della conoscenza, progettati per nuovi collegamenti nei dati medici e modelli precedentemente “nascosti”, oltre alla generazione di recupero, che consente al modello linguistico di grandi dimensioni di accedere e incorporare informazioni da basi di conoscenza esterne in un batter d’occhio. Ciò riduce la “confabulazione”, la tendenza degli strumenti di intelligenza artificiale a rispondere sempre a un suggerimento anche se non fornisce informazioni sufficienti per procedere.

Elkin aggiunge che l'utilizzo della semantica formale per informare il grande modello linguistico fornisce un contesto importante necessario affinché SCAI possa comprendere e rispondere in modo più accurato a una domanda specifica.

"Può avere una conversazione con te."

"SCAI è diverso da altri modelli linguistici di grandi dimensioni perché può conversare con te e, come partnership uomo-computer, può aumentare il tuo processo decisionale e il tuo pensiero in base al proprio ragionamento", afferma Elkin.

Conclude: “Aggiungendo la semantica a grandi modelli linguistici, forniamo loro la capacità di ragionare in un modo simile alla pratica della medicina basata sull’evidenza”.

Poiché può accedere a quantità così enormi di dati, SCAI può anche migliorare la sicurezza dei pazienti, migliorare l’accesso alle cure e “democratizzare le cure specialistiche”, afferma Elkin, rendendo le informazioni mediche specialistiche e sottospecialistiche accessibili alle cure primarie e persino ai pazienti.

Sebbene il potere di Scai sia impressionante, Elkin sottolinea che la sua missione è aumentare, non sostituire, i medici.

“L’intelligenza artificiale non sostituirà i medici”, dice, “un medico che usa l’intelligenza artificiale può sostituire un medico che non la usa”.

Oltre a Elkin, i coautori dell'UB del Dipartimento di Informatica Biomedica includono Guresh Mehta; Frank Lehouillier; Melissa Resnick, PhD; Cristallo Tomlin, PhD; Skyler Resendez, PhD; e Jiaxing Liu.

Anche Sarah Mullin, PhD, del Roswell Park Comprehensive Cancer Center, e Jonathan R. Nebeker, MD, e Steven H. Brown, MD, entrambi del Department of Veterans Affairs, sono coautori.

Il lavoro è stato finanziato da sovvenzioni del National Institutes of Health e del Department of Veterans Affairs.

Fonti: