Klinické skóre nástroje AI hodnotí historicky nejvyšší lékařskou licenční zkoušku ve Spojených státech

Klinické skóre nástroje AI hodnotí historicky nejvyšší lékařskou licenční zkoušku ve Spojených státech

Výkonný nástroj klinické umělé inteligence vyvinutý výzkumníky biomedicínské informatiky z University of BuffaloOtevřená síť Jama.

Sémantická klinická umělá inteligence (SCAI, vyslovováno jako „Nebe“), dosahující vyšších skóre na USMLE než většina lékařů a všech ostatních nástrojů AI dosud, má potenciál stát se kritickým partnerem pro lékaře, říká hlavní autor Peter L. Elkin, MD, předseda oddělení biomedicínské informatiky na Jacobs School ofternal Medicine and Biomedical Sciences na UB a lékař.

Podle Elkina je SCAI dosud nejpřesnějším klinickým nástrojem umělé inteligence, který získal nejpokročilejší verzi v kroku 3 USMLE, zatímco nástroj GPT4 Omni dosáhl ve stejném testu 90,5 %.

Jako lékaři jsme zvyklí používat počítače jako nástroje, ale SCAI je jiný. Může zvýšit vaše rozhodování a myšlení na základě vlastního uvažování. “

Peter L. Elkin, MD, předseda Ústavu biomedicínské informatiky, Jacobs School of Medicine and Biomedical Sciences na UB

Tento nástroj může odpovídat na lékařské otázky kladené lékaři nebo veřejností

Výzkumníci testovali model proti USMLE, který je vyžadován pro udělování licencí lékařům na celostátní úrovni, který hodnotí schopnost lékaře aplikovat znalosti, koncepty a principy a prokázat základní dovednosti zaměřené na pacienta. Otázky s vizuální složkou byly odstraněny.

Elkin vysvětluje, že většina nástrojů umělé inteligence pracuje se statistikami při hledání asociací v online datech, které mohou použít k zodpovězení otázky. „Těmto nástrojům říkáme generativní umělá inteligence,“ říká. "Někteří předpokládají, že pouze plagiují to, co je na internetu, protože odpovědi, které vám dávají, jsou to, co napsali ostatní." Tyto modely umělé inteligence se však nyní stávají spíše partnery v péči než jednoduchými nástroji, které mohou lékaři používat ve své praxi, říká.

"Ale Scai odpovídá na složitější otázky a provádí složitější sémantické uvažování," říká, "Vytvořili jsme zdroje znalostí, které mohou být více podobné tomu, jak se lidé učí během školení na lékařské fakultě."

Tým začal s dříve vyvinutým softwarem pro zpracování přirozeného jazyka. Přidali velké množství autoritativních klinických informací čerpaných ze značně odlišných zdrojů, od nedávné lékařské literatury a klinických doporučení po genomická data, informace o lécích, doporučení pro propuštění, údaje o bezpečnosti pacientů a další. Nebyla zahrnuta jakákoli data, která by mohla být zkreslená, jako například: B. klinické poznámky.

13 milionů lékařských faktů

SCAI obsahuje 13 milionů lékařských faktů a také všechny možné interakce mezi těmito fakty. Tým použil základní klinická fakta známá jako sémantické trojité (vztah subjekt-objekt, jako je „penicilin léčí pneumokokovou pneumonii“) sémantické sítě. Nástroj pak dokáže tyto sémantické sítě reprezentovat tak, aby z nich bylo možné vyvozovat logické závěry.

„Učili jsme modely ve velkých jazycích, jak používat sémantické uvažování,“ říká Elkin.

Mezi další techniky, které přispěly ke SCAI, patří znalostní grafy navržené pro nové odkazy v lékařských datech i dříve „skryté“ vzory, stejně jako dosažení generování vyhledávání, které umožňuje velkému jazykovému modelu rychle přistupovat a začleňovat informace z externích znalostních bází. To snižuje „konfabulaci“, tendenci nástrojů AI vždy reagovat na výzvu, i když neposkytne dostatek informací k pokračování.

Elkin dodává, že použití formální sémantiky k informování velkého jazykového modelu poskytuje důležitý kontext nezbytný pro to, aby SCAI přesněji pochopila a reagovala na konkrétní otázku.

"Může s tebou mluvit."

„SCAI se liší od jiných velkých jazykových modelů, protože s vámi může konverzovat a jako partnerství mezi člověkem a počítačem může zlepšit vaše rozhodování a myšlení na základě vlastního uvažování,“ říká Elkin.

Na závěr dodává: „Přidáním sémantiky k velkým jazykovým modelům jim poskytujeme schopnost uvažovat podobným způsobem, jako když praktikujeme medicínu založenou na důkazech.“

Protože má přístup k tak obrovskému množství dat, může SCAI také zlepšit bezpečnost pacientů, zlepšit přístup k péči a „demokratizovat speciální péči,“ říká Elkin a zpřístupňuje speciální a subspeciální lékařské informace primární péči a dokonce i pacientům.

Zatímco Scaiova síla je působivá, Elkin zdůrazňuje, že jejím posláním je rozšířit, nikoli nahradit, lékaře.

"Umělá inteligence nenahradí lékaře," říká, "lékař, který používá AI, může nahradit lékaře, který ne."

Mezi spoluautory UB z katedry biomedicínské informatiky patří kromě Elkina i Guresh Mehta; Frank Lehouillier; Melissa Resnick, PhD; Crystal Tomlin, PhD; Skyler Resendez, PhD; a Jiaxing Liu.

Sarah Mullin, PhD, z Roswell Park Comprehensive Cancer Center, a Jonathan R. Nebeker, MD, a Steven H. Brown, MD, oba z Department of Veterans Affairs, jsou také spoluautoři.

Práce byla financována z grantů od National Institutes of Health a Department of Veterans Affairs.

Zdroje: