Klinische KI -Toolwerte bewertet die höchste bisherige Mediziner -Lizenzprüfung der Vereinigten Staaten

Ein leistungsstarkes Tool für klinische künstliche Intelligenz, die von der Universität an der biomedizinischen Informatikforscher von Buffalo entwickelt wurden Jama Network Open.

Achieving higher scores on the USMLE than most physicians and all other AI tools so far, Semantic Clinical Artificial Intelligence (SCAI, pronounced „Sky“) has the potential to become a critical partner for physicians, says lead author Peter L. Elkin, MD, chair of the Department of Biomedical Informatics in the Jacobs School of Medicine and Biomedical Sciences at UB and a physician with UBMD Internal Medicine.

Laut Elkin ist SCAI das bisher genaueste klinische KI -Tool, das in Schritt 3 der USMLE die fortschrittlichste Version erzielt, während ein GPT4 -Omni -Tool auf demselben Test 90,5% erzielte.

Als Ärzte sind wir es gewohnt, Computer als Werkzeuge zu verwenden, aber Scai ist anders. Es kann Ihre Entscheidungsfindung und Ihr Denken basierend auf seiner eigenen Argumentation erhöhen. „

Peter L. Elkin, MD, Vorsitzender der Abteilung für biomedizinische Informatik, Jacobs School of Medicine und Biomedizinische Wissenschaften bei UB

Das Tool kann auf medizinische Fragen beantworten, die von Klinikern oder der Öffentlichkeit von gestellt werden

Die Forscher testeten das Modell gegen die USMLE, die für die Lizenzierung von Ärzten landesweit erforderlich ist, wodurch die Fähigkeit des Arztes bewertet wird, Wissen, Konzepte und Prinzipien anzuwenden und grundlegende patientenzentrierte Fähigkeiten zu demonstrieren. Fragen mit einer visuellen Komponente wurden beseitigt.

Elkin erklärt, dass die meisten KI -Tools mit Statistiken funktionieren, um Assoziationen in Online -Daten zu finden, mit denen sie eine Frage beantworten können. „Wir nennen diese Tools generative künstliche Intelligenz“, sagt er. „Einige haben postuliert, dass sie nur plagiieren, was im Internet ist, weil die Antworten, die sie Ihnen geben, das sind, was andere geschrieben haben.“ Diese KI -Modelle werden jedoch jetzt eher zu Partnern in der Pflege als in einfachen Instrumenten, die Kliniker in ihrer Praxis einsetzen können, sagt er.

„Aber Scai beantwortet komplexere Fragen und führt komplexere semantische Argumentation durch“, sagt er, „wir haben Wissensquellen erstellt, die mehr so ​​lassen können, wie die Menschen während ihrer Ausbildung in der medizinischen Fakultät lernen.“

Das Team begann mit einer zuvor entwickelten natürlichen Sprachverarbeitungssoftware. Sie fügten große Mengen an maßgeblichen klinischen Informationen hinzu, die aus weitgehend unterschiedlichen Quellen stammen, die von jüngsten medizinischen Literatur und klinischen Richtlinien bis hin zu genomischen Daten, Arzneimittelinformationen, Entlassungsempfehlungen, Patientensicherheitsdaten und mehr reichen. Alle Daten, die voreingenommen werden könnten, wie z. B. klinische Notizen, wurden nicht enthalten.

13 Millionen medizinische Fakten

SCAI enthält 13 Millionen medizinische Tatsachen sowie alle möglichen Wechselwirkungen zwischen diesen Tatsachen. Das Team verwendete grundlegende klinische Fakten, die als semantische Tripel (Subjektbeziehung-Objekt wie „Penicillin behandelt Pneumokokken-Pneumonie“) semantische Netzwerke bekannt. Das Tool kann dann diese semantischen Netzwerke so darstellen, dass es möglich ist, logische Schlussfolgerungen daraus zu ziehen.

„Wir haben großsprachige Modelle beigebracht, wie man semantisches Denken verwendet“, sagt Elkin.

Andere Techniken, die zu SCAI beitrugen, sind Wissensgrafiken, die für neue Links in medizinischen Daten sowie zuvor „versteckte“ Muster sowie die Erzielung von Abrufgeneration konzipiert sind, mit denen das große Sprachmodell Informationen aus externen Wissensdatenbanken auf eine Eingabeaufforderung zugreift und einbezieht. Dies reduziert die „Konfabulation“, die Tendenz, dass KI -Tools immer auf eine Eingabeaufforderung reagieren, auch wenn sie nicht genügend Informationen gibt, um weiterzumachen.

Elkin fügt hinzu, dass die Verwendung formaler Semantik zur Information des großen Sprachmodells einen wichtigen Kontext bietet, der für SCAI erforderlich ist, um eine bestimmte Frage genauer zu verstehen und zu reagieren.

„Es kann ein Gespräch mit Ihnen führen“

„SCAI unterscheidet sich von anderen Großsprachmodellen, da es sich mit Ihnen unterhalten kann und als Mensch-Computer-Partnerschaft Ihre Entscheidungsfindung und Ihr Denken basierend auf seiner eigenen Argumentation erhöhen kann“, sagt Elkin.

Er kommt zu dem Schluss: „Indem wir große Sprachmodelle Semantik hinzufügen, bieten wir ihnen die Fähigkeit, ähnlich wie beim Praktizieren evidenzbasierter Medizin zu argumentieren.“

Da es auf solche enormen Datenmengen zugreifen kann, kann SCAI auch die Sicherheit der Patienten verbessern, den Zugang zur Versorgung verbessern und „Spezialversorgung demokratisieren“, sagt Elkin, indem sie medizinische Informationen zu Spezialitäten und Unterspezialitäten für die Grundversorgung und sogar für Patienten zugänglich machen.

Während die Kraft von Scai beeindruckend ist, betont Elkin, dass seine Aufgabe darin besteht, Ärzte zu erweitern, nicht zu ersetzen.

„Künstliche Intelligenz wird Ärzte nicht ersetzen“, sagt er, „ein Arzt, der AI verwendet, kann einen Arzt ersetzen, der dies nicht tut.“

Zusätzlich zu Elkin sind UB-Co-Autoren der Abteilung für biomedizinische Informatik Guresh Mehta; Frank Lehouillier; Melissa Resnick, PhD; Crystal Tomlin, PhD; Skyler Resendez, PhD; und jiaxing liu.

Sarah Mullin, PhD, von Roswell Park Comprehensive Cancer Center, und Jonathan R. Nebeker, MD, und Steven H. Brown, MD, beide der Abteilung für Veteranenangelegenheiten, sind ebenfalls Co-Autoren.

Die Arbeiten wurden durch Zuschüsse der National Institutes of Health und des Department of Veterans Affairs finanziert.

Quellen: