临床人工智能工具分数评估美国有史以来最高的医疗执照考试

临床人工智能工具分数评估美国有史以来最高的医疗执照考试

由布法罗大学生物医学信息学研究人员开发的强大的临床人工智能工具贾玛网络公开赛。

迄今为止，语义临床人工智能（SCAI，发音为“Sky”）在 USMLE 上取得的分数比大多数医生和所有其他人工智能工具都要高，它有潜力成为医生的重要合作伙伴，主要作者、布法罗大学雅各布斯医学与生物医学科学学院生物医学信息学系主任、布法罗大学医学中心内科医师 Peter L. Elkin 医学博士表示。

Elkin 表示，SCAI 是迄今为止最准确的临床人工智能工具，在 USMLE 第 3 步中得分最高的版本，而 GPT4 Omni 工具在同一测试中得分为 90.5%。

作为医生，我们习惯使用计算机作为工具，但 SCAI 不同。它可以增加你基于自身推理的决策和思考。 “

Peter L. Elkin，医学博士，布法罗大学雅各布斯医学与生物医学科学学院生物医学信息学系主任

该工具可以回答临床医生或公众提出的医疗问题

研究人员根据 USMLE 测试了该模型，USMLE 是全国范围内获得医生执照所必需的，该标准评估医生应用知识、概念和原则并展示以患者为中心的基本技能的能力。带有视觉成分的问题已被消除。

埃尔金解释说，大多数人工智能工具都使用统计数据来查找在线数据中的关联，从而可以用来回答问题。 “我们将这些工具称为生成人工智能，”他说。 “有些人认为他们只是抄袭互联网上的内容，因为他们给你的答案是其他人写的。”然而，他说，这些人工智能模型现在正在成为护理领域的合作伙伴，而不是临床医生在实践中可以使用的简单工具。

“但 Scai 可以回答更复杂的问题并执行更复杂的语义推理，”他说，“我们创建了知识源，这些知识源更像人们在医学院培训期间的学习方式。”

该团队从之前开发的自然语言处理软件开始。他们添加了大量来自不同来源的权威临床信息，从最新的医学文献和临床指南到基因组数据、药物信息、出院建议、患者安全数据等。任何可能有偏见的数据，例如： B. 临床记录不包括在内。

1300 万条医学事实

SCAI 包含 1300 万条医学事实以及这些事实之间所有可能的相互作用。该团队使用了称为语义三元组的基本临床事实（主客关系，例如“青霉素治疗肺炎球菌肺炎”）语义网络。然后，该工具可以以能够从中得出逻辑结论的方式表示这些语义网络。

“我们教授大语言模型如何使用语义推理，”埃尔金说。

对 SCAI 做出贡献的其他技术包括知识图，专为医疗数据中的新链接以及以前的“隐藏”模式而设计，以及实现检索生成，这允许大型语言模型立即访问和合并来自外部知识库的信息。这减少了“虚构”，即人工智能工具总是对提示做出反应的趋势，即使它没有提供足够的信息来继续进行。

Elkin 补充说，使用形式语义来告知大型语言模型为 SCAI 更准确地理解和响应特定问题提供了必要的重要上下文。

“它可以和你对话。”

“SCAI 与其他大型语言模型不同，因为它可以与你对话，并且作为人机伙伴关系，可以根据自己的推理增强你的决策和思考，”Elkin 说。

他总结道：“通过向大型语言模型添加语义，我们为它们提供了以类似于实践循证医学的方式进行推理的能力。”

Elkin 表示，由于 SCAI 可以访问如此大量的数据，因此它还可以提高患者安全性，改善获得护理的机会，并“实现专科护理的民主化”，使初级保健甚至患者能够获取专科和亚专科医疗信息。

虽然 Scai 的力量令人印象深刻，但埃尔金强调，其使命是增强而不是取代医生。

“人工智能不会取代医生，”他说，“使用人工智能的医生可以取代不使用人工智能的医生。”

除了埃尔金之外，布法罗大学生物医学信息学系的合著者还包括 Guresh Mehta；弗兰克·勒维利尔；梅丽莎·雷斯尼克博士；克里斯托·汤姆林博士；斯凯勒·雷森德斯博士；还有刘嘉兴。

罗斯威尔公园综合癌症中心的 Sarah Mullin 博士、退伍军人事务部的 Jonathan R. Nebeker 医学博士和 Steven H. Brown 医学博士也是共同作者。

这项工作得到了美国国立卫生研究院和退伍军人事务部的资助。

资料来源：