人工智能在初级保健中的快速采用引发了安全问题

人工智能在初级保健中的快速采用引发了安全问题

从数字抄写员到 ChatGPT，人工智能 (AI) 正在迅速进入初级保健实践。悉尼大学的一项新研究警告称，该技术正在超越安全控制，使患者和医疗系统面临风险。

该研究发表于柳叶刀初级保健使用来自美国、英国、澳大利亚、几个非洲国家、拉丁​​美洲、爱尔兰和其他地区的数据总结了人工智能如何在初级保健中使用的全球见解。研究发现，ChatGPT、AI Scribes 和面向患者的应用程序等人工智能工具越来越多地用于临床查询、文档记录和患者咨询，但大多数工具的使用都没有经过彻底的评估或监管监督。

初级保健是医疗保健系统的支柱，提供方便且持续的护理。人工智能可以缓解过度紧张的服务压力，但如果没有保障措施，我们就有可能对患者安全和护理质量产生意想不到的后果。”

Liliana Laranjo 副教授，Westmead 应用研究中心首席研究员、Horizo​​n 研究员

全科医生和患者正在转向人工智能，但证据滞后

全球范围内的初级保健都面临着压力，从劳动力短缺到医生倦怠，再到医疗保健服务日益复杂，而新冠肺炎 (COVID-19) 大流行加剧了这一压力。人工智能被吹捧为一种解决方案，其工具可以通过整合咨询、自动化管理和支持决策来节省时间。

在英国，五分之一的全科医生报告称，到 2024 年，将在临床实践中使用生成式人工智能。然而，审查发现，大多数初级保健中的人工智能研究都是基于模拟而不是现实世界的研究，在有效性、安全性和公平性方面留下了严重差距。

澳大利亚使用生成式人工智能的全科医生数量尚不清楚，但估计为 40%。

拉兰霍副教授说：“人工智能已经进入我们的诊所，但如果没有澳大利亚关于有多少全科医生正在使用它的数据，也没有适当的监督，我们在安全方面就会盲目。”

虽然人工智能抄写员和环境聆听技术可以减轻全科医生的认知负荷并提高工作满意度，但它们也带来了自动化偏差和医疗记录中重要的社交或传记细节丢失等风险。

“我们的研究发现，许多使用人工智能抄写员的全科医生不想再继续打字。他们说这可以加快咨询速度，让他们能够专注于患者，但这些工具可能会错过重要的个人细节并引入偏见，”拉兰霍副教授说。

对于患者来说，症状检查器和健康应用程序承诺提供便利和个性化护理，但其准确性往往各不相同，而且许多人缺乏独立评估的机会。

“像 ChatGPT 这样的生成模型听起来很有说服力，但实际上是错误的，”副教授 Laranjo 说。 “即使用户错了，他们也常常同意用户的观点，这对患者来说很危险，对医生来说也充满挑战。”

人工智能的正义与环境风险

专家警告说，虽然人工智能承诺更快的诊断和个性化护理，但随着偏见的蔓延，它也会加深健康差距。例如，皮肤科工具经常误诊较深的肤色，而深色肤色在训练数据集中通常代表性不足。

相反，研究人员表示，如果设计得当，人工智能可以解决差异：一项关节炎研究通过使用在不同数据集上训练的算法，使符合膝关节置换术的黑人患者数量增加了一倍，与医生的标准 X 射线读数相比，它可以更好地预测患者报告的膝盖疼痛。

拉兰霍副教授说：“忽视社会经济因素和通用设计可能会导致初级保健领域的人工智能从突破变成挫折。”

环境成本也是巨大的。训练 GPT-3（2020 年发布的 ChatGPT 版本）排放的二氧化碳量相当于纽约和旧金山之间 188 趟航班的二氧化碳排放量。目前，数据中心消耗的电力约占全球电力消耗的 1%，而在爱尔兰，数据中心的电力消耗占全国电力消耗的 20% 以上。

“人工智能的环境足迹具有挑战性，”拉兰霍副教授说。 “我们需要平衡创新与公平和地球健康的可持续方法。”

研究人员敦促政府、临床医生和技术开发人员优先考虑：

• robuste Bewertung und reale Überwachung von KI-Tools
• Regulierungsrahmen, die mit der Innovation Schritt halten
• Schulung von Ärzten und der Öffentlichkeit zur Verbesserung der KI-Kenntnisse
• Strategien zur Voreingenommenheitsminderung, um Gerechtigkeit in der Gesundheitsversorgung sicherzustellen
• nachhaltige Praktiken zur Reduzierung der Umweltauswirkungen von KI.

“人工智能提供了重塑初级保健的机会，但创新不能以牺牲安全或公平为代价，”拉兰霍副教授说。 “我们需要跨行业合作伙伴关系，以确保人工智能惠及所有人，而不仅仅是精通技术或装备精良的人。”

资料来源：