MONET：新的人工智能工具通过深度学习和文本分析改善医学成像

MONET：新的人工智能工具通过深度学习和文本分析改善医学成像

在最近发表在《自然医学》上的一项研究中，研究人员开发了医学概念检索器（MONET）基础模型，它将医学图像与文本相结合，并根据图像的想法存在性来评估图像，这有助于医疗人工智能（AI）实施中的关键任务。

背景

构建可靠的基于图像的医疗人工智能系统需要分析从训练阶段到部署后阶段的每个开发级别的信息和神经网络模型。

带有丰富注释的医学数据集以及语义相关的想法可以揭开“黑匣子”技术的神秘面纱。

了解具有临床意义的术语，例如深色色素沉着、非典型色素网络和多种颜色，在医学上是有益的。 然而，获取标签很费力，而且大多数医疗信息集仅包含诊断注释。

关于该研究

在当前的研究中，研究人员开发了 MONET，这是一种人工智能模型，可以用医学相关的想法来注释医学图像。 他们设计的模型是为了识别皮肤病学中两种图像模式（皮肤镜图像和临床图像）中不同的人类可理解的想法。

研究人员从 PubMed 文章和医学教科书中收集了 105,550 个皮肤科图像文本对，然后使用来自大型医学文献数据库的 105,550 张皮肤科照片和自然语言数据对 MONET 进行训练。

莫奈对每个想法的照片进行评级，表明图像反映该想法的程度。

MONET 是一种基于对比学习的人工智能方法，可以将纯文本描述直接应用于图像。

该方法避免了手动标记，并且能够以比监督学习更大的规模实现丰富的图像文本对信息。 经过 MONET 培训后，研究人员评估了其在注释和与 AI 透明度相关的其他用例中的有效性。

研究人员通过从皮肤镜和临床图像中选择最具概念性的照片来测试 MONET 的概念注释能力。

他们将 MONET 的性能与监督学习策略进行了比较，其中 ResNet-50 模型使用概念性地面实况标签和 OpenAI 的对比语言图像预训练 (CLIP) 模型进行训练。

研究人员还使用 MONET 进行自动化数据分析，并测试了其在概念差异分析中的有效性。

他们使用 MONET 分析来自国际皮肤成像协作组织 (ISIC) 的数据，这是最大的皮肤镜图像集合，拥有 70,000 多张公开图像，通常用于训练皮肤病学 AI 模型。

研究人员开发了一种使用 MONET 的模型审计（MA-MONET），该模型使用 MONET 自动检测语义相关的医学概念和模型错误。

研究人员通过使用来自多所大学的数据训练 CNN 模型并评估其自动概念注释，在现实环境中评估了 MONET-MA。

他们将“MONET + CBM”自动创意评分方法与人工标记方法进行了比较，后者仅适用于包含 SkinCon 标签的照片。

研究人员还研究了概念选择对 MONET+CBM 性能的影响，特别是对瓶颈层中与任务相关的想法的影响。 此外，他们还评估了在机构间传输场景中将红色概念纳入瓶颈对 MONET+CBM 性能的影响。

结果

MONET 是一个灵活的医疗人工智能平台，可以适当地注释皮肤科图像中的想法，并由委员会认证的皮肤科医生验证。

概念注释功能可以通过模型审计、数据审计和可解释模型开发来证明整个医疗人工智能管道的相关可信度评估。

MONET 成功地为各种皮肤病学关键词找到了合适的皮肤镜和临床图像，并且在这两个领域都优于基本的 CLIP 模型。 MONET 在皮肤镜和临床图像上的表现优于 CLIP，并且在临床图像上与监督学习模型保持相当。

MONET 的自动注释功能有助于在想法差异分析过程中以人类可读的语言识别任意两组图像之间的区别特征。

研究人员发现，MONET 可以检测临床和皮肤镜数据集中不同表达的想法，并可以帮助检查大型数据集。

使用 MA-MONET 揭示了与高错误率相关的特征，例如一组标记为“蓝白色面纱”、“蓝色”、“黑色”、“灰色”和“扁平化”的照片。

研究人员根据红斑、回归结构、发红、萎缩和色素沉着过度确定了失败率最高的簇。 皮肤科医生为 MONET+CBM 和 CLIP+CBM 瓶颈层选择了十个与目标相关的想法，以实现灵活的标签选项。

在预测临床图像中的恶性肿瘤和黑色素瘤方面，MONET+CBM 在受试者工作特征曲线 (AUROC) 下的平均面积方面优于所有基线。 监督黑盒模型在癌症和黑色素瘤预测测试中始终表现更好。

文凭

研究发现，图文模型可以提高人工智能在医疗领域的透明度和可信度。 MONET是一个医学概念标注平台，可以通过实现大规模的概念标注来提高皮肤科AI的透明度和可信度。

AI 模型开发人员可以改进数据收集、处理和优化实践，从而产生更可靠的医疗 AI 模型。

MONET 可以通过肤色描述符注释实现全面的审核和公平性分析，从而影响医学图像 AI 系统的临床使用和监控。

资料来源：