MONET : un nouvel outil d'IA améliore l'imagerie médicale grâce à l'apprentissage en profondeur et à l'analyse de texte

MONET : un nouvel outil d'IA améliore l'imagerie médicale grâce à l'apprentissage en profondeur et à l'analyse de texte

Dans une étude récente publiée dans Nature Medicine, les chercheurs ont développé le modèle de base Medical Concept Retriever (MONET), qui combine des images médicales avec du texte et évalue les images en fonction de leur existence d'idées, ce qui est utile dans les tâches critiques de mise en œuvre de l'intelligence artificielle médicale (IA).

arrière-plan

Construire des systèmes d'intelligence artificielle médicale fiables basés sur l'image nécessite d'analyser des modèles d'informations et de réseaux neuronaux à chaque niveau de développement, de la phase de formation à la phase post-déploiement.

Des ensembles de données médicales richement annotées avec des idées sémantiquement pertinentes pourraient démystifier les technologies de « boîte noire ».

Comprendre les termes cliniquement significatifs tels que pigmentation plus foncée, réseaux pigmentaires atypiques et couleurs multiples est médicalement bénéfique. Cependant, l'obtention des étiquettes est laborieuse et la plupart des ensembles d'informations médicales ne contiennent que des notes de diagnostic.

À propos de l'étude

Dans la présente étude, les chercheurs ont développé MONET, un modèle d’IA capable d’annoter des images médicales avec des idées médicalement pertinentes. Ils ont conçu le modèle pour identifier différentes idées compréhensibles par l'homme dans deux modalités d'image en dermatologie : les images dermoscopiques et cliniques.

Les chercheurs ont collecté 105 550 paires image-texte dermatologiques à partir d’articles PubMed et de manuels médicaux, puis ont formé MONET sur 105 550 photos dermatologiques et données en langage naturel provenant d’une vaste base de données de littérature médicale.

MONET attribue des notes aux photos pour chaque idée, indiquant dans quelle mesure l'image reflète l'idée.

Basée sur l'apprentissage contrastif, MONET est une approche d'intelligence artificielle qui permet l'application directe de descriptions en texte brut aux images.

Cette méthode évite l’étiquetage manuel et permet d’obtenir des informations riches sur les paires image-texte à une échelle nettement plus grande que ce qui est possible avec l’apprentissage supervisé. Après la formation MONET, les chercheurs ont évalué son efficacité dans les annotations et autres cas d'utilisation liés à la transparence de l'IA.

Les chercheurs ont testé les capacités d'annotation de concepts de MONET en sélectionnant les photos les plus conceptuelles à partir d'images dermoscopiques et cliniques.

Ils ont comparé les performances de MONET avec des stratégies d'apprentissage supervisé dans lesquelles les modèles ResNet-50 ont été formés avec des étiquettes de vérité conceptuelle et le modèle CLIP (Constantive Language-Image Pretraining) d'OpenAI.

Les chercheurs ont également utilisé MONET pour automatiser l’analyse des données et tester son efficacité dans l’analyse des différences de concepts.

Ils ont utilisé MONET pour analyser les données de l'International Skin Imaging Collaboration (ISIC), la plus grande collection d'images dermoscopiques avec plus de 70 000 images accessibles au public, couramment utilisées pour former des modèles d'IA en dermatologie.

Les chercheurs ont développé un audit de modèle avec MONET (MA-MONET), qui utilise MONET pour détecter automatiquement les concepts médicaux et les erreurs de modèle sémantiquement pertinents.

Les chercheurs ont évalué MONET-MA dans des environnements réels en entraînant des modèles CNN sur des données provenant de plusieurs universités et en évaluant leur annotation de concept automatisée.

Ils ont comparé la méthode automatisée de notation des idées « MONET + CBM » avec la méthode d’étiquetage humain, qui s’applique exclusivement aux photos contenant des étiquettes SkinCon.

Les chercheurs ont également examiné l'impact de la sélection de concepts sur les performances de MONET+CBM, en particulier sur les idées pertinentes pour les tâches dans les couches de goulot d'étranglement. En outre, ils ont évalué l’impact de l’intégration du concept de rouge dans le goulot d’étranglement sur les performances de MONET+CBM dans des scénarios de transfert interinstitutionnel.

Résultats

MONET est une plate-forme d'IA médicale flexible qui peut annoter de manière appropriée des idées dans des images dermatologiques vérifiées par des dermatologues certifiés.

La fonctionnalité d'annotation de concepts permet des évaluations de fiabilité pertinentes dans l'ensemble du pipeline d'intelligence artificielle médicale, démontrées par des audits de modèles, des audits de données et le développement de modèles interprétables.

MONET trouve avec succès des images dermoscopiques et cliniques appropriées pour divers mots-clés en dermatologie et surpasse le modèle CLIP de base dans les deux domaines. MONET a surpassé CLIP sur les images dermoscopiques et cliniques et est resté équivalent aux modèles d'apprentissage supervisé sur les images cliniques.

La fonction d'annotation automatisée de MONET permet d'identifier les caractéristiques distinctives entre deux groupes d'images dans un langage lisible par l'homme lors de l'analyse des différences d'idées.

Les chercheurs ont découvert que MONET détecte les idées exprimées différemment dans des ensembles de données cliniques et dermoscopiques et peut aider à examiner de grands ensembles de données.

L'utilisation de MA-MONET a révélé des caractéristiques associées à un taux d'erreur élevé, comme un groupe de photos étiquetées « voile bleu-blanchâtre », « bleu », « noir », « gris » et « aplati ».

Les chercheurs ont identifié le groupe présentant le taux d'échec le plus élevé en fonction de l'érythème, de la structure de régression, des rougeurs, de l'atrophie et de l'hyperpigmentation. Les dermatologues ont sélectionné dix idées liées aux cibles pour les couches de goulot d'étranglement MONET+CBM et CLIP+CBM qui permettent des options d'étiquetage flexibles.

MONET+CBM surpasse toutes les lignes de base en termes d'aire moyenne sous la courbe caractéristique de fonctionnement du récepteur (AUROC) pour prédire la malignité et le mélanome dans les images cliniques. Les modèles de boîte noire supervisés ont systématiquement obtenu de meilleurs résultats dans les tests de prédiction du cancer et du mélanome.

Diplôme

L’étude a révélé que les modèles image-texte peuvent accroître la transparence et la fiabilité de l’IA dans le domaine médical. MONET, une plateforme d'annotation de concepts médicaux, peut améliorer la transparence et la fiabilité de l'IA dermatologique en permettant l'annotation d'idées à grande échelle.

Les développeurs de modèles d’IA peuvent améliorer les pratiques de collecte, de traitement et d’optimisation des données, ce qui aboutit à des modèles d’IA médicale plus fiables.

MONET peut avoir un impact sur l'utilisation clinique et la surveillance des systèmes d'IA d'images médicales en permettant un audit complet et une analyse d'équité grâce à l'annotation des descripteurs de teint.

Sources :