MONET: Neues KI-Tool verbessert die medizinische Bildgebung durch Deep Learning und Textanalyse

In einer kürzlich in Nature Medicine veröffentlichten Studie haben Forscher das Medical Concept Retriever (MONET)-Grundlagenmodell entwickelt, das medizinische Bilder mit Text verbindet und Bilder anhand ihrer Ideenexistenz bewertet, was bei kritischen Aufgaben bei der Entwicklung medizinischer künstlicher Intelligenz (KI) hilfreich ist Implementierung.

Hintergrund

Der Aufbau zuverlässiger bildbasierter medizinischer künstlicher Intelligenzsysteme erfordert die Analyse von Informationen und neuronalen Netzwerkmodellen auf jeder Entwicklungsebene, von der Trainingsphase bis zur Phase nach der Bereitstellung.

Reich annotierte medizinische Datensätze mit semantisch relevanten Ideen könnten die „Black-Box“-Technologien entmystifizieren.

Das Verständnis klinisch bedeutsamer Begriffe wie dunklere Pigmentierung, atypische Pigmentnetzwerke und mehrere Farben ist medizinisch von Vorteil. Das Erhalten von Etiketten ist jedoch aufwändig und die meisten medizinischen Informationssätze enthalten lediglich diagnostische Anmerkungen.

Über die Studie

In der aktuellen Studie haben Forscher MONET entwickelt, ein KI-Modell, das medizinische Bilder mit medizinisch relevanten Ideen versehen kann. Sie haben das Modell entworfen, um verschiedene für den Menschen verständliche Ideen in zwei Bildmodalitäten in der Dermatologie zu identifizieren: dermatoskopische und klinische Bilder.

Die Forscher sammelten 105.550 dermatologische Bild-Text-Paare aus PubMed-Artikeln und medizinischen Lehrbüchern und trainierten anschließend MONET anhand von 105.550 dermatologischen Fotos und Daten in natürlicher Sprache aus einer umfangreichen medizinischen Literaturdatenbank.

MONET weist den Fotos für jede Idee Bewertungen zu, die angeben, inwieweit das Bild die Idee widerspiegelt.

MONET basiert auf kontrastivem Lernen und ist ein Ansatz der künstlichen Intelligenz, der die direkte Anwendung von Klartextbeschreibungen auf Bilder ermöglicht.

Diese Methode vermeidet eine manuelle Beschriftung und ermöglicht umfangreiche Bild-Text-Paarinformationen in einem erheblich größeren Maßstab, als dies mit überwachtem Lernen möglich wäre. Nach dem MONET-Training bewerteten die Forscher seine Wirksamkeit bei Annotationen und anderen Anwendungsfällen im Zusammenhang mit KI-Transparenz.

Die Forscher testeten die Konzeptanmerkungsfunktionen von MONET, indem sie die konzeptionellsten Fotos aus dermatoskopischen und klinischen Bildern auswählten.

Sie verglichen die Leistung von MONET mit überwachten Lernstrategien, bei denen ResNet-50-Modelle mit konzeptionellen Ground-Truth-Labels und dem Contrastive Language-Image Pretraining (CLIP)-Modell von OpenAI trainiert wurden.

Die Forscher nutzten MONET auch zur Automatisierung der Datenauswertung und testeten seine Wirksamkeit in der Konzeptdifferenzanalyse.

Sie nutzten MONET zur Analyse der Daten der International Skin Imaging Collaboration (ISIC), der umfangreichsten dermatoskopischen Bildersammlung mit über 70.000 öffentlich verfügbaren Bildern, die routinemäßig zum Trainieren dermatologischer KI-Modelle verwendet werden.

Die Forscher entwickelten ein Modellaudit mit MONET (MA-MONET), das MONET zur automatischen Erkennung semantisch relevanter medizinischer Konzepte und Modellfehler nutzt.

Die Forscher bewerteten MONET-MA in realen Umgebungen, indem sie CNN-Modelle anhand von Daten mehrerer Universitäten trainierten und ihre automatisierte Konzeptannotation bewerteten.

Sie verglichen die automatische Ideenbewertungsmethode „MONET + CBM“ mit der Methode der menschlichen Kennzeichnung, die ausschließlich für Fotos gilt, die SkinCon-Kennzeichnungen enthalten.

Die Forscher untersuchten auch die Auswirkung der Konzeptauswahl auf die MONET+CBM-Leistung, insbesondere auf aufgabenrelevante Ideen in Engpassschichten. Darüber hinaus bewerteten sie die Auswirkungen der Einbeziehung des Konzepts von Rot in den Engpass auf die MONET+CBM-Leistung in interinstitutionellen Transferszenarien.

Ergebnisse

MONET ist eine flexible medizinische KI-Plattform, die Ideen in dermatologischen Bildern entsprechend annotieren kann, wie von staatlich geprüften Dermatologen bestätigt.

Die Funktion zur Konzeptanmerkung ermöglicht relevante Vertrauenswürdigkeitsbewertungen in der gesamten Pipeline medizinischer künstlicher Intelligenz, die durch Modellaudits, Datenaudits und interpretierbare Modellentwicklungen nachgewiesen werden.

MONET findet erfolgreich geeignete dermatoskopische und klinische Bilder für verschiedene dermatologische Schlüsselwörter und übertrifft das grundlegende CLIP-Modell in beiden Bereichen. MONET übertraf CLIP bei dermatoskopischen und klinischen Bildern und blieb den überwachten Lernmodellen für klinische Bilder gleichwertig.

Die automatisierte Annotationsfunktion von MONET hilft bei der Identifizierung von Unterscheidungsmerkmalen zwischen zwei beliebigen Bildgruppen in einer für Menschen lesbaren Sprache während der Ideendifferenzanalyse.

Die Forscher fanden heraus, dass MONET unterschiedlich ausgedrückte Ideen in klinischen und dermatoskopischen Datensätzen erkennt und bei der Prüfung umfangreicher Datensätze helfen kann.

Die Verwendung von MA-MONET ergab Merkmale, die mit einer hohen Fehlerquote verbunden waren, wie beispielsweise eine Ansammlung von Fotos mit den Bezeichnungen „blau-weißlicher Schleier“, „blau“, „schwarz“, „grau“ und „abgeflacht“.

Die Forscher identifizierten den Cluster mit der höchsten Fehlerrate anhand von Erythem, Regressionsstruktur, Rötung, Atrophie und Hyperpigmentierung. Dermatologen wählten zehn zielbezogene Ideen für die Engpassschichten MONET+CBM und CLIP+CBM aus, die flexible Kennzeichnungsoptionen ermöglichen.

MONET+CBM übertrifft alle Basiswerte hinsichtlich der mittleren Fläche unter der Receiver-Operating-Characteristic-Kurve (AUROC) zur Vorhersage von Malignität und Melanomen in klinischen Bildern. Überwachte Black-Box-Modelle schnitten bei Krebs- und Melanom-Vorhersagetests durchweg besser ab.

Abschluss

Die Studie ergab, dass Bild-Text-Modelle die Transparenz und Vertrauenswürdigkeit der KI im medizinischen Bereich erhöhen können. MONET, eine Plattform für die Annotation medizinischer Konzepte, kann die Transparenz und Vertrauenswürdigkeit der dermatologischen KI verbessern, indem sie eine groß angelegte Annotation von Ideen ermöglicht.

Entwickler von KI-Modellen können die Verfahren zur Datenerfassung, -verarbeitung und -optimierung verbessern, was zu zuverlässigeren medizinischen KI-Modellen führt.

MONET kann den klinischen Einsatz und die Überwachung medizinischer Bild-KI-Systeme beeinflussen, indem es durch die Kommentierung von Hauttondeskriptoren eine vollständige Prüfung und Fairness-Analyse ermöglicht.

Quellen: