Neues KI-System optimiert die Segmentierung biomedizinischer Bilder

Neues KI-System optimiert die Segmentierung biomedizinischer Bilder

Das Kommentieren von interessierenden Bereichen in medizinischen Bildern, ein Prozess, der als Segmentierung bezeichnet wird, ist oft einer der ersten Schritte, die klinische Forscher unternehmen, wenn sie eine neue Studie mit biomedizinischen Bildern durchführen.

Um beispielsweise festzustellen, wie sich die Größe des Hippocampus im Gehirn mit zunehmendem Alter der Patienten verändert, skizziert der Wissenschaftler zunächst jeden Hippocampus in einer Reihe von Gehirnscans. Bei vielen Strukturen und Bildtypen ist dies häufig ein manueller Prozess, der äußerst zeitaufwändig sein kann, insbesondere wenn die Abgrenzung der untersuchten Regionen schwierig ist.

Um den Prozess zu rationalisieren, haben MIT-Forscher ein auf künstlicher Intelligenz basierendes System entwickelt, das es einem Forscher ermöglicht, neue biomedizinische Bilddatensätze schnell zu segmentieren, indem er auf die Bilder klickt, kritzelt und Kästchen aufzeichnet. Dieses neue KI-Modell nutzt diese Interaktionen, um die Segmentierung vorherzusagen.

Wenn der Benutzer weitere Bilder markiert, verringert sich die Anzahl der durchzuführenden Interaktionen und sinkt schließlich auf Null. Das Modell kann dann jedes neue Bild ohne Benutzereingaben präzise segmentieren.

Dies ist möglich, weil die Architektur des Modells speziell darauf ausgelegt ist, Informationen aus bereits segmentierten Bildern zu nutzen, um neue Vorhersagen zu treffen.

Im Gegensatz zu anderen medizinischen Bildsegmentierungsmodellen ermöglicht dieses System dem Benutzer, einen gesamten Datensatz zu segmentieren, ohne die Arbeit für jedes Bild wiederholen zu müssen.

Darüber hinaus erfordert das interaktive Tool für das Training keinen vorsegmentierten Bilddatensatz, sodass Benutzer keine Fachkenntnisse im Bereich maschinelles Lernen oder umfangreiche Rechenressourcen benötigen. Sie können das System für eine neue Segmentierungsaufgabe verwenden, ohne das Modell neu zu trainieren.

Langfristig könnte dieses Tool die Erforschung neuer Behandlungsmethoden beschleunigen und die Kosten für klinische Studien und medizinische Forschung senken. Es könnte auch von Ärzten genutzt werden, um die Effizienz klinischer Anwendungen zu verbessern, beispielsweise bei der Planung von Strahlenbehandlungen.

Viele Wissenschaftler haben für ihre Forschung möglicherweise nur Zeit, ein paar Bilder pro Tag zu segmentieren, weil die manuelle Bildsegmentierung so zeitaufwändig ist. Wir hoffen, dass dieses System neue wissenschaftliche Erkenntnisse ermöglicht, indem es klinischen Forschern ermöglicht, Studien durchzuführen, die ihnen zuvor aufgrund des Fehlens eines effizienten Werkzeugs untersagt waren.“

Hallee Wong, Doktorandin der Elektrotechnik und Informatik und Hauptautorin einer Arbeit über das neue Tool

Sie wird bei dem Artikel von Jose Javier Gonzalez Ortiz PhD ’24 begleitet; John Guttag, Dugald C. Jackson-Professor für Informatik und Elektrotechnik; und leitender Autor Adrian Dalca, Assistenzprofessor an der Harvard Medical School und MGH sowie Forschungswissenschaftler am MIT Computer Science and Artificial Intelligence Laboratory (CSAIL). Die Forschung wird auf der International Conference on Computer Vision vorgestellt.

Optimierte Segmentierung

Es gibt hauptsächlich zwei Methoden, mit denen Forscher neue Sätze medizinischer Bilder segmentieren. Bei der interaktiven Segmentierung geben sie ein Bild in ein KI-System ein und nutzen eine Schnittstelle, um Bereiche von Interesse zu markieren. Das Modell sagt die Segmentierung basierend auf diesen Interaktionen voraus.

Ein zuvor von den MIT-Forschern entwickeltes Tool, ScribblePrompt, ermöglicht Benutzern dies, muss den Vorgang jedoch für jedes neue Bild wiederholen.

Ein anderer Ansatz besteht darin, ein aufgabenspezifisches KI-Modell zu entwickeln, um die Bilder automatisch zu segmentieren. Bei diesem Ansatz muss der Benutzer Hunderte von Bildern manuell segmentieren, um einen Datensatz zu erstellen, und dann ein Modell für maschinelles Lernen trainieren. Dieses Modell sagt die Segmentierung für ein neues Bild voraus. Der Benutzer muss den komplexen, auf maschinellem Lernen basierenden Prozess jedoch für jede neue Aufgabe von vorne beginnen, und es gibt keine Möglichkeit, das Modell zu korrigieren, wenn es einen Fehler macht.

Dieses neue System, MultiverSeg, kombiniert das Beste aus beiden Ansätzen. Es sagt eine Segmentierung für ein neues Bild basierend auf Benutzerinteraktionen wie Kritzeleien voraus, behält aber auch jedes segmentierte Bild in einem Kontextsatz, auf den es später verweist.

Wenn der Benutzer ein neues Bild hochlädt und interessante Bereiche markiert, greift das Modell auf die Beispiele in seinem Kontextsatz zurück, um eine genauere Vorhersage mit weniger Benutzereingaben zu treffen.

Die Forscher haben die Architektur des Modells so konzipiert, dass ein Kontextsatz beliebiger Größe verwendet werden kann, sodass der Benutzer nicht über eine bestimmte Anzahl von Bildern verfügen muss. Dies gibt MultiverSeg die Flexibilität, in einer Reihe von Anwendungen eingesetzt zu werden.

„Irgendwann sollten Sie für viele Aufgaben keine Interaktionen mehr bereitstellen müssen. Wenn Sie genügend Beispiele im Kontextsatz haben, kann das Modell die Segmentierung selbst genau vorhersagen“, sagt Wong.

Die Forscher entwickelten und trainierten das Modell sorgfältig anhand einer vielfältigen Sammlung biomedizinischer Bildgebungsdaten, um sicherzustellen, dass es seine Vorhersagen basierend auf Benutzereingaben schrittweise verbessern konnte.

Der Benutzer muss das Modell nicht für seine Daten neu trainieren oder anpassen. Um MultiverSeg für eine neue Aufgabe zu verwenden, kann man ein neues medizinisches Bild hochladen und mit der Markierung beginnen.

Als die Forscher MultiverSeg mit modernsten Tools zur kontextbezogenen und interaktiven Bildsegmentierung verglichen, übertraf es alle Vergleichswerte.

Weniger Klicks, bessere Ergebnisse

Im Gegensatz zu diesen anderen Tools erfordert MultiverSeg bei jedem Bild weniger Benutzereingaben. Mit dem neunten neuen Bild waren nur zwei Klicks des Benutzers erforderlich, um eine genauere Segmentierung zu generieren als ein speziell für diese Aufgabe entwickeltes Modell.

Bei manchen Bildtypen, etwa Röntgenbildern, muss der Benutzer möglicherweise nur ein oder zwei Bilder manuell segmentieren, bevor das Modell genau genug ist, um selbstständig Vorhersagen zu treffen.

Die Interaktivität des Tools ermöglicht es dem Benutzer außerdem, Korrekturen an der Vorhersage des Modells vorzunehmen und so lange zu iterieren, bis das gewünschte Maß an Genauigkeit erreicht ist. Im Vergleich zum vorherigen System der Forscher erreichte MultiverSeg eine Genauigkeit von 90 Prozent bei etwa 2/3 der Anzahl der Kritzeleien und 3/4 der Anzahl der Klicks.

„Mit MultiverSeg können Benutzer jederzeit mehr Interaktionen bereitstellen, um die KI-Vorhersagen zu verfeinern. Dies beschleunigt den Prozess immer noch erheblich, da es normalerweise schneller ist, etwas Bestehendes zu korrigieren, als von vorne zu beginnen“, sagt Wong.

In Zukunft wollen die Forscher dieses Tool in realen Situationen mit klinischen Mitarbeitern testen und es auf der Grundlage von Benutzerfeedback verbessern. Sie möchten MultiverSeg auch in die Lage versetzen, biomedizinische 3D-Bilder zu segmentieren.

Diese Arbeit wird teilweise von Quanta Computer, Inc. und den National Institutes of Health unterstützt, mit Hardware-Unterstützung vom Massachusetts Life Sciences Center.

Quellen: