MONET: un nuovo strumento di intelligenza artificiale migliora l'imaging medico attraverso il deep learning e l'analisi del testo

MONET: un nuovo strumento di intelligenza artificiale migliora l'imaging medico attraverso il deep learning e l'analisi del testo

In un recente studio pubblicato su Nature Medicine, i ricercatori hanno sviluppato il modello di base Medical Concept Retriever (MONET), che combina immagini mediche con testo e valuta le immagini in base alla loro esistenza idea, che è utile in compiti critici nell’implementazione dell’intelligenza artificiale medica (AI).

sfondo

Per costruire sistemi affidabili di intelligenza artificiale medica basati su immagini è necessario analizzare le informazioni e i modelli di rete neurale a ogni livello di sviluppo, dalla fase di formazione alla fase post-implementazione.

Set di dati medici riccamente annotati con idee semanticamente rilevanti potrebbero demistificare le tecnologie della “scatola nera”.

Comprendere termini clinicamente significativi come pigmentazione più scura, reti di pigmenti atipici e colori multipli è vantaggioso dal punto di vista medico. Tuttavia, ottenere le etichette è laborioso e la maggior parte dei set di informazioni mediche contengono solo note diagnostiche.

A proposito dello studio

Nel presente studio, i ricercatori hanno sviluppato MONET, un modello di intelligenza artificiale in grado di annotare immagini mediche con idee rilevanti dal punto di vista medico. Hanno progettato il modello per identificare diverse idee comprensibili dall’uomo in due modalità di immagine in dermatologia: immagini dermoscopiche e cliniche.

I ricercatori hanno raccolto 105.550 coppie di immagini-testo di dermatologia da articoli PubMed e libri di testo di medicina e poi hanno addestrato MONET su 105.550 foto di dermatologia e dati in linguaggio naturale da un ampio database di letteratura medica.

MONET assegna un punteggio alle foto per ogni idea, indicando in che misura l'immagine riflette l'idea.

Basato sull'apprendimento contrastivo, MONET è un approccio di intelligenza artificiale che consente l'applicazione diretta di descrizioni di testo semplice alle immagini.

Questo metodo evita l'etichettatura manuale e consente informazioni dettagliate sulla coppia immagine-testo su una scala significativamente più ampia di quanto sia possibile con l'apprendimento supervisionato. Dopo la formazione MONET, i ricercatori ne hanno valutato l’efficacia nelle annotazioni e in altri casi d’uso legati alla trasparenza dell’IA.

I ricercatori hanno testato le capacità di annotazione concettuale di MONET selezionando le foto più concettuali da immagini dermoscopiche e cliniche.

Hanno confrontato le prestazioni di MONET con strategie di apprendimento supervisionato in cui i modelli ResNet-50 sono stati addestrati con etichette concettuali di verità sul campo e il modello Contrastive Language-Image Pretraining (CLIP) di OpenAI.

I ricercatori hanno utilizzato MONET anche per automatizzare l'analisi dei dati e ne hanno testato l'efficacia nell'analisi delle differenze concettuali.

Hanno utilizzato MONET per analizzare i dati dell’International Skin Imaging Collaboration (ISIC), la più grande raccolta di immagini dermoscopiche con oltre 70.000 immagini disponibili al pubblico utilizzate abitualmente per addestrare modelli di intelligenza artificiale dermatologica.

I ricercatori hanno sviluppato un modello di audit con MONET (MA-MONET), che utilizza MONET per rilevare automaticamente concetti medici semanticamente rilevanti ed errori del modello.

I ricercatori hanno valutato MONET-MA in ambienti reali addestrando modelli CNN su dati provenienti da più università e valutando la loro annotazione automatizzata dei concetti.

Hanno confrontato il metodo automatizzato di punteggio delle idee “MONET + CBM” con il metodo di etichettatura umana, che si applica esclusivamente alle foto contenenti etichette SkinCon.

I ricercatori hanno inoltre esaminato l'impatto della selezione dei concetti sulle prestazioni di MONET+CBM, in particolare sulle idee rilevanti per l'attività negli strati dei colli di bottiglia. Inoltre, hanno valutato l’impatto dell’incorporazione del concetto di rosso nel collo di bottiglia sulle prestazioni di MONET+CBM negli scenari di trasferimento interistituzionale.

Risultati

MONET è una piattaforma flessibile di intelligenza artificiale medica in grado di annotare in modo appropriato le idee nelle immagini dermatologiche verificate da dermatologi certificati.

La funzionalità di annotazione dei concetti consente valutazioni di affidabilità rilevanti in tutta la pipeline dell'intelligenza artificiale medica, dimostrate attraverso audit di modelli, audit di dati e sviluppo di modelli interpretabili.

MONET trova con successo immagini dermoscopiche e cliniche adatte per varie parole chiave della dermatologia e supera il modello CLIP di base in entrambi i domini. MONET ha sovraperformato CLIP sulle immagini dermoscopiche e cliniche ed è rimasto equivalente ai modelli di apprendimento supervisionato sulle immagini cliniche.

La funzione di annotazione automatizzata di MONET aiuta a identificare le caratteristiche distintive tra due gruppi di immagini qualsiasi in un linguaggio leggibile dall'uomo durante l'analisi delle differenze di idee.

I ricercatori hanno scoperto che MONET rileva idee espresse in modo diverso nei set di dati clinici e dermoscopici e può aiutare a esaminare grandi set di dati.

L’utilizzo di MA-MONET ha rivelato caratteristiche associate a un alto tasso di errore, come un gruppo di foto etichettate “velo blu-biancastro”, “blu”, “nero”, “grigio” e “appiattito”.

I ricercatori hanno identificato il cluster con il più alto tasso di fallimento in base a eritema, struttura di regressione, arrossamento, atrofia e iperpigmentazione. I dermatologi hanno selezionato dieci idee relative agli obiettivi per gli strati di collo di bottiglia MONET+CBM e CLIP+CBM che consentono opzioni di etichettatura flessibili.

MONET+CBM supera tutte le linee di base nell'area media sotto la curva caratteristica operativa del ricevitore (AUROC) per la previsione di malignità e melanoma nelle immagini cliniche. I modelli di scatola nera supervisionati hanno ottenuto risultati costantemente migliori nei test di previsione del cancro e del melanoma.

Diploma

Dallo studio è emerso che i modelli immagine-testo possono aumentare la trasparenza e l’affidabilità dell’intelligenza artificiale in campo medico. MONET, una piattaforma di annotazione di concetti medici, può migliorare la trasparenza e l'affidabilità dell'intelligenza artificiale in dermatologia consentendo l'annotazione di idee su larga scala.

Gli sviluppatori di modelli di intelligenza artificiale possono migliorare le pratiche di raccolta, elaborazione e ottimizzazione dei dati, ottenendo modelli di intelligenza artificiale medica più affidabili.

MONET può avere un impatto sull’uso clinico e sul monitoraggio dei sistemi di intelligenza artificiale delle immagini mediche consentendo un controllo completo e un’analisi dell’equità attraverso l’annotazione dei descrittori della tonalità della pelle.

Fonti: