MONET: Nueva herramienta de IA mejora las imágenes médicas mediante aprendizaje profundo y análisis de texto

MONET: Nueva herramienta de IA mejora las imágenes médicas mediante aprendizaje profundo y análisis de texto

En un estudio reciente publicado en Nature Medicine, los investigadores desarrollaron el modelo básico Medical Concept Retriever (MONET), que combina imágenes médicas con texto y evalúa imágenes en función de la existencia de sus ideas, lo que resulta útil en tareas críticas en la implementación de la inteligencia artificial (IA) médica.

fondo

La construcción de sistemas confiables de inteligencia artificial médica basada en imágenes requiere analizar información y modelos de redes neuronales en cada nivel de desarrollo, desde la fase de capacitación hasta la fase posterior a la implementación.

Conjuntos de datos médicos ricamente comentados con ideas semánticamente relevantes podrían desmitificar las tecnologías de “caja negra”.

Comprender términos clínicamente significativos, como pigmentación más oscura, redes de pigmentos atípicos y colores múltiples, es médicamente beneficioso. Sin embargo, obtener etiquetas es laborioso y la mayoría de los conjuntos de información médica contienen sólo notas de diagnóstico.

Sobre el estudio

En el estudio actual, los investigadores desarrollaron MONET, un modelo de inteligencia artificial que puede anotar imágenes médicas con ideas médicamente relevantes. Diseñaron el modelo para identificar diferentes ideas comprensibles para los humanos en dos modalidades de imagen en dermatología: imágenes dermatoscópicas y clínicas.

Los investigadores recopilaron 105.550 pares de imágenes y textos de dermatología de artículos de PubMed y libros de texto médicos y luego entrenaron a MONET en 105.550 fotografías de dermatología y datos en lenguaje natural de una gran base de datos de literatura médica.

MONET asigna calificaciones a las fotografías para cada idea, indicando en qué medida la imagen refleja la idea.

Basado en el aprendizaje contrastivo, MONET es un enfoque de inteligencia artificial que permite la aplicación directa de descripciones de texto plano a imágenes.

Este método evita el etiquetado manual y permite obtener información rica sobre pares de imagen y texto a una escala significativamente mayor de lo que es posible con el aprendizaje supervisado. Después de la capacitación de MONET, los investigadores evaluaron su efectividad en anotaciones y otros casos de uso relacionados con la transparencia de la IA.

Los investigadores probaron las capacidades de anotación de conceptos de MONET seleccionando las fotografías más conceptuales de imágenes dermatoscópicas y clínicas.

Compararon el rendimiento de MONET con estrategias de aprendizaje supervisado en las que los modelos ResNet-50 se entrenaron con etiquetas de verdad conceptuales y el modelo de preentrenamiento de imágenes y lenguaje contrastivo (CLIP) de OpenAI.

Los investigadores también utilizaron MONET para automatizar el análisis de datos y probaron su eficacia en el análisis de diferencias de conceptos.

Utilizaron MONET para analizar datos de la International Skin Imaging Collaboration (ISIC), la colección de imágenes dermatoscópicas más grande con más de 70.000 imágenes disponibles públicamente que se utilizan habitualmente para entrenar modelos de IA en dermatología.

Los investigadores desarrollaron una auditoría de modelo con MONET (MA-MONET), que utiliza MONET para detectar automáticamente conceptos médicos semánticamente relevantes y errores de modelo.

Los investigadores evaluaron MONET-MA en entornos del mundo real entrenando modelos CNN con datos de múltiples universidades y evaluando su anotación de conceptos automatizada.

Compararon el método automatizado de puntuación de ideas “MONET + CBM” con el método de etiquetado humano, que se aplica exclusivamente a fotografías que contienen etiquetas SkinCon.

Los investigadores también examinaron el impacto de la selección de conceptos en el desempeño de MONET+CBM, particularmente en ideas relevantes para tareas en capas de cuello de botella. Además, evaluaron el impacto de incorporar el concepto de rojo en el cuello de botella en el desempeño de MONET+CBM en escenarios de transferencia interinstitucional.

Resultados

MONET es una plataforma de IA médica flexible que puede anotar ideas de manera adecuada en imágenes dermatológicas verificadas por dermatólogos certificados.

La función de anotación de conceptos permite evaluaciones de confiabilidad relevantes en todo el proceso de inteligencia artificial médica, demostradas a través de auditorías de modelos, auditorías de datos y desarrollo de modelos interpretables.

MONET encuentra con éxito imágenes dermatoscópicas y clínicas adecuadas para varias palabras clave de dermatología y supera al modelo CLIP básico en ambos dominios. MONET superó a CLIP en imágenes clínicas y dermatoscópicas y siguió siendo equivalente a los modelos de aprendizaje supervisado en imágenes clínicas.

La función de anotación automatizada de MONET ayuda a identificar características distintivas entre dos grupos de imágenes en un lenguaje legible por humanos durante el análisis de diferencias de ideas.

Los investigadores descubrieron que MONET detecta ideas expresadas de manera diferente en conjuntos de datos clínicos y dermatoscópicos y puede ayudar a examinar grandes conjuntos de datos.

El uso de MA-MONET reveló características que estaban asociadas con una alta tasa de error, como un grupo de fotografías etiquetadas como "velo azul-blanquecino", "azul", "negro", "gris" y "aplanado".

Los investigadores identificaron el grupo con la tasa de fracaso más alta según el eritema, la estructura de regresión, el enrojecimiento, la atrofia y la hiperpigmentación. Los dermatólogos seleccionaron diez ideas relacionadas con objetivos para las capas de cuello de botella MONET+CBM y CLIP+CBM que permiten opciones de etiquetado flexibles.

MONET+CBM supera todas las líneas de base en el área media bajo la curva característica operativa del receptor (AUROC) para predecir malignidad y melanoma en imágenes clínicas. Los modelos de caja negra supervisados ​​obtuvieron consistentemente mejores resultados en las pruebas de predicción de cáncer y melanoma.

Diploma

El estudio encontró que los modelos de imagen y texto pueden aumentar la transparencia y la confiabilidad de la IA en el campo médico. MONET, una plataforma de anotación de conceptos médicos, puede mejorar la transparencia y la confiabilidad de la IA en dermatología al permitir la anotación de ideas a gran escala.

Los desarrolladores de modelos de IA pueden mejorar las prácticas de recopilación, procesamiento y optimización de datos, lo que da como resultado modelos de IA médica más confiables.

MONET puede impactar el uso clínico y el monitoreo de los sistemas de IA de imágenes médicas al permitir una auditoría completa y un análisis de equidad mediante la anotación de descriptores de tono de piel.

Fuentes: