Los estudios muestran que es posible que los mapas de calor de prominencia aún no estén listos para el horario de máxima audiencia

Los estudios muestran que es posible que los mapas de calor de prominencia aún no estén listos para el horario de máxima audiencia

Los modelos de inteligencia artificial que interpretan imágenes médicas prometen mejorar la capacidad de los médicos para realizar diagnósticos precisos y oportunos, al tiempo que reducen la carga de trabajo al permitir que los médicos ocupados se concentren en casos críticos y deleguen tareas rutinarias a la IA.

Pero los modelos de IA que carecen de transparencia sobre cómo y por qué se realiza un diagnóstico pueden resultar problemáticos. Este argumento opaco -; también conocida como IA “Caja Negra” -; puede reducir la confianza del médico en la confiabilidad de la herramienta de IA y, por lo tanto, desalentar su uso. Esta falta de transparencia también podría llevar a los médicos a confiar en la interpretación de la herramienta.

En el campo de las imágenes médicas, las evaluaciones de prominencia han sido una manera de crear modelos de IA más comprensibles y desmitificar la toma de decisiones de la IA; Un enfoque que utiliza mapas de calor para determinar si la herramienta se enfoca correctamente solo en las partes relevantes de una imagen determinada o si se enfoca en partes irrelevantes de la misma.

Los mapas de calor funcionan resaltando áreas de una imagen que influyeron en la interpretación del modelo de IA. Esto podría ayudar a los médicos humanos a detectar si el modelo de IA se centra en las mismas áreas que ellos o si se centra incorrectamente en lugares irrelevantes de una imagen.

Pero un nuevo estudio publicado el 10 de octubre en Nature Machine Intelligence muestra que, a pesar de toda su promesa, los mapas de calor de prominencia aún no están listos para el horario de máxima audiencia.

El análisis, dirigido por el investigador de la Facultad de Medicina de Harvard, Pranav Rajpurkar, Matthew Lungren de Stanford y Adriel Saporta de la Universidad de Nueva York, cuantificó la validez de siete métodos de resaltado ampliamente utilizados para determinar con qué fiabilidad y precisión pueden identificar patologías asociadas con 10 afecciones comúnmente diagnosticadas mediante imágenes de rayos X, como lesiones pulmonares, derrames pleurales, edemas o estructuras cardíacas agrandadas. Para determinar el rendimiento, los investigadores compararon el rendimiento de las herramientas con el juicio de expertos humanos.

En última instancia, las herramientas que utilizaban mapas de calor destacados basados ​​en mapas de calor tuvieron un rendimiento consistentemente inferior al de los radiólogos humanos en la evaluación de imágenes y su capacidad para detectar lesiones patológicas.

El trabajo representa el primer análisis comparativo entre mapas de prominencia y el desempeño humano experto en la evaluación de múltiples patologías radiográficas. El estudio también proporciona una comprensión detallada de si ciertas características patológicas en una imagen pueden afectar el rendimiento de las herramientas de inteligencia artificial y cómo.

La función del mapa de prominencia ya se está utilizando como herramienta de control de calidad en las prácticas clínicas que utilizan IA para interpretar métodos de detección asistidos por computadora, como la lectura de radiografías de tórax. Pero a la vista de los nuevos hallazgos, según los investigadores, esta característica debe disfrutarse con precaución y una buena dosis de escepticismo.

Nuestro análisis muestra que los mapas de prominencia aún no son lo suficientemente confiables para validar las decisiones clínicas individuales tomadas por un modelo de IA. Hemos identificado limitaciones importantes que plantean serias preocupaciones de seguridad para su uso en la práctica actual”.

Pranav Rajpurkar, profesor asistente de informática biomédica, HMS

Los investigadores advierten que, debido a las importantes limitaciones identificadas en el estudio, los mapas de calor basados ​​en prominencia deberían perfeccionarse aún más antes de usarse ampliamente en modelos clínicos de IA.

La base de código completa, los datos y el análisis del equipo están abiertos y disponibles para cualquier persona interesada en explorar este importante aspecto del aprendizaje automático clínico en aplicaciones de imágenes médicas.

Fuente:

Escuela de Medicina de Harvard

Referencia:

Saporta, A., et al. (2022) Métodos de evaluación comparativa de prominencia para la interpretación de radiografías de tórax. Inteligencia naturaleza-máquina. doi.org/10.1038/s42256-022-00536-x.

.