MONET: Nova ferramenta de IA melhora imagens médicas através de aprendizagem profunda e análise de texto

MONET: Nova ferramenta de IA melhora imagens médicas através de aprendizagem profunda e análise de texto

Num estudo recente publicado na Nature Medicine, os investigadores desenvolveram o modelo básico Medical Concept Retriever (MONET), que combina imagens médicas com texto e avalia imagens com base na sua existência de ideias, o que é útil em tarefas críticas na implementação de inteligência artificial (IA) médica.

fundo

A construção de sistemas de inteligência artificial médica baseados em imagens confiáveis ​​requer a análise de informações e modelos de redes neurais em todos os níveis de desenvolvimento, desde a fase de treinamento até a fase pós-implantação.

Conjuntos de dados médicos ricamente anotados com ideias semanticamente relevantes poderiam desmistificar as tecnologias de “caixa preta”.

Compreender termos clinicamente significativos, como pigmentação mais escura, redes pigmentares atípicas e cores múltiplas, é clinicamente benéfico. Contudo, a obtenção de rótulos é trabalhosa e a maioria dos conjuntos de informações médicas contém apenas notas de diagnóstico.

Sobre o estudo

No estudo atual, os pesquisadores desenvolveram o MONET, um modelo de IA que pode anotar imagens médicas com ideias clinicamente relevantes. Eles projetaram o modelo para identificar diferentes ideias compreensíveis pelo homem em duas modalidades de imagem em dermatologia: imagens dermatoscópicas e clínicas.

Os pesquisadores coletaram 105.550 pares de imagens e textos dermatológicos de artigos do PubMed e livros médicos e, em seguida, treinaram o MONET em 105.550 fotos dermatológicas e dados de linguagem natural de um grande banco de dados de literatura médica.

MONET atribui classificações às fotos para cada ideia, indicando até que ponto a imagem reflete a ideia.

Baseado na aprendizagem contrastiva, MONET é uma abordagem de inteligência artificial que permite a aplicação direta de descrições de texto simples a imagens.

Este método evita a rotulagem manual e permite informações ricas sobre pares de imagem e texto em uma escala significativamente maior do que é possível com o aprendizado supervisionado. Após o treinamento do MONET, os pesquisadores avaliaram sua eficácia em anotações e outros casos de uso relacionados à transparência da IA.

Os pesquisadores testaram as capacidades de anotação conceitual do MONET selecionando as fotos mais conceituais de imagens dermatoscópicas e clínicas.

Eles compararam o desempenho do MONET com estratégias de aprendizagem supervisionada nas quais os modelos ResNet-50 foram treinados com rótulos conceituais de verdade e o modelo Contrastive Language-Image Pretraining (CLIP) da OpenAI.

Os pesquisadores também usaram o MONET para automatizar a análise de dados e testaram sua eficácia na análise de diferenças de conceitos.

Eles usaram o MONET para analisar dados da International Skin Imaging Collaboration (ISIC), a maior coleção de imagens dermatoscópicas com mais de 70.000 imagens disponíveis publicamente, usadas rotineiramente para treinar modelos de IA em dermatologia.

Os pesquisadores desenvolveram um modelo de auditoria com MONET (MA-MONET), que usa MONET para detectar automaticamente conceitos médicos semanticamente relevantes e erros de modelo.

Os pesquisadores avaliaram o MONET-MA em ambientes do mundo real, treinando modelos CNN em dados de várias universidades e avaliando sua anotação conceitual automatizada.

Eles compararam o método automatizado de pontuação de ideias “MONET + CBM” com o método de rotulagem humana, que se aplica exclusivamente a fotos contendo rótulos SkinCon.

Os pesquisadores também examinaram o impacto da seleção de conceitos no desempenho do MONET+CBM, particularmente em ideias relevantes para tarefas em camadas de gargalo. Além disso, avaliaram o impacto da incorporação do conceito de vermelho no gargalo no desempenho do MONET+CBM em cenários de transferências interinstitucionais.

Resultados

MONET é uma plataforma flexível de IA médica que pode anotar ideias adequadamente em imagens dermatológicas, conforme verificadas por dermatologistas certificados.

O recurso de anotação de conceito permite avaliações de confiabilidade relevantes em todo o pipeline de inteligência artificial médica, demonstradas por meio de auditorias de modelos, auditorias de dados e desenvolvimento de modelos interpretáveis.

MONET encontra com sucesso imagens dermatoscópicas e clínicas adequadas para várias palavras-chave dermatológicas e supera o modelo CLIP básico em ambos os domínios. O MONET superou o CLIP em imagens dermatoscópicas e clínicas e permaneceu equivalente aos modelos de aprendizagem supervisionada em imagens clínicas.

O recurso de anotação automatizada do MONET ajuda a identificar características distintivas entre quaisquer dois grupos de imagens em uma linguagem legível por humanos durante a análise de diferenças de ideias.

Os pesquisadores descobriram que o MONET detecta ideias expressas de forma diferente em conjuntos de dados clínicos e dermatoscópicos e pode ajudar a examinar grandes conjuntos de dados.

O uso do MA-MONET revelou recursos associados a uma alta taxa de erro, como um conjunto de fotos rotuladas como “véu azul-esbranquiçado”, “azul”, “preto”, “cinza” e “achatado”.

Os pesquisadores identificaram o cluster com a maior taxa de falha com base em eritema, estrutura de regressão, vermelhidão, atrofia e hiperpigmentação. Os dermatologistas selecionaram dez ideias relacionadas ao alvo para as camadas de gargalo MONET+CBM e CLIP+CBM que permitem opções flexíveis de rotulagem.

MONET+CBM supera todas as linhas de base na área média sob a curva característica de operação do receptor (AUROC) para prever malignidade e melanoma em imagens clínicas. Os modelos supervisionados de caixa preta tiveram desempenho consistentemente melhor em testes de previsão de câncer e melanoma.

Diploma

O estudo descobriu que os modelos de imagem-texto podem aumentar a transparência e a confiabilidade da IA ​​na área médica. MONET, uma plataforma de anotação de conceitos médicos, pode melhorar a transparência e a confiabilidade da IA ​​dermatológica, permitindo a anotação de ideias em grande escala.

Os desenvolvedores de modelos de IA podem melhorar as práticas de coleta, processamento e otimização de dados, resultando em modelos de IA médica mais confiáveis.

MONET pode impactar o uso clínico e o monitoramento de sistemas de IA de imagens médicas, permitindo auditoria completa e análise de imparcialidade por meio da anotação de descritores de tons de pele.

Fontes: