Badania pokazują, że mapy ciepła istotności mogą nie być jeszcze gotowe do umieszczenia w godzinach największej oglądalności

Badania pokazują, że mapy ciepła istotności mogą nie być jeszcze gotowe do umieszczenia w godzinach największej oglądalności

Modele sztucznej inteligencji interpretujące obrazy medyczne obiecują poprawić zdolność klinicystów do stawiania dokładnych i terminowych diagnoz, jednocześnie zmniejszając obciążenie pracą, umożliwiając zapracowanym lekarzom skupienie się na krytycznych przypadkach i delegowanie rutynowych zadań sztucznej inteligencji.

Jednak modele sztucznej inteligencji, w których brakuje przejrzystości w zakresie sposobu i przyczyny diagnozy, mogą być problematyczne. Ten nieprzejrzysty argument -; znany również jako sztuczna inteligencja „czarnej skrzynki” -; może zmniejszyć zaufanie lekarza do niezawodności narzędzia AI i tym samym zniechęcić do jego stosowania. Ten brak przejrzystości może również skłonić klinicystów do zaufania interpretacji narzędzia.

W dziedzinie obrazowania medycznego oceny istotności pomogły w stworzeniu bardziej zrozumiałych modeli sztucznej inteligencji i wyjaśnieniu tajemnic podejmowania decyzji przez sztuczną inteligencję; Podejście wykorzystujące mapy cieplne do określenia, czy narzędzie prawidłowo skupia się tylko na istotnych fragmentach danego obrazu, czy też celuje w jego nieistotne fragmenty.

Mapy cieplne działają poprzez wyróżnianie obszarów obrazu, które miały wpływ na interpretację modelu AI. Może to pomóc lekarzom wykryć, czy model sztucznej inteligencji skupia się na tych samych obszarach co oni, czy też nieprawidłowo skupia się na nieistotnych miejscach obrazu.

Jednak nowe badanie opublikowane 10 października w Nature Machine Intelligence pokazuje, że pomimo wszystkich obietnic mapy cieplne istotności nie są jeszcze gotowe do udostępnienia.

Analiza prowadzona pod kierunkiem badacza z Harvard Medical School Pranava Rajpurkara, Matthew Lungrena ze Stanford i Adriela Saporty z Uniwersytetu Nowojorskiego określiła ilościowo ważność siedmiu szeroko stosowanych metod podkreślania w celu określenia, jak wiarygodnie i dokładnie mogą one identyfikować patologie związane z 10 powszechnie diagnozowanymi stanami na zdjęciu rentgenowskim, takimi jak zmiany w płucach, wysięk opłucnowy, obrzęk lub powiększone struktury serca. Aby określić wydajność, naukowcy porównali wydajność narzędzi z oceną ekspertów.

Ostatecznie narzędzia wykorzystujące mapy cieplne oparte na najistotniejszych mapach cieplnych konsekwentnie osiągały gorsze wyniki w porównaniu z radiologami ludzkimi pod względem oceny obrazu i ich zdolności do wykrywania zmian patologicznych.

Praca stanowi pierwszą analizę porównawczą map istotności z wynikami ekspertów w ocenie wielu patologii radiograficznych. Badanie zapewnia również szczegółowe zrozumienie, czy i w jaki sposób pewne cechy patologiczne obrazu mogą wpływać na działanie narzędzi AI.

Funkcja mapy istotności jest już wykorzystywana jako narzędzie zapewniania jakości w praktykach klinicznych wykorzystujących sztuczną inteligencję do interpretacji wspomaganych komputerowo metod wykrywania, takich jak: B. Odczyt zdjęć rentgenowskich klatki piersiowej. Jednak zdaniem naukowców w świetle nowych odkryć do tej funkcji należy podchodzić ostrożnie i ze zdrową dozą sceptycyzmu.

Nasza analiza pokazuje, że mapy istotności nie są jeszcze wystarczająco wiarygodne, aby weryfikować indywidualne decyzje kliniczne podejmowane przez model sztucznej inteligencji. Zidentyfikowaliśmy ważne ograniczenia, które budzą poważne obawy dotyczące bezpieczeństwa stosowania w obecnej praktyce.”

Pranav Rajpurkar, adiunkt informatyki biomedycznej, HMS

Naukowcy ostrzegają, że ze względu na ważne ograniczenia zidentyfikowane w badaniu mapy cieplne oparte na istotności należy jeszcze bardziej udoskonalić, zanim będą szeroko stosowane w klinicznych modelach sztucznej inteligencji.

Pełna baza kodu, dane i analizy zespołu są otwarte i dostępne dla wszystkich zainteresowanych badaniem tego ważnego aspektu klinicznego uczenia maszynowego w zastosowaniach obrazowania medycznego.

Źródło:

Szkoła Medyczna Harvarda

Odniesienie:

Saporta, A. i in. (2022) Metody analizy porównawczej istotności w interpretacji radiogramów klatki piersiowej. Inteligencja natury i maszyny. doi.org/10.1038/s42256-022-00536-x.

.