Μελέτες δείχνουν ότι οι χάρτες υψηλών θερμοκρασιών μπορεί να μην είναι ακόμη έτοιμοι για την πρώτη ώρα

Μελέτες δείχνουν ότι οι χάρτες υψηλών θερμοκρασιών μπορεί να μην είναι ακόμη έτοιμοι για την πρώτη ώρα

Τα μοντέλα τεχνητής νοημοσύνης που ερμηνεύουν ιατρικές εικόνες υπόσχονται να βελτιώσουν την ικανότητα των κλινικών γιατρών να κάνουν ακριβείς και έγκαιρες διαγνώσεις, ενώ παράλληλα μειώνουν τον φόρτο εργασίας, επιτρέποντας στους πολυάσχολους γιατρούς να εστιάζουν σε κρίσιμες περιπτώσεις και να αναθέτουν εργασίες ρουτίνας στην τεχνητή νοημοσύνη.

Όμως τα μοντέλα τεχνητής νοημοσύνης που στερούνται διαφάνειας για το πώς και γιατί γίνεται μια διάγνωση μπορεί να είναι προβληματικά. Αυτό το αδιαφανές επιχείρημα -? επίσης γνωστό ως "Black Box" AI -; μπορεί να μειώσει την εμπιστοσύνη του γιατρού στην αξιοπιστία του εργαλείου AI και έτσι να αποθαρρύνει τη χρήση του. Αυτή η έλλειψη διαφάνειας θα μπορούσε επίσης να οδηγήσει τους κλινικούς γιατρούς να εμπιστευτούν την ερμηνεία του εργαλείου.

Στον τομέα της ιατρικής απεικόνισης, οι αξιολογήσεις εξέχουσας θέσης ήταν ένας τρόπος για τη δημιουργία πιο κατανοητών μοντέλων τεχνητής νοημοσύνης και την απομυθοποίηση της λήψης αποφάσεων τεχνητής νοημοσύνης - Μια προσέγγιση που χρησιμοποιεί χάρτες θερμότητας για να καθορίσει εάν το εργαλείο εστιάζει σωστά μόνο στα σχετικά μέρη μιας δεδομένης εικόνας ή στοχεύει άσχετα μέρη της.

Οι χάρτες θερμότητας λειτουργούν επισημαίνοντας περιοχές σε μια εικόνα που επηρέασαν την ερμηνεία του μοντέλου AI. Αυτό θα μπορούσε να βοηθήσει τους ανθρώπους γιατρούς να εντοπίσουν εάν το μοντέλο AI εστιάζει στις ίδιες περιοχές με αυτούς ή εσφαλμένα εστιάζει σε άσχετα σημεία σε μια εικόνα.

Ωστόσο, μια νέα μελέτη που δημοσιεύτηκε στις 10 Οκτωβρίου στο Nature Machine Intelligence δείχνει ότι, παρ' όλες τις υπόσχεσή τους, οι χάρτες θερμότητας εξέχουσας θέσης δεν είναι ακόμη έτοιμοι για την πρώτη στιγμή.

Η ανάλυση, με επικεφαλής τον ερευνητή της Ιατρικής Σχολής του Χάρβαρντ, Pranav Rajpurkar, τον Matthew Lungren του Stanford και τον Adriel Saporta του Πανεπιστημίου της Νέας Υόρκης, ποσοτικοποίησε την εγκυρότητα επτά ευρέως χρησιμοποιούμενων μεθόδων επισήμανσης για να προσδιορίσει πόσο αξιόπιστα και με ακρίβεια μπορούν να εντοπίσουν παθολογίες που σχετίζονται με 10 κοινώς διαγνωσμένες καταστάσεις, όπως πνευμονικές ακτίνες Χ. καρδιακές δομές. Για να προσδιορίσουν την απόδοση, οι ερευνητές συνέκριναν την απόδοση των εργαλείων με την κρίση των ειδικών.

Τελικά, τα εργαλεία που χρησιμοποιούσαν σημαντικούς χάρτες θερμότητας που βασίζονται σε θερμικούς χάρτες είχαν σταθερά χαμηλότερες επιδόσεις σε σύγκριση με τους ανθρώπινους ακτινολόγους στην αξιολόγηση εικόνας και στην ικανότητά τους να ανιχνεύουν παθολογικές βλάβες.

Η εργασία αντιπροσωπεύει την πρώτη συγκριτική ανάλυση μεταξύ των χαρτών προεξοχής και της απόδοσης των ανθρώπινων ειδικών στην αξιολόγηση πολλαπλών ακτινογραφικών παθολογιών. Η μελέτη παρέχει επίσης μια λεπτομερή κατανόηση του εάν και πώς ορισμένα παθολογικά χαρακτηριστικά σε μια εικόνα μπορούν να επηρεάσουν την απόδοση των εργαλείων AI.

Η λειτουργία του χάρτη εξέχουσας σημασίας χρησιμοποιείται ήδη ως εργαλείο διασφάλισης ποιότητας από κλινικές πρακτικές που χρησιμοποιούν τεχνητή νοημοσύνη για την ερμηνεία μεθόδων ανίχνευσης με τη βοήθεια υπολογιστή, όπως: Β. Ανάγνωση ακτινογραφιών θώρακος. Ωστόσο, ενόψει των νέων ευρημάτων, αυτό το χαρακτηριστικό θα πρέπει να το απολαμβάνουμε με προσοχή και μια υγιή δόση σκεπτικισμού, σύμφωνα με τους ερευνητές.

Η ανάλυσή μας δείχνει ότι οι χάρτες αξιοπιστίας δεν είναι ακόμη αρκετά αξιόπιστοι για να επικυρώσουν μεμονωμένες κλινικές αποφάσεις που λαμβάνονται από ένα μοντέλο AI. Έχουμε εντοπίσει σημαντικούς περιορισμούς που εγείρουν σοβαρές ανησυχίες για την ασφάλεια για χρήση στην τρέχουσα πρακτική.»

Pranav Rajpurkar, Επίκουρος Καθηγητής Βιοϊατρικής Πληροφορικής, HMS

Οι ερευνητές προειδοποιούν ότι λόγω των σημαντικών περιορισμών που εντοπίστηκαν στη μελέτη, οι χάρτες θερμότητας που βασίζονται σε προεξοχή θα πρέπει να βελτιωθούν περαιτέρω πριν χρησιμοποιηθούν ευρέως σε κλινικά μοντέλα τεχνητής νοημοσύνης.

Η πλήρης βάση κώδικα, τα δεδομένα και η ανάλυση της ομάδας είναι ανοιχτά και διαθέσιμα σε όποιον ενδιαφέρεται να εξερευνήσει αυτή τη σημαντική πτυχή της κλινικής μηχανικής μάθησης σε εφαρμογές ιατρικής απεικόνισης.

Πηγή:

Ιατρική Σχολή του Χάρβαρντ

Αναφορά:

Saporta, Α., et al. (2022) Συγκριτική αξιολόγηση μεθόδων προεξοχής για ερμηνεία ακτινογραφίας θώρακα. Νοημοσύνη φύσης-μηχανής. doi.org/10.1038/s42256-022-00536-x.

.