Δυνατότητες και περιορισμοί χρήσης ενός μοντέλου μεγάλης γλώσσας για την απάντηση στα μηνύματα του ασθενούς

Δυνατότητες και περιορισμοί χρήσης ενός μοντέλου μεγάλης γλώσσας για την απάντηση στα μηνύματα του ασθενούς

Μια νέα μελέτη από ερευνητές στο Mass General Brigham δείχνει ότι τα μεγάλα γλωσσικά μοντέλα (LLM), ένας τύπος γενετικής τεχνητής νοημοσύνης, μπορούν να βοηθήσουν στη μείωση του φόρτου εργασίας του γιατρού και στη βελτίωση της εκπαίδευσης των ασθενών όταν χρησιμοποιούνται για τη σύνταξη απαντήσεων σε μηνύματα ασθενών. Η μελέτη βρήκε επίσης περιορισμούς στα LLM που μπορεί να επηρεάσουν την ασφάλεια των ασθενών, υποδηλώνοντας ότι η προσεκτική παρακολούθηση των επικοινωνιών που δημιουργούνται από τα LLM είναι απαραίτητη για την ασφαλή χρήση. Τα αποτελέσματα δημοσιεύτηκαν στοLancet Digital Healthτονίζουν την ανάγκη για μια μετρημένη προσέγγιση στην εφαρμογή του LLM.

Οι αυξανόμενες διοικητικές απαιτήσεις και απαιτήσεις τεκμηρίωσης έχουν οδηγήσει σε αύξηση της εξουθένωσης των γιατρών. Για να βελτιστοποιήσουν και να αυτοματοποιήσουν τις ροές εργασίας των γιατρών, οι προμηθευτές ηλεκτρονικών αρχείων υγείας (EHR) έχουν υιοθετήσει αλγόριθμους τεχνητής νοημοσύνης που δημιουργούνται για να βοηθήσουν τους γιατρούς να συνθέσουν μηνύματα στους ασθενείς. Ωστόσο, η αποτελεσματικότητα, η ασφάλεια και ο κλινικός αντίκτυπος της χρήσης τους ήταν άγνωστες.

Το Generative AI έχει τη δυνατότητα να προσφέρει το καλύτερο και από τους δύο κόσμους, μειώνοντας την επιβάρυνση του κλινικού ιατρού ενώ παράλληλα εκπαιδεύει καλύτερα τον ασθενή. Ωστόσο, με βάση την εμπειρία της ομάδας μας από τη συνεργασία με LLMs, έχουμε ανησυχίες σχετικά με τους πιθανούς κινδύνους που συνδέονται με την ενσωμάτωση των LLM στα συστήματα ανταλλαγής μηνυμάτων. Καθώς η ενσωμάτωση του LLM στα EHR γίνεται πιο κοινή, ο στόχος μας σε αυτή τη μελέτη ήταν να εντοπίσουμε τα σχετικά οφέλη και ελλείψεις».

Danielle Bitterman, MD,Αντίστοιχος συγγραφέας,Μέλος ΔΕΠ στο πρόγραμμα Τεχνητής Νοημοσύνης στην Ιατρική (AIM) στο Mass General Brigham και ιατρός στο Τμήμα Ακτινολογικής Ογκολογίας στο Brigham and Women's Hospital

Για τη μελέτη, οι ερευνητές χρησιμοποίησαν το GPT-4 του OpenAI, ένα βασικό LLM, για να δημιουργήσουν 100 σενάρια σχετικά με ασθενείς με καρκίνο και μια συνοδευτική ερώτηση για τον ασθενή. Η μελέτη δεν χρησιμοποίησε ερωτήσεις από πραγματικούς ασθενείς. Έξι ογκολόγοι ακτινοβολίας απάντησαν στις ερωτήσεις χειροκίνητα. Στη συνέχεια, το GPT-4 δημιούργησε απαντήσεις στις ερωτήσεις. Τέλος, οι απαντήσεις που δημιουργήθηκαν από το LLM παρασχέθηκαν στους ίδιους ογκολόγους ακτινοβολίας για έλεγχο και επεξεργασία. Οι ογκολόγοι ακτινοβολίας δεν γνώριζαν εάν το GPT-4 ή ένας άνθρωπος είχε γράψει τις απαντήσεις και στο 31% των περιπτώσεων υπέθεσαν ότι μια απάντηση που δημιουργήθηκε από το LLM είχε γραφτεί από άνθρωπο.

Κατά μέσο όρο, οι απαντήσεις που συντάχθηκαν από ιατρό ήταν μικρότερες από τις απαντήσεις που συντάχθηκαν από το LLM. Το GPT-4 έτεινε να περιλαμβάνει περισσότερη εκπαίδευση για τους ασθενείς αλλά ήταν λιγότερο κατευθυντικό στις οδηγίες του. Οι γιατροί ανέφεραν ότι η υποστήριξη LLM βελτίωσε την αντιληπτή αποτελεσματικότητά τους και θεώρησαν τις αποκρίσεις που δημιουργούνται από το LLM ασφαλείς το 82,1 τοις εκατό του χρόνου και αποδεκτές για αποστολή σε έναν ασθενή χωρίς περαιτέρω επεξεργασία στο 58,3 τοις εκατό των περιπτώσεων. Οι ερευνητές σημείωσαν επίσης ορισμένες ελλείψεις: Εάν δεν αντιμετωπιστούν, το 7,1 τοις εκατό των αποκρίσεων που δημιουργούνται από το LLM θα μπορούσαν να ενέχουν κίνδυνο για τον ασθενή και το 0,6 τοις εκατό των απαντήσεων θα μπορούσαν να θέτουν σε κίνδυνο τον θάνατο, κυρίως επειδή η απόκριση GPT-4 απέτυχε να ενημερώσει επειγόντως τον ασθενή να αναζητήσει άμεση ιατρική βοήθεια.

Αξίζει να σημειωθεί ότι οι απαντήσεις που δημιουργήθηκαν από το LLM/επεξεργάστηκε από τον γιατρό ήταν πιο παρόμοιες σε μήκος και περιεχόμενο με τις απαντήσεις που δημιουργήθηκαν από το LLM παρά με τις μη αυτόματες απαντήσεις. Σε πολλές περιπτώσεις, οι γιατροί διατήρησαν εκπαιδευτικό περιεχόμενο που δημιουργήθηκε από το LLM, υποδηλώνοντας ότι το θεώρησαν πολύτιμο. Αν και αυτό θα μπορούσε να προωθήσει την εκπαίδευση των ασθενών, οι ερευνητές τονίζουν ότι η υπερβολική εξάρτηση από τα LLM μπορεί επίσης να εγκυμονεί κινδύνους λόγω των αποδεδειγμένων ελλείψεών τους.

Η εμφάνιση εργαλείων τεχνητής νοημοσύνης στην υγειονομική περίθαλψη έχει τη δυνατότητα να μεταμορφώσει θετικά τη συνέχεια της περίθαλψης και είναι επιτακτική ανάγκη να εξισορροπηθεί το δυναμικό τους για καινοτομία με τη δέσμευση για ασφάλεια και ποιότητα. Η Mass General Brigham είναι ηγέτης στην υπεύθυνη χρήση της τεχνητής νοημοσύνης και διεξάγει εις βάθος έρευνα για νέες και αναδυόμενες τεχνολογίες για να υποστηρίξει την ενσωμάτωση της τεχνητής νοημοσύνης στην παροχή υγειονομικής περίθαλψης, την υποστήριξη του εργατικού δυναμικού και τις διοικητικές διαδικασίες. Ο Mass General Brigham ηγείται επί του παρόντος ενός πιλοτικού έργου για την ενσωμάτωση της γενετικής τεχνητής νοημοσύνης στον ηλεκτρονικό φάκελο υγείας για τις απαντήσεις των συντακτών στα μηνύματα της πύλης ασθενών και δοκιμάζει την τεχνολογία σε διάφορες πρακτικές εξωτερικών ασθενών σε όλο το σύστημα υγείας.

Στο εξής, οι συγγραφείς της μελέτης θα εξετάσουν πώς αντιλαμβάνονται οι ασθενείς την επικοινωνία που βασίζεται στο LLM και πώς τα φυλετικά και δημογραφικά χαρακτηριστικά των ασθενών επηρεάζουν τις αποκρίσεις που δημιουργούνται από το LLM με βάση γνωστές αλγοριθμικές προκαταλήψεις στα LLM.

«Η ενημέρωση ενός ανθρώπου είναι ένα ουσιαστικό βήμα ασφάλειας όταν πρόκειται για τη χρήση της τεχνητής νοημοσύνης στην ιατρική, αλλά δεν είναι μια λύση που ταιριάζει σε όλους», είπε ο Bitterman. "Καθώς οι πάροχοι βασίζονται όλο και περισσότερο στα LLM, μπορεί να χάσουμε σφάλματα που θα μπορούσαν να προκαλέσουν βλάβη στους ασθενείς. Αυτή η μελέτη δείχνει την ανάγκη για συστήματα παρακολούθησης της ποιότητας των LLM, εκπαίδευση για κλινικούς ιατρούς για την κατάλληλη παρακολούθηση των αποτελεσμάτων LLM και περισσότερες δεξιότητες τεχνητής νοημοσύνης για ασθενείς και κλινικούς ιατρούς." και, σε θεμελιώδες επίπεδο, καλύτερη κατανόηση του τρόπου αντιμετώπισης των λαθών που κάνουν οι LLMs».

Πηγές: