Pētījumi liecina, ka pamanāmības siltuma kartes vēl var nebūt gatavas vislabākajam laikam

Pētījumi liecina, ka pamanāmības siltuma kartes vēl var nebūt gatavas vislabākajam laikam

Mākslīgā intelekta modeļi, kas interpretē medicīniskos attēlus, sola uzlabot klīnicistu spēju veikt precīzas un savlaicīgas diagnozes, vienlaikus samazinot darba slodzi, ļaujot aizņemtiem ārstiem koncentrēties uz kritiskiem gadījumiem un deleģēt ikdienas uzdevumus AI.

Taču AI modeļi, kuriem trūkst pārskatāmības par to, kā un kāpēc tiek veikta diagnoze, var būt problemātiski. Šis nepārskatāmais arguments -; pazīstams arī kā “Black Box” AI -; var mazināt ārsta pārliecību par AI rīka uzticamību un tādējādi atturēt to no tā lietošanas. Šis pārredzamības trūkums var arī likt ārstiem uzticēties instrumenta interpretācijai.

Medicīniskās attēlveidošanas jomā pamanāmības novērtējumi ir bijis veids, kā izveidot saprotamākus AI modeļus un demistificēt AI lēmumu pieņemšanu; Pieeja, kas izmanto siltuma kartes, lai noteiktu, vai rīks pareizi fokusējas tikai uz attiecīgā attēla attiecīgajām daļām vai mērķē uz neatbilstošām tā daļām.

Siltuma kartes darbojas, izceļot attēla apgabalus, kas ietekmēja AI modeļa interpretāciju. Tas varētu palīdzēt cilvēku ārstiem noteikt, vai AI modelis fokusējas uz tiem pašiem apgabaliem kā viņi vai nepareizi fokusējas uz neatbilstošām attēla vietām.

Taču jauns pētījums, kas publicēts 10. oktobrī žurnālā Nature Machine Intelligence, liecina, ka, neskatoties uz visiem solītajiem, izcilības siltuma kartes vēl nav gatavas vislabākajam laikam.

Analīze, kuru vadīja Hārvardas Medicīnas skolas pētnieks Pranavs Rajpurkars, Stenforda Metjū Lungrens un Ņujorkas Universitātes Adriels Saporta, kvantitatīvi noteica septiņu plaši izmantotu izcelšanas metožu derīgumu, lai noteiktu, cik uzticami un precīzi tās var identificēt patoloģijas, kas saistītas ar 10 bieži diagnosticētiem stāvokļiem, rentgena attēlu, piemēram, plaušu strukturāliem izsvīdumiem vai plecu bojājumiem. Lai noteiktu veiktspēju, pētnieki salīdzināja rīku veiktspēju ar cilvēku ekspertu vērtējumu.

Galu galā rīki, kas izmantoja galvenās siltuma kartes, kuru pamatā bija siltuma kartes, konsekventi bija sliktāki nekā cilvēka radiologi attēlu novērtēšanā un to spējā noteikt patoloģiskus bojājumus.

Darbs ir pirmā salīdzinošā analīze starp pamanāmības kartēm un cilvēku ekspertu veikumu, novērtējot vairākas radiogrāfiskas patoloģijas. Pētījums arī sniedz detalizētu izpratni par to, vai un kā noteiktas attēla patoloģiskas pazīmes var ietekmēt AI rīku veiktspēju.

Ievērojamības kartes līdzeklis jau tiek izmantots kā kvalitātes nodrošināšanas rīks klīniskajā praksē, kas izmanto AI, lai interpretētu datorizētas noteikšanas metodes, piemēram: B. Krūškurvja rentgenstaru nolasīšana. Taču, ņemot vērā jaunos atklājumus, pēc pētnieku domām, šī īpašība ir jābauda piesardzīgi un veselīga skepticisma deva.

Mūsu analīze liecina, ka atpazīstamības kartes vēl nav pietiekami uzticamas, lai apstiprinātu individuālos klīniskos lēmumus, kas pieņemti, izmantojot AI modeli. Mēs esam identificējuši svarīgus ierobežojumus, kas rada nopietnas bažas par drošību, lietojot pašreizējā praksē.

Pranavs Rajpurkars, HMS biomedicīnas informātikas docents

Pētnieki brīdina, ka, ņemot vērā pētījumā konstatētos svarīgos ierobežojumus, uz pamanāmību balstītas siltuma kartes ir jāturpina pilnveidot, pirms tās tiek plaši izmantotas klīniskajos AI modeļos.

Komandas pilna kodu bāze, dati un analīze ir atvērta un pieejama ikvienam, kas vēlas izpētīt šo svarīgo klīniskās mašīnmācības aspektu medicīnas attēlveidošanas lietojumprogrammās.

Avots:

Hārvardas Medicīnas skola

Atsauce:

Saporta, A. u.c. (2022) Salīdzinošās novērtēšanas metodes krūškurvja rentgenogrammu interpretācijai. Dabas-mašīnas intelekts. doi.org/10.1038/s42256-022-00536-x.

.