Patologi AI-modeller avslöjar demografiska fördomar i cancerdiagnostik

Patologi AI-modeller avslöjar demografiska fördomar i cancerdiagnostik

Patologi har länge varit hörnstenen i cancerdiagnostik och behandling. En patolog undersöker noggrant en ultratunn del av mänsklig vävnad under ett mikroskop efter ledtrådar som indikerar förekomst, typ och stadium av cancer.

För en mänsklig expert är det att titta på ett virvlande rosa vävnadsprov prickat med lila celler som att betygsätta en undersökning utan namn på det - bilden avslöjar viktig information om sjukdomen utan att ge ytterligare detaljer om patienten.

Detsamma gäller dock inte nödvändigtvis de modeller för artificiell intelligens inom patologi som har vuxit fram de senaste åren. En ny studie ledd av ett team vid Harvard Medical School visar att dessa modeller på något sätt kan sluta sig till demografisk information från patologiska diabilder, vilket leder till cancerdiagnosbias i olika populationer.

Genom att analysera flera stora patologiska AI-modeller för cancerdiagnos fann forskarna ojämlika prestationer när det gäller att upptäcka och differentiera cancer i olika populationer baserat på patienternas självrapporterade kön, ras och ålder. De identifierade flera möjliga förklaringar till denna demografiska snedvridning.

Teamet utvecklade sedan ett ramverk som heter FAIR-Path, som hjälpte till att minska bias i modellerna.

Att läsa demografiska data från en patologibild anses vara ett "omöjligt uppdrag" för en mänsklig patolog, så fördomen i patologisk AI var en överraskning för oss."

Kun-Hsing Yu, senior författare, docent i biomedicinsk informatik, Blavatnik Institute vid HMS och HMS biträdande professor i patologi vid Brigham and Women's Hospital

Att upptäcka och bekämpa AI-bias i medicin är avgörande eftersom det kan påverka diagnostisk noggrannhet såväl som patientresultat, sa Yu. Framgången med FAIR-Path visar att forskare kan förbättra rättvisan hos AI-modeller för cancerpatologi, och potentiellt andra AI-modeller inom medicin, med minimal ansträngning.

Arbetet, som delvis stöds av federal finansiering, beskrivs den 16 december iCell Rapporter Medicin.

Kontrollera för partiskhet

Yu och hans team undersökte bias i fyra vanliga AI-patologimodeller utvecklade för cancerbedömning. Dessa djupinlärningsmodeller tränades på uppsättningar av kommenterade patologibilder, från vilka de "lärde sig" biologiska mönster som gör det möjligt för dem att analysera nya bilder och ställa diagnoser.

Forskarna matade AI-modellerna med ett stort, tvärinstitutionellt arkiv av patologibilder från 20 typer av cancer.

De fann att alla fyra modellerna hade sned prestanda och gav mindre exakta diagnoser för patienter i vissa grupper baserat på självrapporterad ras, kön och ålder. Till exempel hade modellerna svårt att särskilja lungcancersubtyper hos afroamerikanska och manliga patienter och bröstcancersubtyper hos yngre patienter. Modellerna hade också svårt att upptäcka cancer i bröst, njure, sköldkörtel och mage i vissa populationer. Dessa prestationsskillnader inträffade i cirka 29 procent av de diagnostiska uppgifterna som utfördes av modellerna.

Denna diagnostiska felaktighet, sa Yu, beror på att dessa modeller extraherar demografisk information från bilderna - och förlitar sig på demografiska specifika mönster för att diagnostisera.

Resultaten var oväntade "eftersom vi förväntar oss en objektiv patologibedömning", tillade Yu. "När vi utvärderar bilder behöver vi inte nödvändigtvis känna till en patients demografi för att ställa en diagnos."

Teamet undrade: Varför visade inte patologisk AI samma objektivitet?

Letar efter förklaringar

Forskarna kom med tre förklaringar.

Eftersom det är lättare för patienter i vissa populationer att få prover, tränas AI-modellerna på olika urvalsstorlekar. Detta gör det svårare för modeller att ställa en korrekt diagnos i prover som inte är väl representerade i träningsuppsättningen, till exempel från minoritetsgrupper baserat på ras, ålder eller kön.

Men "problemet var mycket djupare", sa Yu. Forskarna märkte att modellerna ibland presterade sämre i en befolkningsgrupp, även när urvalsstorlekarna var jämförbara.

Ytterligare analys visade att detta kan bero på skillnader i sjukdomsprevalens: vissa cancerformer är vanligare i vissa grupper, vilket gör modellerna bättre på att ställa en diagnos i dessa grupper. Som ett resultat kan modellerna ha svårt att diagnostisera cancer i populationer där de inte är lika vanliga.

AI-modellerna fångar också subtila molekylära skillnader i prover från olika demografiska grupper. Till exempel kan modellerna upptäcka mutationer i cancerdrivargener och använda dem som en proxy för typen av cancer – och är därför mindre effektiva för att ställa en diagnos i populationer där dessa mutationer är mindre vanliga.

"Vi fann att AI:s kraft gör att den kan särskilja många oklara biologiska signaler som inte kan upptäckas av normal mänsklig tolkning," sa Yu.

Detta gör att modellerna potentiellt kan lära sig signaler som är mer relaterade till demografi än sjukdom. Detta kan i sin tur påverka deras diagnostiska förmågor över grupper.

Sammantaget, säger Yu, tyder dessa förklaringar på att bias i patologisk AI inte bara kommer från den varierande kvaliteten på träningsdata, utan också från hur forskarna tränar modellerna.

Hitta en lösning

Efter att ha utvärderat omfattningen och orsakerna till partiskheten, gav Yu och hans team ut för att åtgärda problemet.

Forskarna utvecklade FAIR-Path, ett enkelt ramverk baserat på ett befintligt maskininlärningskoncept som kallas kontrastiv inlärning. Kontrastivt lärande tillför ett element till AI-träning som lär modellen att betona skillnaderna mellan viktiga kategorier – i det här fallet cancerformer – och tona ner skillnaderna mellan mindre viktiga kategorier – i det här fallet demografiska grupper.

När forskarna tillämpade ramverket FAIR-Path på modellerna de testade minskade det diagnostiska skillnader med cirka 88 procent.

"Vi visar att genom denna lilla justering kan modellerna lära sig robusta funktioner som gör dem mer generaliserbara och rättvisa över olika populationer," sa Yu.

Resultatet är uppmuntrande, tillade han, eftersom det tyder på att fördomar kan minskas även utan att träna modellerna på helt rättvisa, representativa data.

Därefter samarbetar Yu och hans team med institutioner runt om i världen för att undersöka omfattningen av bias i patologisk AI på platser med olika demografi och olika kliniska och patologiska metoder. De undersöker också sätt att utöka FAIR-Path till inställningar med begränsade provstorlekar. Dessutom vill de undersöka hur partiskhet i AI bidrar till demografiska skillnader i sjukvård och patientresultat.

Ytterst, sa Yu, är målet att skapa rättvisa, opartiska patologiska AI-modeller som kan förbättra cancerbehandlingen genom att hjälpa mänskliga patologer att ställa en diagnos snabbt och korrekt.

"Jag tror att det finns hopp om att om vi är mer medvetna och försiktiga med att utveckla AI-system, kan vi utveckla modeller som fungerar bra i vilken befolkning som helst", sa han.

Källor: