Den raske bruken av kunstig intelligens i primærhelsetjenesten skaper sikkerhetsproblemer

Den raske bruken av kunstig intelligens i primærhelsetjenesten skaper sikkerhetsproblemer

Fra digitale skribenter til ChatGPT, kunstig intelligens (AI) finner raskt veien inn i primærhelsetjenesten. En ny studie fra University of Sydney advarer om at teknologien går foran sikkerhetskontrollene og setter pasienter og helsesystemer i fare.

Studien, publisert iLancet Primary Careoppsummerte global innsikt i hvordan AI brukes i primærhelsetjenesten ved å bruke data fra USA, Storbritannia, Australia, flere afrikanske land, Latin-Amerika, Irland og andre regioner. Den fant at AI-verktøy som ChatGPT, AI Scribes og pasientvendte apper i økende grad blir brukt til kliniske spørsmål, dokumentasjon og pasientkonsultasjon, men de fleste brukes uten grundig evaluering eller regulatorisk tilsyn.

Primæromsorgen er ryggraden i helsevesenet, og gir tilgjengelig og kontinuerlig omsorg. AI kan lette presset på overbelastede tjenester, men uten sikkerhetstiltak risikerer vi utilsiktede konsekvenser for pasientsikkerheten og kvaliteten på behandlingen.»

Førsteamanuensis Liliana Laranjo, hovedetterforsker, Horizon Fellow ved Westmead Applied Research Center

Fastleger og pasienter henvender seg til AI, men bevisene henger etter

Primæromsorgen er under press over hele verden, fra mangel på arbeidskraft til legeutbrenthet til den økende kompleksiteten i levering av helsetjenester, forverret av COVID-19-pandemien. AI blir utpekt som en løsning, med verktøy som sparer tid ved å konsolidere konsultasjoner, automatisere administrasjon og støtte beslutningstaking.

I Storbritannia rapporterte én av fem fastleger at de brukte generativ AI i klinisk praksis i 2024. Gjennomgangen fant imidlertid at de fleste studier av AI i primærhelsetjenesten er basert på simuleringer i stedet for virkelige studier, og etterlater kritiske hull i effektivitet, sikkerhet og rettferdighet.

Antall fastleger som bruker generativ AI i Australia er ikke pålitelig kjent, men anslås til 40 prosent.

"AI er allerede på klinikkene våre, men uten australske data om hvor mange fastleger som bruker det, eller riktig tilsyn, flyr vi blinde når det kommer til sikkerhet," sa førsteamanuensis Laranjo.

Mens AI-skrivere og ambient-lyttingsteknologier kan redusere kognitiv belastning og forbedre jobbtilfredsheten for fastleger, utgjør de også risikoer som automatiseringsskjevhet og tap av viktige sosiale eller biografiske detaljer i medisinske journaler.

"Undersøkelsen vår fant at mange fastleger som bruker AI-skrivere ikke ønsker å gå tilbake til å skrive. De sier at det fremskynder konsultasjonene og lar dem fokusere på pasienter, men disse verktøyene kan gå glipp av viktige personlige detaljer og introdusere skjevheter," sa førsteamanuensis Laranjo.

For pasienter lover symptomkontrollere og helseapper bekvemmelighet og personlig pleie, men nøyaktigheten varierer ofte og mange mangler mulighet for uavhengig vurdering.

"Generative modeller som ChatGPT kan høres overbevisende ut, men er faktisk feil," sa førsteamanuensis Laranjo. "De er ofte enige med brukerne selv når de tar feil, noe som er farlig for pasienter og utfordrende for leger."

Rettferdighet og miljørisiko ved AI

Eksperter advarer om at selv om AI lover raskere diagnoser og personlig pleie, kan det også forsterke helsehull ettersom skjevhetene kommer snikende. For eksempel feildiagnostiserer dermatologiske verktøy ofte mørkere hudtoner, som vanligvis er underrepresentert i treningsdatasett.

Omvendt sier forskere at når den er utformet godt, kan AI adressere forskjeller: En leddgiktstudie doblet antallet svarte pasienter som var kvalifisert for kneproteser ved å bruke en algoritme trent på et mangfoldig datasett, noe som gjør den bedre til å forutsi pasientrapporterte knesmerter sammenlignet med standard røntgenavlesninger av leger.

"Å ignorere sosioøkonomiske faktorer og universell utforming kan føre til at AI i primærhelsetjenesten går fra et gjennombrudd til et tilbakeslag," sa førsteamanuensis Laranjo.

Miljøkostnadene er også enorme. Trening GPT-3, versjonen av ChatGPT utgitt i 2020, slapp ut mengder karbondioksid tilsvarende 188 flyreiser mellom New York og San Francisco. Datasentre bruker nå rundt 1 prosent av det globale strømforbruket, og i Irland er datasentre ansvarlige for mer enn 20 prosent av det nasjonale strømforbruket.

"Det miljømessige fotavtrykket til AI er utfordrende," sa førsteamanuensis Laranjo. "Vi trenger bærekraftige tilnærminger som balanserer innovasjon med rettferdighet og planetarisk helse."

Forskerne oppfordrer myndigheter, klinikere og teknologiutviklere til å prioritere:

• robuste Bewertung und reale Überwachung von KI-Tools
• Regulierungsrahmen, die mit der Innovation Schritt halten
• Schulung von Ärzten und der Öffentlichkeit zur Verbesserung der KI-Kenntnisse
• Strategien zur Voreingenommenheitsminderung, um Gerechtigkeit in der Gesundheitsversorgung sicherzustellen
• nachhaltige Praktiken zur Reduzierung der Umweltauswirkungen von KI.

"AI gir muligheten til å omforme primærhelsetjenesten, men innovasjon må ikke gå på bekostning av sikkerhet eller rettferdighet," sa førsteamanuensis Laranjo. "Vi trenger partnerskap på tvers av bransje for å sikre at AI kommer alle til gode - ikke bare de teknologikyndige eller velutstyrte."

Kilder: