Den hurtige indførelse af kunstig intelligens i primærpleje giver anledning til sikkerhedsproblemer

Den hurtige indførelse af kunstig intelligens i primærpleje giver anledning til sikkerhedsproblemer

Fra digitale skribenter til ChatGPT er kunstig intelligens (AI) hurtigt ved at finde vej til praksis i primærpleje. En ny undersøgelse fra University of Sydney advarer om, at teknologien er ved at komme foran sikkerhedskontrollen og sætter patienter og sundhedssystemer i fare.

Undersøgelsen, offentliggjort iLancet Primary Careopsummeret global indsigt i, hvordan kunstig intelligens bliver brugt i primærpleje ved hjælp af data fra USA, Storbritannien, Australien, flere afrikanske lande, Latinamerika, Irland og andre regioner. Den fandt ud af, at AI-værktøjer såsom ChatGPT, AI Scribes og patientvendte apps i stigende grad bliver brugt til kliniske forespørgsler, dokumentation og patientkonsultation, men de fleste bruges uden grundig evaluering eller regulatorisk tilsyn.

Primærpleje er rygraden i sundhedssystemerne, der giver tilgængelig og kontinuerlig pleje. AI kan lette presset på overbebyrdede tjenester, men uden sikkerhedsforanstaltninger risikerer vi utilsigtede konsekvenser for patientsikkerheden og kvaliteten af ​​behandlingen."

Lektor Liliana Laranjo, Principal Investigator, Horizon Fellow ved Westmead Applied Research Center

Læger og patienter henvender sig til AI, men beviserne halter

Primærplejen er under pres verden over, fra mangel på arbejdskraft til udbrændthed af læger til den stigende kompleksitet af levering af sundhedsydelser, forværret af COVID-19-pandemien. AI bliver udråbt som en løsning med værktøjer, der sparer tid ved at konsolidere konsultationer, automatisere administration og understøtte beslutningstagning.

I Storbritannien rapporterede en ud af fem praktiserende læger, at de brugte generativ AI i klinisk praksis i 2024. Gennemgangen fandt dog, at de fleste undersøgelser af AI i primærplejen er baseret på simuleringer snarere end studier i den virkelige verden, hvilket efterlader kritiske huller i effektivitet, sikkerhed og retfærdighed.

Antallet af praktiserende læger, der bruger generativ AI i Australien, er ikke pålideligt kendt, men anslås til 40 pct.

"AI er allerede i vores klinikker, men uden australske data om, hvor mange praktiserende læger, der bruger det, eller ordentligt tilsyn, flyver vi blinde, når det kommer til sikkerhed," sagde lektor Laranjo.

Mens AI-skrivere og omgivende lytteteknologier kan reducere kognitiv belastning og forbedre arbejdstilfredsheden for praktiserende læger, udgør de også risici såsom automatiseringsbias og tab af vigtige sociale eller biografiske detaljer i lægejournaler.

"Vores undersøgelse viste, at mange praktiserende læger, der bruger AI-skrivere, ikke ønsker at gå tilbage til at skrive. De siger, at det fremskynder konsultationer og giver dem mulighed for at fokusere på patienter, men disse værktøjer kan gå glip af vigtige personlige detaljer og introducere bias," sagde lektor Laranjo.

For patienter lover symptomtjekkere og sundhedsapps bekvemmelighed og personlig pleje, men deres nøjagtighed varierer ofte, og mange mangler mulighed for uafhængig vurdering.

"Generative modeller som ChatGPT kan lyde overbevisende, men er faktuelt forkerte," sagde lektor Laranjo. "De er ofte enige med brugerne, selv når de tager fejl, hvilket er farligt for patienter og udfordrende for læger."

Retfærdigheds- og miljørisici ved AI

Eksperter advarer om, at selvom AI lover hurtigere diagnoser og personlig pleje, kan det også uddybe sundhedsmæssige huller, efterhånden som bias kryber ind. For eksempel fejldiagnosticerer dermatologiske værktøjer ofte mørkere hudtoner, som typisk er underrepræsenteret i træningsdatasæt.

Omvendt siger forskere, at når den er designet godt, kan AI adressere forskelle: En gigtundersøgelse fordoblede antallet af sorte patienter, der var kvalificerede til knæudskiftninger, ved at bruge en algoritme trænet på et forskelligartet datasæt, hvilket gør det bedre til at forudsige patientrapporterede knæsmerter sammenlignet med standard røntgenaflæsninger fra læger.

"Ignorering af socioøkonomiske faktorer og universelt design kan resultere i, at kunstig intelligens i primærplejen går fra et gennembrud til et tilbageslag," sagde lektor Laranjo.

Miljøomkostningerne er også enorme. Træning GPT-3, versionen af ​​ChatGPT udgivet i 2020, udledte mængder af kuldioxid svarende til 188 flyvninger mellem New York og San Francisco. Datacentre bruger nu omkring 1 procent af det globale elforbrug, og i Irland er datacentre ansvarlige for mere end 20 procent af det nationale elforbrug.

"AIs miljømæssige fodaftryk er udfordrende," sagde lektor Laranjo. "Vi har brug for bæredygtige tilgange, der balancerer innovation med lighed og planetarisk sundhed."

Forskerne opfordrer regeringer, klinikere og teknologiudviklere til at prioritere:

• robuste Bewertung und reale Überwachung von KI-Tools
• Regulierungsrahmen, die mit der Innovation Schritt halten
• Schulung von Ärzten und der Öffentlichkeit zur Verbesserung der KI-Kenntnisse
• Strategien zur Voreingenommenheitsminderung, um Gerechtigkeit in der Gesundheitsversorgung sicherzustellen
• nachhaltige Praktiken zur Reduzierung der Umweltauswirkungen von KI.

"AI giver mulighed for at omforme primærpleje, men innovation må ikke ske på bekostning af sikkerhed eller retfærdighed," sagde lektor Laranjo. "Vi har brug for tværindustrielle partnerskaber for at sikre, at kunstig intelligens kommer alle til gode - ikke kun de teknologikyndige eller veludstyrede."

Kilder: