Rychlé přijetí umělé inteligence v primární péči vyvolává obavy o bezpečnost

Rychlé přijetí umělé inteligence v primární péči vyvolává obavy o bezpečnost

Od digitálních písařů po ChatGPT si umělá inteligence (AI) rychle nachází cestu do postupů primární péče. Nová studie z University of Sydney varuje, že tato technologie předbíhá bezpečnostní kontroly a ohrožuje pacienty a zdravotnické systémy.

Studie, publikovaná vPrimární péče Lancetshrnul globální pohledy na to, jak se umělá inteligence používá v primární péči, s využitím údajů ze Spojených států, Spojeného království, Austrálie, několika afrických zemí, Latinské Ameriky, Irska a dalších regionů. Zjistilo se, že nástroje umělé inteligence, jako je ChatGPT, AI Scribes a aplikace pro pacienty, se stále častěji používají pro klinické dotazy, dokumentaci a konzultace s pacienty, ale většina z nich se používá bez důkladného hodnocení nebo regulačního dohledu.

Primární péče je páteří zdravotnických systémů a poskytuje dostupnou a nepřetržitou péči. Umělá inteligence může zmírnit tlak na přetížené služby, ale bez záruk riskujeme nezamýšlené důsledky pro bezpečnost pacientů a kvalitu péče.“

Docent Liliana Laranjo, hlavní řešitel, Horizon Fellow ve Westmead Applied Research Center

Praktičtí lékaři a pacienti se obracejí na AI, ale důkazy pokulhávají

Primární péče je celosvětově pod tlakem, od nedostatku pracovních sil přes vyhoření lékařů až po rostoucí složitost poskytování zdravotní péče, kterou ještě zhoršila pandemie COVID-19. AI je nabízeno jako řešení s nástroji, které šetří čas konsolidací konzultací, automatizací správy a podporou rozhodování.

Ve Spojeném království jeden z pěti praktických lékařů uvedl, že v roce 2024 používal generativní umělou inteligenci v klinických praxích. Z přehledu však vyplynulo, že většina studií umělé inteligence v primární péči je založena spíše na simulacích než na studiích ze skutečného světa, což ponechává kritické mezery v účinnosti, bezpečnosti a rovnosti.

Počet praktických lékařů používajících generativní AI v Austrálii není spolehlivě znám, ale odhaduje se na 40 procent.

"AI je již na našich klinikách, ale bez australských údajů o tom, kolik praktických lékařů ji používá, nebo bez řádného dohledu, jsme slepí, pokud jde o bezpečnost," řekl docent Laranjo.

Zatímco umělá inteligence a technologie okolního poslechu mohou snížit kognitivní zátěž a zlepšit spokojenost praktických lékařů s prací, představují také rizika, jako je automatizační zkreslení a ztráta důležitých sociálních nebo biografických detailů v lékařských záznamech.

"Naše studie zjistila, že mnoho praktických lékařů, kteří používají písaře s umělou inteligencí, se nechce vrátit k psaní na stroji. Tvrdí, že to urychluje konzultace a umožňuje jim soustředit se na pacienty, ale tyto nástroje mohou postrádat důležité osobní údaje a zavádět zkreslení," řekl docent Laranjo.

Pro pacienty slibují kontroly symptomů a zdravotní aplikace pohodlí a personalizovanou péči, ale jejich přesnost se často liší a mnozí postrádají příležitost k nezávislému posouzení.

"Generativní modely jako ChatGPT mohou znít přesvědčivě, ale jsou fakticky nesprávné," řekl docent Laranjo. "Často souhlasí s uživateli, i když se mýlí, což je nebezpečné pro pacienty a náročné pro lékaře."

Justiční a environmentální rizika AI

Odborníci varují, že ačkoli AI slibuje rychlejší diagnostiku a personalizovanou péči, může také prohloubit zdravotní mezery, protože se do nich vkrádá zaujatost. Dermatologické nástroje například často špatně diagnostikují tmavší odstíny pleti, které jsou v tréninkových souborech obvykle nedostatečně zastoupeny.

Výzkumníci naopak tvrdí, že když je umělá inteligence dobře navržena, může řešit rozdíly: Studie artritidy zdvojnásobila počet černošských pacientů vhodných pro náhradu kolenního kloubu pomocí algoritmu trénovaného na různém souboru dat, díky čemuž je lepší předpovídat bolest kolena hlášenou pacienty ve srovnání se standardními rentgenovými hodnotami lékařů.

„Ignorování socioekonomických faktorů a univerzálního designu by mohlo vést k tomu, že umělá inteligence v primární péči přejde od průlomu k neúspěchu,“ řekl docent Laranjo.

Environmentální náklady jsou také enormní. Tréninková GPT-3, verze ChatGPT vydaná v roce 2020, emitovala množství oxidu uhličitého odpovídající 188 letům mezi New Yorkem a San Franciskem. Datová centra nyní spotřebovávají přibližně 1 procento celosvětové spotřeby elektřiny a v Irsku jsou datová centra zodpovědná za více než 20 procent národní spotřeby elektřiny.

„Environmentální stopa AI je náročná,“ řekl docent Laranjo. "Potřebujeme udržitelné přístupy, které vyvažují inovace s rovností a zdravím planety."

Výzkumníci naléhají na vlády, lékaře a vývojáře technologií, aby upřednostnili:

• robuste Bewertung und reale Überwachung von KI-Tools
• Regulierungsrahmen, die mit der Innovation Schritt halten
• Schulung von Ärzten und der Öffentlichkeit zur Verbesserung der KI-Kenntnisse
• Strategien zur Voreingenommenheitsminderung, um Gerechtigkeit in der Gesundheitsversorgung sicherzustellen
• nachhaltige Praktiken zur Reduzierung der Umweltauswirkungen von KI.

„AI nabízí příležitost přetvořit primární péči, ale inovace nesmí být na úkor bezpečnosti nebo spravedlnosti,“ řekl docent Laranjo. „Potřebujeme mezioborová partnerství, abychom zajistili, že AI bude přínosem pro všechny – nejen pro technicky zdatné nebo dobře vybavené.“

Zdroje: