Die schnelle Einführung von KI in der Primärversorgung wirft Sicherheitsbedenken auf

Die schnelle Einführung von KI in der Primärversorgung wirft Sicherheitsbedenken auf

Von digitalen Schreibern bis hin zu ChatGPT hält künstliche Intelligenz (KI) schnell Einzug in Hausarztpraxen. Eine neue Studie der University of Sydney warnt davor, dass die Technologie den Sicherheitskontrollen einen Schritt voraus ist und Patienten und Gesundheitssysteme gefährdet.

Die Studie, veröffentlicht in Die Lancet-Grundversorgungfasste anhand von Daten aus den Vereinigten Staaten, dem Vereinigten Königreich, Australien, mehreren afrikanischen Ländern, Lateinamerika, Irland und anderen Regionen globale Erkenntnisse darüber zusammen, wie KI in der Primärversorgung eingesetzt wird. Dabei wurde festgestellt, dass KI-Tools wie ChatGPT, AI Scribes und patientenorientierte Apps zunehmend für klinische Anfragen, Dokumentation und Patientenberatung eingesetzt werden, die meisten jedoch ohne gründliche Evaluierung oder behördliche Aufsicht eingesetzt werden.

Die Primärversorgung ist das Rückgrat der Gesundheitssysteme und bietet eine zugängliche und kontinuierliche Versorgung. KI kann den Druck auf überlastete Dienste verringern, aber ohne Sicherheitsvorkehrungen riskieren wir unbeabsichtigte Folgen für die Patientensicherheit und die Qualität der Pflege.“

Außerordentliche Professorin Liliana Laranjo, Studienleiterin, Horizon Fellow am Westmead Applied Research Center

Allgemeinmediziner und Patienten wenden sich der KI zu, aber die Beweise bleiben zurück

Die Grundversorgung steht weltweit unter Druck, vom Arbeitskräftemangel über Burnout bei Ärzten bis hin zur zunehmenden Komplexität der Gesundheitsversorgung, was durch die COVID-19-Pandemie noch verschärft wird. KI wird als Lösung angepriesen, mit Tools, die Zeit sparen, indem sie Konsultationen zusammenfassen, die Verwaltung automatisieren und die Entscheidungsfindung unterstützen.

Im Vereinigten Königreich gab im Jahr 2024 einer von fünf Hausärzten an, generative KI in klinischen Praxen einzusetzen. Die Überprüfung ergab jedoch, dass die meisten Studien zu KI in der Primärversorgung auf Simulationen und nicht auf realen Studien basieren, was kritische Lücken in Bezug auf Wirksamkeit, Sicherheit und Gerechtigkeit hinterlässt.

Die Zahl der Hausärzte, die in Australien generative KI nutzen, ist nicht zuverlässig bekannt, wird aber auf 40 Prozent geschätzt.

„KI ist bereits in unseren Kliniken, aber ohne australische Daten darüber, wie viele Hausärzte sie verwenden, oder ohne ordnungsgemäße Aufsicht sind wir in puncto Sicherheit im Blindflug“, sagte außerordentlicher Professor Laranjo.

Während KI-Schreiber und Ambient-Listening-Technologien die kognitive Belastung reduzieren und die Arbeitszufriedenheit von Allgemeinmedizinern verbessern können, bergen sie auch Risiken wie Automatisierungsverzerrung und den Verlust wichtiger sozialer oder biografischer Details in Krankenakten.

„Unsere Studie hat ergeben, dass viele Hausärzte, die KI-Schreiber verwenden, nicht mehr zum Tippen zurückkehren möchten. Sie sagen, dass dies die Konsultationen beschleunigt und es ihnen ermöglicht, sich auf die Patienten zu konzentrieren, aber diese Tools können wichtige persönliche Details übersehen und zu Voreingenommenheit führen“, sagte außerordentlicher Professor Laranjo.

Für Patienten versprechen Symptomchecker und Gesundheits-Apps Komfort und individuelle Betreuung, ihre Genauigkeit schwankt jedoch oft und vielen fehlt die Möglichkeit einer unabhängigen Bewertung.

„Generative Modelle wie ChatGPT können überzeugend klingen, sind aber sachlich falsch“, sagte Associate Professor Laranjo. „Oft stimmen sie den Anwendern zu, selbst wenn sie sich irren, was für Patienten gefährlich und für Ärzte eine Herausforderung darstellt.“

Gerechtigkeits- und Umweltrisiken von KI

Experten warnen davor, dass KI zwar schnellere Diagnosen und eine personalisierte Pflege verspricht, aber auch gesundheitliche Lücken vertiefen kann, wenn sich Voreingenommenheit einschleicht. Dermatologische Tools diagnostizieren beispielsweise häufig dunklere Hauttöne falsch, die in Trainingsdatensätzen normalerweise unterrepräsentiert sind.

Umgekehrt sagen die Forscher, dass KI bei gutem Design Ungleichheiten beseitigen kann: Eine Arthritis-Studie verdoppelte die Zahl der schwarzen Patienten, die für einen Knieersatz in Frage kamen, indem ein Algorithmus verwendet wurde, der auf einem vielfältigen Datensatz trainiert wurde, wodurch sie im Vergleich zur standardmäßigen Röntgenbefundung durch Ärzte besser in der Lage war, von Patienten gemeldete Knieschmerzen vorherzusagen.

„Das Ignorieren sozioökonomischer Faktoren und eines universellen Designs könnte dazu führen, dass KI in der Primärversorgung von einem Durchbruch zu einem Rückschlag wird“, sagte außerordentlicher Professor Laranjo.

Auch die Umweltkosten sind enorm. Das Training GPT-3, die 2020 veröffentlichte Version von ChatGPT, emittierte Kohlendioxidmengen, die denen von 188 Flügen zwischen New York und San Francisco entsprachen. Rechenzentren verbrauchen mittlerweile rund 1 Prozent des weltweiten Stromverbrauchs, und in Irland sind Rechenzentren für mehr als 20 Prozent des nationalen Stromverbrauchs verantwortlich.

„Der ökologische Fußabdruck von KI ist eine Herausforderung“, sagte außerordentlicher Professor Laranjo. „Wir brauchen nachhaltige Ansätze, die Innovation mit Gerechtigkeit und Planetengesundheit in Einklang bringen.“

Die Forscher fordern Regierungen, Kliniker und Technologieentwickler dringend auf, Folgendes zu priorisieren:

• robuste Bewertung und reale Überwachung von KI-Tools
• Regulierungsrahmen, die mit der Innovation Schritt halten
• Schulung von Ärzten und der Öffentlichkeit zur Verbesserung der KI-Kenntnisse
• Strategien zur Voreingenommenheitsminderung, um Gerechtigkeit in der Gesundheitsversorgung sicherzustellen
• nachhaltige Praktiken zur Reduzierung der Umweltauswirkungen von KI.

„KI bietet die Chance, die Grundversorgung neu zu gestalten, aber Innovation darf nicht auf Kosten von Sicherheit oder Gerechtigkeit gehen“, sagte außerordentlicher Professor Laranjo. „Wir brauchen branchenübergreifende Partnerschaften, um sicherzustellen, dass KI allen zugute kommt – nicht nur den technikaffinen oder gut ausgestatteten Menschen.“

Quellen: