Automatisiertes Tool für maschinelles Lernen scannt soziale Medien, um Risiken für Gesundheitsprodukte zu erkennen

Laut einer am 30. September im Open-Access-Journal veröffentlichten Studie kann ein neues Tool für künstliche Intelligenz Social-Media-Daten scannen, um unerwünschte Ereignisse im Zusammenhang mit Verbrauchergesundheitsprodukten zu entdecken PLOS Digitale Gesundheit von John Ayers von der University of California, San Diego, USA, und Kollegen.

Die ständige Überwachung der Sicherheit von Verbraucherprodukten nach dem Inverkehrbringen ist für die öffentliche Gesundheit und Sicherheit von entscheidender Bedeutung. Die derzeitigen Meldesysteme für unerwünschte Ereignisse bei zugelassenen verschreibungspflichtigen Medikamenten und Medizinprodukten basieren jedoch auf freiwilligen Meldungen von Ärzten und Herstellern an die US-amerikanische Food and Drug Administration. Das schnelle Wachstum bei Verbrauchergesundheitsprodukten, wie z. B. aus Cannabis gewonnenen Produkten und Nahrungsergänzungsmitteln, hat zu einem Bedarf an neuen Systemen zur Erkennung unerwünschter Ereignisse geführt.

In der neuen Studie testeten die Forscher die Wirksamkeit eines neuen automatisierten maschinellen Lerntools namens „Waldo“, das Social-Media-Texte durchsuchen kann, um Verbraucherbeschreibungen unerwünschter Ereignisse zu finden. Das Tool wurde auf seine Fähigkeit getestet, Reddit-Beiträge zu scannen, um unerwünschte Ereignisse (UE) von aus Cannabis gewonnenen Produkten zu finden.

Im Vergleich zu menschlichen AE-Anmerkungen einer Reihe von Reddit-Beiträgen hatte Waldo eine Genauigkeit von 99,7 %, weitaus besser als ein Allzweck-ChatGPT-Chatbot, dem die gleichen Beiträge gegeben wurden. In einem umfassenderen Datensatz von 437.132 Reddit-Beiträgen identifizierte Waldo 28.832 potenzielle Schadensmeldungen. Als die Forscher eine Zufallsstichprobe dieser Beiträge manuell validierten, stellten sie fest, dass es sich bei 86 % um echte Nebenwirkungen handelte. Das Team hat Waldo als Open-Source-Lösung bereitgestellt, sodass jeder – Forscher, Kliniker oder Aufsichtsbehörden – es nutzen kann.

„Waldo stellt einen bedeutenden Fortschritt in der Social-Media-basierten AE-Erkennung dar und erreicht im Vergleich zu bestehenden Ansätzen eine überlegene Leistung“, sagen die Autoren. „Darüber hinaus ist Waldos automatisierter Ansatz weit über die aus Cannabis gewonnenen Produkte hinaus auf andere Verbrauchergesundheitsprodukte anwendbar, die ebenfalls keiner behördlichen Aufsicht unterliegen.“

Waldo zeigt, dass die Gesundheitserfahrungen, die Menschen online teilen, nicht nur Lärm sind, sondern wertvolle Sicherheitssignale. Indem wir diese Stimmen erfassen, können wir reale Schäden ans Licht bringen, die für herkömmliche Meldesysteme unsichtbar sind.“

Karan Desai, Hauptautor

John Ayers fügt hinzu: „Dieses Projekt zeigt, wie digitale Gesundheitstools die Überwachung nach dem Inverkehrbringen verändern können. Indem wir Waldo als Open-Source-Lösung anbieten, stellen wir sicher, dass jeder, von der Regulierungsbehörde bis zum Kliniker, es zum Schutz von Patienten nutzen kann.“

Zweitautor Vijay Tiyyala bemerkt: „Aus technischer Sicht haben wir gezeigt, dass ein sorgfältig trainiertes Modell wie RoBERTa modernste Chatbots für die AE-Erkennung übertreffen kann. Waldos Genauigkeit war überraschend und ermutigend.“

„Durch die Demokratisierung des Zugangs zu Waldo hofft das Team, die offene Wissenschaft zu beschleunigen und die Sicherheit für Patienten zu verbessern.“

Quellen: