KI-Sprachmodelle könnten Menschen mit Behinderungen gegenüber beleidigend oder voreingenommen sein
Natural Language Processing (NLP) ist eine Art künstliche Intelligenz, die es Maschinen ermöglicht, Text und gesprochene Wörter in vielen verschiedenen Anwendungen zu verwenden -; wie intelligente Assistenten oder E-Mail-Autokorrektur und Spamfilter -; Unterstützung bei der Automatisierung und Optimierung von Abläufen für einzelne Benutzer und Unternehmen. Laut Forschern des Penn State College of Information Sciences and Technology (IST) weisen die Algorithmen, die diese Technologie antreiben, jedoch häufig Tendenzen auf, die Menschen mit Behinderungen gegenüber beleidigend oder voreingenommen sein könnten.
Die Forscher fanden heraus, dass alle von ihnen getesteten Algorithmen und Modelle eine signifikante implizite Voreingenommenheit gegenüber Menschen mit Behinderungen enthielten. Frühere Forschung zu vortrainierten Sprachmodellen -; die mit großen Datenmengen trainiert werden, die implizite Verzerrungen enthalten können -; hat soziodemografische Vorurteile gegenüber Geschlecht und Rasse festgestellt, aber bis jetzt wurden ähnliche Vorurteile gegenüber Menschen mit Behinderungen nicht umfassend untersucht.
„Die 13 Modelle, die wir untersucht haben, werden häufig verwendet und sind öffentlicher Natur“, sagte Pranav Venkit, Doktorand am College of IST und Erstautor des heute (13. Oktober) auf der 29. Internationalen Konferenz für Computerlinguistik ( COLING). „Wir hoffen, dass unsere Ergebnisse Entwicklern helfen, die KI entwickeln, um bestimmten Gruppen zu helfen – insbesondere Menschen mit Behinderungen, die bei ihren täglichen Aktivitäten auf KI angewiesen sind –, sich dieser Vorurteile bewusst zu sein.“
In ihrer Studie untersuchten die Forscher Modelle für maschinelles Lernen, die auf Quelldaten trainiert wurden, um ähnliche Wörter zu gruppieren, sodass ein Computer automatisch Wortfolgen generieren kann. Sie erstellten vier einfache Satzvorlagen, in denen ein Geschlechtsnomen von „Mann“, „Frau“ oder „Person“ und eines der 10 am häufigsten verwendeten Adjektive in der englischen Sprache variabel ausgefüllt werden können –; zum Beispiel: „Sie sind Eltern eines guten Menschen.“ Dann generierten sie mehr als 600 Adjektive, die entweder mit Menschen mit oder ohne Behinderungen in Verbindung gebracht werden konnten -; wie neurotypische oder sehbehinderte -; um das Adjektiv in jedem Satz zufällig zu ersetzen. Das Team testete mehr als 15.000 einzigartige Sätze in jedem Modell, um Wortassoziationen für die Adjektive zu generieren.
Wir haben zum Beispiel das Wort „gut“ ausgewählt und wollten sehen, wie es mit Begriffen verbunden ist, die sich sowohl auf Nicht-Behinderung als auch auf Behinderung beziehen. Mit der Hinzufügung eines Nicht-Behinderungsbegriffs wird die Wirkung von „gut“ zu „großartig“. Aber wenn „gut“ mit einem behinderten Begriff assoziiert wird, erhalten wir das Ergebnis „schlecht“. Diese Änderung in der Form des Adjektivs selbst zeigt also die explizite Voreingenommenheit des Modells.“
Pranav Venkit, Doktorand, College of IST
Während diese Übung die in den Modellen vorhandene explizite Verzerrung offenbarte, wollten die Forscher jedes Modell weiter auf implizite Verzerrungen untersuchen -; Einstellungen gegenüber Menschen oder das Assoziieren von Stereotypen mit ihnen ohne bewusstes Wissen. Sie untersuchten die Adjektive, die für die Behinderten- und Nicht-Behinderungsgruppen generiert wurden, und maßen die Stimmung jedes Einzelnen -; eine NLP-Technik, um zu bewerten, ob Text positiv, negativ oder neutral ist. Alle Modelle, die sie untersuchten, bewerteten Sätze mit Wörtern, die mit Behinderung in Verbindung gebracht wurden, durchweg negativer als solche ohne. Ein bestimmtes Modell, das auf Twitter-Daten vortrainiert wurde, drehte den Stimmungswert in 86 % der Fälle von positiv auf negativ, wenn ein Begriff im Zusammenhang mit einer Behinderung verwendet wurde.
„Wenn wir uns nur diesen Wert ansehen, sehen wir, dass allein durch die Hinzufügung eines Begriffs im Zusammenhang mit Behinderung in der Konversation der Sentimentwert des gesamten Satzes sinkt“, sagte Venkit. „Wenn ein Nutzer beispielsweise einen Begriff im Zusammenhang mit Behinderung in einen Kommentar oder Post in den sozialen Medien einfügt, steigt die Wahrscheinlichkeit, dass dieser Post zensiert oder eingeschränkt wird.“
Die Forscher testeten auch auf implizite Verzerrung in zwei großen Sprachmodellen, die verwendet werden, um lange Texte wie Nachrichtenartikel automatisch zu generieren, um zu sehen, wie sich ein Leerzeichen in der Satzvorlage je nach verwendetem Adjektiv verändern würde. In dieser Analyse generierten sie 7.500 Sätze, fügten wiederum variabel Adjektive ein, die sich auf Nicht-Behinderung oder Behinderung beziehen, und testeten, wie sich ein Leerzeichen in der Satzvorlage je nach verwendetem Adjektiv ändern würde. Wenn in diesem Fall der Satz „Ein Mann hat ‚Leerzeichen‘“ gegeben wurde, sagten die Sprachmodelle „verändert“ für das leere Wort voraus. Wenn jedoch ein behindertenbezogenes Adjektiv zu dem Satz hinzugefügt wurde, was zu „Ein taubblinder Mann hat ‚leer‘“ führte, sagte das Modell „gestorben“ für die Leerstelle voraus.
Die implizite Voreingenommenheit der Modelle gegenüber Menschen mit Behinderungen könnte in verschiedenen Anwendungen offensichtlich sein -; zum Beispiel in Textnachrichten, wenn die Autokorrektur auf ein falsch geschriebenes Wort angewendet wird, oder in sozialen Medien, wo es Regeln gibt, die missbräuchliche oder belästigende Beiträge verbieten. Da Menschen nicht in der Lage sind, die große Anzahl von Beiträgen zu überprüfen, verwenden künstliche Intelligenzmodelle diese Stimmungswerte, um diejenigen Beiträge herauszufiltern, die als Verstoß gegen die Community-Standards der Plattform angesehen werden.
„Wenn jemand über Behinderungen spricht und der Beitrag nicht toxisch ist, könnte ein Modell wie dieses, das sich nicht auf die Trennung der Vorurteile konzentriert, den Beitrag als toxisch kategorisieren, nur weil mit dem Beitrag eine Behinderung verbunden ist“, erklärte Mukund Srinath. Doktorand am College of IST und Co-Autor der Studie.
„Wann immer ein Forscher oder Entwickler eines dieser Modelle verwendet, schaut er nicht immer auf all die verschiedenen Arten und Menschen, die davon betroffen sein werden – besonders wenn er sich auf die Ergebnisse und deren Qualität konzentriert leistet“, sagte Venkit. „Diese Arbeit zeigt, dass Menschen darauf achten müssen, welche Art von Modellen sie verwenden und welche Auswirkungen das auf echte Menschen in ihrem Alltag haben könnte.“
Venkit und Srinath arbeiteten bei dem Projekt mit Shomir Wilson, Assistenzprofessor für Informationswissenschaften und -technologie, zusammen.
Quelle:
.
