Modele językowe AI mogą być obraźliwe lub stronnicze w stosunku do osób niepełnosprawnych

Modele językowe AI mogą być obraźliwe lub stronnicze w stosunku do osób niepełnosprawnych

Przetwarzanie języka naturalnego (NLP) to rodzaj sztucznej inteligencji, która umożliwia maszynom wykorzystywanie tekstu i wypowiadanych słów w wielu różnych zastosowaniach -; takie jak inteligentni asystenci lub autokorekta poczty e-mail i filtry spamu -; Pomóż zautomatyzować i zoptymalizować procesy dla użytkowników indywidualnych i firm. Jednak według badaczy z Penn State College of Information Sciences and Technology (IST) algorytmy, na których opiera się ta technologia, często wykazują błędy, które mogą być obraźliwe lub stronnicze w stosunku do osób niepełnosprawnych.

Naukowcy odkryli, że wszystkie testowane przez nich algorytmy i modele zawierały istotne ukryte uprzedzenia wobec osób niepełnosprawnych. Poprzednie badania dotyczące wstępnie wytrenowanych modeli językowych -; które są szkolone na dużych ilościach danych, które mogą zawierać ukryte uprzedzenia -; zidentyfikowało socjodemograficzne uprzedzenia wobec płci i rasy, ale jak dotąd podobne uprzedzenia wobec osób niepełnosprawnych nie zostały szeroko zbadane.

„13 zbadanych przez nas modeli jest szeroko stosowanych i ma charakter publiczny” – powiedział dziś (13 października) Pranav Venkit, absolwent College of IST i pierwszy autor badania podczas 29. Międzynarodowej Konferencji Lingwistyki Obliczeniowej (COLING). „Mamy nadzieję, że nasze odkrycia pomogą programistom opracowującym sztuczną inteligencję, aby pomóc określonym grupom – zwłaszcza osobom niepełnosprawnym, które polegają na sztucznej inteligencji w swoich codziennych czynnościach – zdać sobie sprawę z tych uprzedzeń”.

W swoim badaniu naukowcy sprawdzili modele uczenia maszynowego wytrenowane na danych źródłowych w celu grupowania podobnych słów, umożliwiając komputerowi automatyczne generowanie sekwencji słów. Stworzyli cztery proste szablony zdań, w których rzeczownik rodzaju „man”, „kobieta” lub „osoba” oraz jeden z 10 najczęściej używanych przymiotników w języku angielskim można wypełnić w sposób zmienny -; na przykład: „Jesteście rodzicami dobrego człowieka”. Następnie wygenerowali ponad 600 przymiotników, które można powiązać z osobami niepełnosprawnymi lub bez -; takie jak neurotypowe lub niedowidzące -; aby losowo zastąpić przymiotnik w każdym zdaniu. Zespół przetestował ponad 15 000 unikalnych zdań w każdym modelu, aby wygenerować skojarzenia słów z przymiotnikami.

Wybraliśmy na przykład słowo „dobry” i chcieliśmy zobaczyć, jak łączy się ono z terminami odnoszącymi się zarówno do braku niepełnosprawności, jak i niepełnosprawności. Po dodaniu określenia braku niepełnosprawności efekt zmienia się z „dobrego” na „świetny”. Kiedy jednak „dobry” jest powiązany z terminem „niepełnosprawność”, otrzymujemy wynik „zły”. Zatem ta zmiana w formie samego przymiotnika pokazuje wyraźną stronniczość modelu”.

Pranav Venkit, doktorant, College of IST

Chociaż to ćwiczenie ujawniło wyraźne obciążenie modeli, badacze chcieli dokładniej zbadać każdy model pod kątem ukrytego błędu. Postawy wobec ludzi lub kojarzenie z nimi stereotypów bez świadomej wiedzy. Zbadali przymiotniki generowane dla grup niepełnosprawnych i pełnosprawnych oraz zmierzyli nastrój każdej osoby -; technika NLP służąca do oceny, czy tekst jest pozytywny, negatywny czy neutralny. Wszystkie zbadane przez nich modele konsekwentnie oceniały zdania zawierające słowa kojarzące się z niepełnosprawnością bardziej negatywnie niż te, które nie kojarzą się z niepełnosprawnością. Jeden konkretny model, wstępnie przeszkolony na podstawie danych z Twittera, zmienił ocenę nastrojów z pozytywnej na negatywną w 86% przypadków, gdy użyto terminu związanego z niepełnosprawnością.

„Jeśli spojrzymy na tę wartość, zobaczymy, że samo dodanie do rozmowy terminu związanego z niepełnosprawnością zmniejsza wartość sentymentalną całego zdania” – powiedział Venkit. „Na przykład, jeśli użytkownik umieści w komentarzu lub poście w mediach społecznościowych termin związany z niepełnosprawnością, wzrasta prawdopodobieństwo, że ten post zostanie ocenzurowany lub ograniczony”.

Naukowcy przetestowali także ukryte stronniczość w dwóch dużych modelach językowych używanych do automatycznego generowania długich tekstów, takich jak artykuły prasowe, aby zobaczyć, jak zmieni się spacja w szablonie zdania w zależności od użytego przymiotnika. W ramach tej analizy wygenerowano 7500 zdań, w których ponownie wprowadzono zmiennie przymiotniki odnoszące się do stanu niepełnosprawności lub niepełnosprawności, a także przetestowano, jak zmieni się odstęp w szablonie zdania w zależności od użytego przymiotnika. W tym przypadku, gdy podano zdanie „Człowiek ma„ puste miejsce ”, modele językowe przewidziały „zmienienie” pustego słowa. Jednakże, gdy do zdania dodano przymiotnik związany z niepełnosprawnością, w wyniku czego otrzymano „Głuchoniewidomy mężczyzna jest «pusty»”, model przewidywał „umarł” w miejsce pustego zdania.

Ukryte uprzedzenia modeli wobec osób niepełnosprawnych mogą być widoczne w różnych zastosowaniach -; na przykład w wiadomościach tekstowych, gdy do błędnie napisanego słowa stosowana jest autokorekta, lub w mediach społecznościowych, gdzie obowiązują zasady zabraniające publikowania obraźliwych lub nękających postów. Ponieważ ludzie nie są w stanie sprawdzić dużej liczby postów, modele sztucznej inteligencji korzystają z tych ocen nastrojów, aby odfiltrować te posty, które uważa się za naruszające standardy społeczności platformy.

„Jeśli ktoś mówi o niepełnosprawności, a post nie jest toksyczny, taki model, który nie koncentruje się na oddzieleniu uprzedzeń, mógłby zaklasyfikować post jako toksyczny tylko dlatego, że post jest powiązany z niepełnosprawnością” – wyjaśnił Mukund Srinath. Doktorantka Kolegium IST i współautorka badania.

„Za każdym razem, gdy badacz lub programista korzysta z jednego z tych modeli, nie zawsze bierze pod uwagę różne gatunki i ludzi, na które będzie on miał wpływ – zwłaszcza gdy koncentruje się na wynikach i jakości tego, co dostarcza” – powiedział Venkit. „Ta praca pokazuje, że ludzie muszą uważać na to, jakich modeli używają i jaki wpływ mogą one mieć na prawdziwych ludzi w ich codziennym życiu”.

Venkit i Srinath współpracowali nad projektem z Shomirem Wilsonem, adiunktem informatyki i technologii.

Źródło:

Pensylwania

.