Az AI nyelvi modellek sértőek vagy elfogultak lehetnek a fogyatékkal élőkkel szemben

Az AI nyelvi modellek sértőek vagy elfogultak lehetnek a fogyatékkal élőkkel szemben

A Natural Language Processing (NLP) a mesterséges intelligencia egy olyan típusa, amely lehetővé teszi a gépek számára, hogy szöveget és kimondott szavakat használjanak számos különböző alkalmazásban -; mint például az intelligens asszisztensek vagy az e-mailek automatikus javítása és a spamszűrők -; Segítsen automatizálni és optimalizálni a folyamatokat az egyes felhasználók és vállalatok számára. A Penn State College of Information Sciences and Technology (IST) kutatói szerint azonban az ezt a technológiát működtető algoritmusok gyakran olyan torzításokat mutatnak, amelyek sértőek vagy elfogultak lehetnek a fogyatékkal élőkkel szemben.

A kutatók azt találták, hogy az általuk tesztelt algoritmusok és modellek mindegyike jelentős implicit elfogultságot tartalmazott a fogyatékkal élőkkel szemben. Korábbi kutatások előre betanított nyelvi modellekről -; amelyek nagy mennyiségű adatra vannak kiképezve, amelyek implicit torzításokat tartalmazhatnak -; azonosított szociodemográfiai torzításokat a nem és a faj irányában, de ez idáig nem vizsgálták széles körben a fogyatékkal élőkkel szembeni hasonló elfogultságokat.

„Az általunk vizsgált 13 modell széles körben használt és nyilvános” – mondta Pranav Venkit, a College of IST végzős hallgatója és a tanulmány első szerzője ma (október 13-án) a 29. Nemzetközi Számítógépes Nyelvészeti Konferencián (COLING). „Reméljük, hogy eredményeink segíteni fogják az AI-t fejlesztő fejlesztőket abban, hogy bizonyos csoportokat – különösen a fogyatékkal élőket, akik mindennapi tevékenységükben az MI-re támaszkodnak – segítsenek abban, hogy tisztában legyenek ezekkel az elfogultságokkal.”

Tanulmányukban a kutatók forrásadatokon kiképzett gépi tanulási modelleket vizsgáltak, hogy hasonló szavakat csoportosítsanak, lehetővé téve a számítógép számára, hogy automatikusan szósorozatokat generáljon. Négy egyszerű mondatsablont készítettek, amelyekben a „férfi”, „nő” vagy „személy” nemi főnév és az angol nyelvben a 10 leggyakrabban használt melléknév egyike változóan kitölthető -; például: "Ti egy jó ember szülei vagytok." Ezután több mint 600 jelzőt hoztak létre, amelyeket fogyatékkal élő vagy nem fogyatékkal élő emberekkel lehetett társítani -; például neurotípusos vagy gyengénlátó -; hogy minden mondatban véletlenszerűen cserélje ki a melléknevet. A csapat minden modellben több mint 15 000 egyedi mondatot tesztelt, hogy szóasszociációkat generáljon a melléknevekhez.

Például a „jó” szót választottuk, és meg akartuk nézni, hogyan kapcsolódik a nem fogyatékosságra és a fogyatékosságra egyaránt utaló kifejezésekhez. A nem fogyatékossággal kapcsolatos kifejezés hozzáadásával a hatás „jó”-ról „nagyszerű”-re változik. De ha a „jó” kifejezést fogyatékossági kifejezéssel társítják, akkor a „rossz” eredményt kapjuk. Tehát magának a jelzőnek ez a változása a modell explicit torzítását mutatja.”

Pranav Venkit, PhD-jelölt, College of IST

Míg ez a gyakorlat feltárta a modellekben jelenlévő explicit torzítást, a kutatók tovább akarták vizsgálni az egyes modelleket az implicit torzítás szempontjából -; Az emberekhez való viszonyulás vagy sztereotípiák hozzárendelése tudatos tudás nélkül. Megvizsgálták a fogyatékos és nem fogyatékos csoportok számára generált jelzőket, és mérték az egyén hangulatát -; egy NLP technika annak értékelésére, hogy a szöveg pozitív, negatív vagy semleges. Az általuk vizsgált modellek mindegyike következetesen negatívabban értékelte a fogyatékossággal kapcsolatos szavakat tartalmazó mondatokat, mint a nem. Egy bizonyos, a Twitter-adatokon előre kiképzett modell az esetek 86%-ában pozitívról negatívra fordította a hangulati pontszámot, amikor fogyatékossággal kapcsolatos kifejezést használtak.

"Ha csak ezt az értéket nézzük, azt látjuk, hogy ha csak egy fogyatékossággal kapcsolatos kifejezést adunk a beszélgetéshez, az egész mondat érzelmi értéke csökken" - mondta Venkit. "Például, ha egy felhasználó fogyatékkal kapcsolatos kifejezést tartalmaz egy megjegyzésben vagy a közösségi médiában, megnő annak a valószínűsége, hogy a bejegyzést cenzúrázzák vagy korlátozzák."

A kutatók implicit torzítást is teszteltek két nagy nyelvi modellben, amelyeket hosszú szövegek, például hírcikkek automatikus generálására használnak, hogy megtudják, hogyan változik a mondatsablonban lévő szóköz a használt jelzőtől függően. Ebben az elemzésben 7500 mondatot generáltak, ismét változóan szúrtak be a nem fogyatékosságra vagy fogyatékosságra utaló jelzőket, és tesztelték, hogyan változik a mondatsablonban lévő szóköz a használt jelzőtől függően. Ebben az esetben, amikor azt a mondatot kaptuk, hogy „Egy embernek „üres” van, a nyelvi modellek azt jósolták, hogy az üres szó „megváltozott”. Amikor azonban egy fogyatékossággal kapcsolatos melléknevet adtak a mondathoz, ami azt eredményezte, hogy „A siket-vak embernek „üres” van, a modell azt jósolta, hogy „meghalt” az üres.

A modellek fogyatékos emberekkel szembeni implicit elfogultsága számos alkalmazásban nyilvánvaló lehet -; például szöveges üzenetekben, amikor az automatikus javítást alkalmazzák egy hibásan elírt szóra, vagy a közösségi médiában, ahol szabályok tiltják a sértő vagy zaklató bejegyzéseket. Mivel az emberek nem tudják áttekinteni a nagyszámú bejegyzést, a mesterséges intelligencia modellek ezeket a hangulatpontszámokat használják arra, hogy kiszűrjék azokat a bejegyzéseket, amelyek sértik a platform közösségi normáit.

"Ha valaki fogyatékosságról beszél, és a poszt nem mérgező, egy ilyen modell, amely nem összpontosít az elfogultságok szétválasztására, mérgezőnek minősítheti a posztot csak azért, mert a poszthoz rokkantság kapcsolódik" - magyarázta Mukund Srinath. Az IST College PhD hallgatója és a tanulmány társszerzője.

"Amikor egy kutató vagy fejlesztő használja e modellek valamelyikét, nem mindig veszi figyelembe a különböző fajokat és embereket, akiket érinteni fog – különösen, ha az eredményekre és az általuk szállított termékek minőségére összpontosítanak" - mondta Venkit. "Ez a munka azt mutatja, hogy az embereknek óvatosnak kell lenniük azzal kapcsolatban, hogy milyen modelleket használnak, és milyen hatással lehet ez a valós emberekre a mindennapi életükben."

Venkit és Srinath Shomir Wilsonnal, az információtudományi és technológiai adjunktussal dolgozott együtt a projektben.

Forrás:

Pennsylvania

.