Jazykové modely AI by mohli byť urážlivé alebo zaujaté voči ľuďom so zdravotným postihnutím

Jazykové modely AI by mohli byť urážlivé alebo zaujaté voči ľuďom so zdravotným postihnutím

Spracovanie prirodzeného jazyka (NLP) je typ umelej inteligencie, ktorá umožňuje strojom používať text a hovorené slová v mnohých rôznych aplikáciách -; ako sú inteligentní asistenti alebo automatické opravy e-mailov a filtre nevyžiadanej pošty -; Pomôžte automatizovať a optimalizovať procesy pre jednotlivých používateľov a spoločnosti. Podľa výskumníkov z Penn State College of Information Sciences and Technology (IST) však algoritmy, ktoré poháňajú túto technológiu, často vykazujú predsudky, ktoré by mohli byť urážlivé alebo zaujaté voči ľuďom so zdravotným postihnutím.

Výskumníci zistili, že všetky algoritmy a modely, ktoré testovali, obsahovali významnú implicitnú zaujatosť voči ľuďom so zdravotným postihnutím. Predchádzajúce výskumy predtrénovaných jazykových modelov -; ktoré sú trénované na veľkom množstve údajov, ktoré môžu obsahovať implicitné skreslenia -; identifikovala sociodemografické predsudky voči pohlaviu a rase, ale doteraz podobné predsudky voči ľuďom so zdravotným postihnutím neboli široko skúmané.

"13 modelov, ktoré sme skúmali, je široko používaných a má verejný charakter," povedal Pranav Venkit, postgraduálny študent na College of IST a prvý autor štúdie, dnes (13. októbra) na 29. medzinárodnej konferencii o počítačovej lingvistike (COLING). „Dúfame, že naše zistenia pomôžu vývojárom vyvíjajúcim AI pomôcť špecifickým skupinám – najmä ľuďom so zdravotným postihnutím, ktorí sa spoliehajú na AI vo svojich každodenných aktivitách – uvedomiť si tieto predsudky.“

Vo svojej štúdii výskumníci skúmali modely strojového učenia trénované na zdrojových údajoch, aby zoskupili podobné slová, čo umožnilo počítaču automaticky generovať sekvencie slov. Vytvorili štyri jednoduché predlohy viet, do ktorých možno variabilne vyplniť rodové podstatné meno „muž“, „žena“ alebo „osoba“ a jedno z 10 najčastejšie používaných prídavných mien v anglickom jazyku -; napríklad: "Ste rodičmi dobrého človeka." Potom vygenerovali viac ako 600 prídavných mien, ktoré by sa dali spájať s ľuďmi s postihnutím alebo bez neho -; ako sú neurotypické alebo zrakovo postihnuté -; náhodne nahradiť prídavné meno v každej vete. Tím testoval viac ako 15 000 jedinečných viet v každom modeli, aby vytvoril slovné asociácie pre prídavné mená.

Vybrali sme napríklad slovo „dobré“ a chceli sme zistiť, ako sa spája s výrazmi, ktoré sa týkajú bez postihnutia aj zdravotného postihnutia. S pridaním výrazu bez zdravotného postihnutia sa účinok mení z „dobrého“ na „skvelý“. Ale keď je „dobré“ spojené s pojmom postihnutie, dostaneme výsledok „zlý“. Takže táto zmena v podobe samotného prídavného mena ukazuje explicitnú zaujatosť modelu.“

Pranav Venkit, kandidát na PhD, Vysoká škola IST

Zatiaľ čo toto cvičenie odhalilo explicitnú zaujatosť prítomnú v modeloch, výskumníci chceli ďalej preskúmať každý model z hľadiska implicitnej zaujatosti -; Postoj k ľuďom alebo spájanie stereotypov s nimi bez vedomého poznania. Skúmali prídavné mená vytvorené pre skupiny postihnutých a nepostihnutých a merali náladu každého jednotlivca -; technika NLP na vyhodnotenie, či je text pozitívny, negatívny alebo neutrálny. Všetky modely, ktoré skúmali, dôsledne hodnotili vety so slovami spojenými s postihnutím negatívnejšie ako tie bez neho. Jeden konkrétny model vopred natrénovaný na údajoch na Twitteri zmenil skóre sentimentu z pozitívneho na negatívne v 86 % prípadov, keď sa použil výraz súvisiaci so zdravotným postihnutím.

"Ak sa len pozrieme na túto hodnotu, vidíme, že len pridaním výrazu súvisiaceho so zdravotným postihnutím do konverzácie sa hodnota sentimentu celej vety zníži," povedal Venkat. „Napríklad, ak používateľ zahrnie do komentára alebo príspevku na sociálnej sieti výraz súvisiaci so zdravotným postihnutím, zvyšuje sa pravdepodobnosť, že tento príspevok bude cenzurovaný alebo obmedzený.“

Výskumníci tiež testovali implicitnú zaujatosť v dvoch veľkých jazykových modeloch používaných na automatické generovanie dlhých textov, ako sú spravodajské články, aby zistili, ako sa priestor v šablóne vety zmení v závislosti od použitého prídavného mena. V tejto analýze vygenerovali 7 500 viet, opäť variabilne vkladali prídavné mená odkazujúce na nepostihnutie alebo zdravotné postihnutie a testovali, ako sa zmení medzera v predlohe vety v závislosti od použitého prídavného mena. V tomto prípade, keď dostaneme vetu „Muž má „prázdne“, jazykové modely predpovedali „zmenu“ pre prázdne slovo. Keď sa však k vete pridalo prídavné meno súvisiace so zdravotným postihnutím, výsledkom čoho bolo „Hluchoslepý muž má „prázdno“, model predpovedal, že „zomrel“ pre prázdne miesto.

Implicitná zaujatosť modelov voči ľuďom so zdravotným postihnutím môže byť evidentná v rôznych aplikáciách -; napríklad v textových správach, keď sa na nesprávne napísané slovo použije automatická oprava, alebo na sociálnych sieťach, kde existujú pravidlá zakazujúce urážlivé alebo obťažujúce príspevky. Keďže ľudia nie sú schopní kontrolovať veľký počet príspevkov, modely umelej inteligencie používajú tieto skóre sentimentu na odfiltrovanie tých príspevkov, ktoré sa považujú za porušujúce štandardy komunity platformy.

„Ak niekto hovorí o postihnutí a príspevok nie je toxický, model ako tento, ktorý sa nezameriava na oddeľovanie zaujatosti, by mohol príspevok kategorizovať ako toxický len preto, že je s ním spojené zdravotné postihnutie,“ vysvetlil Mukund Srinath. Doktorand na College of IST a spoluautor štúdie.

"Kedykoľvek výskumník alebo vývojár použije jeden z týchto modelov, nie vždy sa pozrie na všetky rôzne druhy a ľudí, ktorých to ovplyvní - najmä keď sa sústredia na výsledky a kvalitu toho, čo dodávajú," povedal Venkat. "Táto práca ukazuje, že ľudia si musia dávať pozor na to, aké modely používajú a aký vplyv to môže mať na skutočných ľudí v ich každodennom živote."

Venkit a Srinath na projekte spolupracovali so Shomirom Wilsonom, odborným asistentom informačnej vedy a technológie.

Zdroj:

Pennsylvánia

.