Jezikovni modeli umetne inteligence so lahko žaljivi ali pristranski do invalidov

Jezikovni modeli umetne inteligence so lahko žaljivi ali pristranski do invalidov

Obdelava naravnega jezika (NLP) je vrsta umetne inteligence, ki omogoča strojem uporabo besedila in izgovorjenih besed v številnih različnih aplikacijah -; kot so inteligentni pomočniki ali e-poštni samopopravki in filtri za neželeno pošto -; Pomagajte avtomatizirati in optimizirati procese za posamezne uporabnike in podjetja. Vendar pa po mnenju raziskovalcev na Penn State College of Information Sciences and Technology (IST) algoritmi, ki poganjajo to tehnologijo, pogosto kažejo pristranskosti, ki bi lahko bile žaljive ali pristranske do ljudi s posebnimi potrebami.

Raziskovalci so ugotovili, da so vsi algoritmi in modeli, ki so jih testirali, vsebovali znatno implicitno pristranskost do invalidov. Prejšnje raziskave vnaprej usposobljenih jezikovnih modelov -; ki so usposobljeni za velike količine podatkov, ki lahko vsebujejo implicitne pristranskosti -; je identificiral sociodemografske pristranskosti do spola in rase, vendar do zdaj podobnih pristranskosti do invalidov niso obsežno raziskali.

"13 modelov, ki smo jih pregledali, je široko uporabljenih in javnih po naravi," je danes (13. oktobra) na 29. mednarodni konferenci o računalniški lingvistiki (COLING) povedal Pranav Venkit, podiplomski študent na Visoki šoli IST in prvi avtor študije. "Upamo, da bodo naše ugotovitve pomagale razvijalcem, ki razvijajo umetno inteligenco, da bi pomagali posebnim skupinam - zlasti invalidom, ki se zanašajo na umetno inteligenco pri svojih vsakodnevnih dejavnostih -, da se zavedajo teh pristranskosti."

V svoji študiji so raziskovalci preučevali modele strojnega učenja, ki so bili usposobljeni na izvornih podatkih za združevanje podobnih besed, kar je računalniku omogočilo samodejno ustvarjanje zaporedij besed. Ustvarili so štiri preproste stavčne predloge, v katerih je mogoče spremenljivo izpolniti samostalnik spola "moški", "ženska" ali "oseba" in enega od 10 najpogosteje uporabljenih pridevnikov v angleškem jeziku -; na primer: "Ste starši dobre osebe." Nato so ustvarili več kot 600 pridevnikov, ki bi jih lahko povezali z osebami z ali brez invalidnosti -; kot so nevrotipični ali slabovidni -; naključno zamenjati pridevnik v vsakem stavku. Ekipa je testirala več kot 15.000 edinstvenih stavkov v vsakem modelu, da bi ustvarila besedne asociacije za pridevnike.

Na primer, izbrali smo besedo "dobro" in želeli smo videti, kako se povezuje z izrazi, ki se nanašajo tako na neinvalidnost kot na invalidnost. Z dodatkom izraza, ki ni invalidnost, se učinek spremeni od »dobrega« do »odličnega«. Ko pa je »dobro« povezano z izrazom invalidnosti, dobimo rezultat »slabo«. Torej ta sprememba v obliki pridevnika sama kaže eksplicitno pristranskost modela.«

Pranav Venkit, doktorski kandidat, College of IST

Medtem ko je ta vaja razkrila eksplicitno pristranskost, prisotno v modelih, so raziskovalci želeli dodatno preučiti vsak model za implicitno pristranskost -; Odnos do ljudi ali povezovanje stereotipov z njimi brez zavestnega znanja. Pregledali so generirane pridevnike za invalide in neinvalide ter izmerili razpoloženje vsakega posameznika -; tehnika NLP za oceno, ali je besedilo pozitivno, negativno ali nevtralno. Vsi modeli, ki so jih pregledali, so stavke z besedami, povezanimi z invalidnostjo, dosledno ocenjevali bolj negativno kot tiste brez njih. En poseben model, predhodno usposobljen na podlagi podatkov Twitterja, je v 86 % primerov, ko je bil uporabljen izraz, povezan z invalidnostjo, obrnil rezultat razpoloženja s pozitivnega na negativnega.

"Če samo pogledamo to vrednost, vidimo, da se samo z dodajanjem izraza, povezanega z invalidnostjo v pogovor, sentimentalna vrednost celotnega stavka zmanjša," je dejal Venkit. "Če uporabnik na primer vključi izraz, povezan z invalidnostjo, v komentar ali objavo v družabnem omrežju, se poveča verjetnost, da bo ta objava cenzurirana ali omejena."

Raziskovalci so testirali tudi implicitno pristranskost v dveh velikih jezikovnih modelih, ki se uporabljata za samodejno ustvarjanje dolgih besedil, kot so članki z novicami, da bi ugotovili, kako bi se presledek v stavčni predlogi spremenil glede na uporabljeni pridevnik. V tej analizi so ustvarili 7500 stavkov, spet spremenljivo vstavljali pridevnike, ki se nanašajo na neinvalidnost ali invalidnost, in testirali, kako bi se presledek v stavčni predlogi spremenil glede na uporabljeni pridevnik. V tem primeru, ko je bil podan stavek "Človek ima 'prazno'," so jezikovni modeli predvidevali "spremenjeno" za prazno besedo. Ko pa je bil stavku dodan pridevnik, povezan z invalidnostjo, kar je povzročilo "Gluhoslepi moški ima 'prazno'", je model predvidel "umrl" za prazno.

Implicitna pristranskost modelov do invalidov je lahko očitna v različnih aplikacijah -; na primer v besedilnih sporočilih, ko se samodejni popravek uporabi za napačno črkovano besedo, ali na družbenih medijih, kjer obstajajo pravila, ki prepovedujejo žaljive ali nadlegovalne objave. Ker ljudje ne morejo pregledati velikega števila objav, modeli umetne inteligence uporabljajo te ocene občutkov, da izločijo tiste objave, za katere menijo, da kršijo standarde skupnosti platforme.

»Če nekdo govori o invalidnosti in objava ni strupena, bi lahko model, kot je ta, ki se ne osredotoča na ločevanje pristranskosti, objavo kategoriziral kot strupeno samo zato, ker je z objavo povezana invalidnost,« je pojasnil Mukund Srinath. Doktorski študent na College of IST in soavtor študije.

"Kadarkoli raziskovalec ali razvijalec uporabi enega od teh modelov, ne pogleda vedno vseh različnih vrst in ljudi, na katere bo to vplivalo - še posebej, če so osredotočeni na rezultate in kakovost tega, kar zagotavljajo," je dejal Venkit. "To delo kaže, da morajo biti ljudje previdni pri tem, kakšne modele uporabljajo in kakšen vpliv bi to lahko imelo na resnične ljudi v njihovem vsakdanjem življenju."

Venkit in Srinath sta pri projektu sodelovala s Shomirjem Wilsonom, docentom za informacijske znanosti in tehnologijo.

Vir:

Pennsylvania

.