AI keelemudelid võivad olla puuetega inimeste suhtes solvavad või kallutatud

AI keelemudelid võivad olla puuetega inimeste suhtes solvavad või kallutatud

Natural Language Processing (NLP) on tehisintellekti tüüp, mis võimaldab masinatel kasutada teksti ja kõnesõnu paljudes erinevates rakendustes -; nagu intelligentsed assistendid või e-kirjade automaatkorrektsiooni ja rämpsposti filtrid -; Aidake automatiseerida ja optimeerida protsesse üksikute kasutajate ja ettevõtete jaoks. Penni osariigi infoteaduste ja tehnoloogia kolledži (IST) teadlaste sõnul näitavad seda tehnoloogiat kasutavad algoritmid aga sageli eelarvamusi, mis võivad olla puuetega inimeste suhtes solvavad või kallutatud.

Uurijad leidsid, et kõik nende testitud algoritmid ja mudelid sisaldasid olulist kaudset eelarvamust puuetega inimeste suhtes. Varasemad uuringud eelkoolitatud keelemudelite kohta -; mis on koolitatud suurte andmemahtude kohta, mis võivad sisaldada kaudseid eelarvamusi -; on tuvastanud sotsiaaldemograafilised eelarvamused soo ja rassi suhtes, kuid siiani ei ole sarnaseid eelarvamusi puuetega inimeste suhtes laialdaselt uuritud.

"Meie uuritud 13 mudelit on laialdaselt kasutatavad ja oma olemuselt avalikud," ütles Pranav Venkit, IST kolledži magistrant ja uuringu esimene autor, täna (13. oktoobril) 29. rahvusvahelisel arvutuslingvistika konverentsil (COLING). "Loodame, et meie leiud aitavad AI-d arendavatel arendajatel aidata konkreetsetel rühmadel, eriti puuetega inimestel, kes oma igapäevases tegevuses AI-le tuginevad, nendest eelarvamustest teadlikud olla."

Oma uuringus uurisid teadlased masinõppemudeleid, mis olid koolitatud lähteandmete põhjal, et rühmitada sarnaseid sõnu, võimaldades arvutil automaatselt sõnajadasid genereerida. Nad lõid neli lihtsat lausemalli, milles "mees", "naine" või "inimene" soolist nimisõna ja ühte 10 kõige sagedamini kasutatavast omadussõnast inglise keeles saab täita muutuvalt -; Näiteks: "Te olete hea inimese vanemad." Seejärel genereerisid nad rohkem kui 600 omadussõna, mida võis seostada puuetega või puudega inimestega -; nagu neurotüüpsed või nägemispuudega -; et igas lauses juhuslikult asendada omadussõna. Meeskond katsetas igas mudelis enam kui 15 000 ainulaadset lauset, et luua omadussõnade jaoks sõnaühendusi.

Näiteks valisime sõna "hea" ja soovisime näha, kuidas see seostub terminitega, mis viitavad nii mittepuudele kui ka puudele. Mittepuudega termini lisamisega muutub mõju "heast" "suurepäraseks". Kuid kui "hea" seostatakse puude terminiga, saame tulemuseks "halb". Nii et see omadussõna enda vormi muutus näitab mudeli selget eelarvamust.

Pranav Venkit, doktorikandidaat, IST kolledž

Kuigi see harjutus näitas mudelites esinevat selget eelarvamust, soovisid teadlased iga mudelit täiendavalt uurida kaudse kallutatuse osas -; Suhtumine inimestesse või stereotüüpide seostamine nendega ilma teadliku teadmiseta. Nad uurisid puuetega ja puudeta rühmade jaoks loodud omadussõnu ja mõõtsid iga inimese meeleolu -; NLP tehnika, et hinnata, kas tekst on positiivne, negatiivne või neutraalne. Kõik mudelid, mida nad uurisid, hindasid puudega seotud sõnadega lauseid järjekindlalt negatiivsemalt kui neid, mis puudusid. Üks konkreetne Twitteri andmete põhjal eelkoolitatud mudel muutis sentiment skoori positiivsest negatiivseks 86% juhtudest, kui kasutati puudega seotud terminit.

"Kui me lihtsalt vaatame seda väärtust, siis näeme, et lihtsalt puudega seotud termini lisamisega vestlusesse väheneb kogu lause sentimentaalne väärtus," ütles Venkit. "Näiteks kui kasutaja lisab kommentaaris või sotsiaalmeedia postituses puudega seotud termini, suureneb tõenäosus, et seda postitust tsenseeritakse või piiratakse."

Uurijad testisid ka kaudset eelarvamust kahes suures keelemudelis, mida kasutati pikkade tekstide, näiteks uudisteartiklite, automaatseks genereerimiseks, et näha, kuidas tühik lausemallis muutuks sõltuvalt kasutatud omadussõnast. Selles analüüsis genereerisid nad 7500 lauset, lisasid jällegi muutuvalt mittepuudele või puudele viitavad omadussõnad ja testisid, kuidas tühik lausemallis muutuks sõltuvalt kasutatud omadussõnast. Sel juhul, kui anda lause "Mehel on "tühi", ennustasid keelemudelid tühja sõna jaoks "muutunud". Kui aga lausele lisati puudega seotud omadussõna, mille tulemuseks oli "Pimekurt mehel on "tühi", siis ennustas mudel tühja kohta "surma".

Mudelite kaudne eelarvamus puuetega inimeste suhtes võib ilmneda erinevates rakendustes -; näiteks tekstisõnumites, kui valesti kirjutatud sõnale rakendatakse automaatset parandamist, või sotsiaalmeedias, kus on reeglid, mis keelavad solvavad või ahistavad postitused. Kuna inimesed ei saa suurt hulka postitusi üle vaadata, kasutavad tehisintellekti mudelid neid sentimentaalskoore, et filtreerida välja need postitused, mida peetakse platvormi kogukonnastandardeid rikkuvaks.

"Kui keegi räägib puudest ja postitus ei ole mürgine, võib selline mudel, mis ei keskendu eelarvamuste eraldamisele, liigitada postituse mürgiseks lihtsalt seetõttu, et postitusega on seotud puue," selgitas Mukund Srinath. IST kolledži doktorant ja uuringu kaasautor.

"Kui teadlane või arendaja kasutab mõnda neist mudelitest, ei vaata nad alati kõiki erinevaid liike ja inimesi, keda see mõjutab - eriti kui nad on keskendunud tulemustele ja pakutava kvaliteedile," ütles Venkit. "See töö näitab, et inimesed peavad olema ettevaatlikud selle suhtes, milliseid mudeleid nad kasutavad ja millist mõju see võib avaldada tegelikele inimestele nende igapäevaelus."

Venkit ja Srinath töötasid projekti kallal koos infoteaduse ja -tehnoloogia dotsendi Shomir Wilsoniga.

Allikas:

Pennsylvania

.