Jezični modeli umjetne inteligencije mogu biti uvredljivi ili pristrani prema osobama s invaliditetom

Jezični modeli umjetne inteligencije mogu biti uvredljivi ili pristrani prema osobama s invaliditetom

Obrada prirodnog jezika (NLP) je vrsta umjetne inteligencije koja omogućuje strojevima da koriste tekst i izgovorene riječi u mnogim različitim aplikacijama -; kao što su inteligentni pomoćnici ili automatski ispravci e-pošte i filtri neželjene pošte -; Pomozite automatizirati i optimizirati procese za pojedinačne korisnike i tvrtke. Međutim, prema istraživačima s Penn State College of Information Sciences and Technology (IST), algoritmi koji pokreću ovu tehnologiju često pokazuju pristranosti koje mogu biti uvredljive ili pristrane prema osobama s invaliditetom.

Istraživači su otkrili da su svi algoritmi i modeli koje su testirali sadržavali značajnu implicitnu pristranost prema osobama s invaliditetom. Prethodno istraživanje unaprijed uvježbanih jezičnih modela -; koji su obučeni na velikim količinama podataka koji mogu sadržavati implicitne pristranosti -; je identificirao sociodemografske predrasude prema spolu i rasi, ali do sada slične predrasude prema osobama s invaliditetom nisu bile široko proučavane.

"13 modela koje smo ispitali naširoko su korišteni i javni su po prirodi", rekao je danas (13. listopada) Pranav Venkit, diplomirani student na koledžu IST i prvi autor studije, na 29. međunarodnoj konferenciji o računalnoj lingvistici (COLING). "Nadamo se da će naša otkrića pomoći programerima koji razvijaju umjetnu inteligenciju kako bi pomogli određenim skupinama - posebno osobama s invaliditetom koje se oslanjaju na umjetnu inteligenciju u svojim svakodnevnim aktivnostima - da budu svjesni ovih predrasuda."

U svojoj studiji znanstvenici su ispitivali modele strojnog učenja obučene na izvornim podacima za grupiranje sličnih riječi zajedno, omogućujući računalu da automatski generira nizove riječi. Napravili su četiri jednostavna rečenična predloška u kojima se imenica roda "muškarac", "žena" ili "osoba" i jedan od 10 najčešće korištenih pridjeva u engleskom jeziku mogu varijabilno ispuniti -; na primjer: "Vi ste roditelji dobre osobe." Zatim su generirali više od 600 pridjeva koji se mogu povezati s osobama s ili bez invaliditeta -; kao što su neurotipični ili slabovidni -; nasumično zamijeniti pridjev u svakoj rečenici. Tim je testirao više od 15.000 jedinstvenih rečenica u svakom modelu kako bi generirao asocijacije riječi za pridjeve.

Na primjer, odabrali smo riječ "dobro" i htjeli smo vidjeti kako se povezuje s pojmovima koji se odnose i na neinvaliditet i na invaliditet. S dodatkom izraza koji nije invaliditet, učinak ide od "dobrog" do "izvrstan". Ali kada se "dobro" poveže s pojmom invaliditeta, dobivamo rezultat "loše". Dakle, ova promjena u obliku samog pridjeva pokazuje eksplicitnu pristranost modela.”

Pranav Venkit, doktorski kandidat, College of IST

Iako je ova vježba otkrila eksplicitnu pristranost prisutnu u modelima, istraživači su željeli dodatno ispitati svaki model na implicitnu pristranost -; Stavovi prema ljudima ili povezivanje stereotipa s njima bez svjesnog znanja. Ispitali su pridjeve generirane za osobe s invaliditetom i skupine bez invaliditeta i izmjerili raspoloženje svakog pojedinca -; NLP tehnika za procjenu je li tekst pozitivan, negativan ili neutralan. Svi modeli koje su ispitivali dosljedno su negativnije ocjenjivali rečenice s riječima povezanima s invaliditetom nego one bez njih. Jedan konkretan model unaprijed obučen na podacima s Twittera preokrenuo je rezultat osjećaja s pozitivnog na negativan u 86% slučajeva kada je korišten izraz povezan s invaliditetom.

"Ako samo pogledamo ovu vrijednost, vidimo da samo dodavanjem pojma povezanog s invaliditetom u razgovor, sentimentalna vrijednost cijele rečenice opada", rekao je Venkit. “Na primjer, ako korisnik uključi pojam povezan s invaliditetom u komentar ili objavu na društvenim mrežama, povećava se vjerojatnost da će ta objava biti cenzurirana ili ograničena.”

Istraživači su također testirali implicitnu pristranost u dva velika jezična modela koji se koriste za automatsko generiranje dugih tekstova kao što su novinski članci kako bi vidjeli kako će se razmak u predlošku rečenice promijeniti ovisno o korištenom pridjevu. U ovoj su analizi generirali 7500 rečenica, ponovno varijabilno umetnute pridjeve koji se odnose na neinvaliditet ili invaliditet, i testirali kako će se razmak u predlošku rečenice promijeniti ovisno o korištenom pridjevu. U ovom slučaju, kada je dana rečenica "Čovjek ima 'prazno'", jezični modeli su predvidjeli "promijenjeno" za praznu riječ. Međutim, kada je rečenici dodan pridjev vezan uz invaliditet, što je rezultiralo "Gluhoslijepi čovjek ima 'prazan'", model je predvidio "umro" za prazno.

Implicitna pristranost modela prema osobama s invaliditetom mogla bi biti očita u različitim primjenama -; na primjer, u tekstualnim porukama, kada se automatski ispravak primjenjuje na pogrešno napisanu riječ, ili na društvenim mrežama, gdje postoje pravila koja zabranjuju uvredljive ili uznemirujuće objave. Budući da ljudi nisu u mogućnosti pregledati velik broj objava, modeli umjetne inteligencije koriste te ocjene osjećaja za filtriranje onih objava za koje se smatra da krše standarde zajednice platforme.

"Ako netko govori o invaliditetu, a objava nije toksična, model poput ovog koji se ne fokusira na odvajanje predrasuda mogao bi objavu kategorizirati kao toksičnu samo zato što je s objavom povezana invalidnost", objasnio je Mukund Srinath. Doktorand na Visokoj školi IST i koautor studije.

"Kad god istraživač ili razvojni programer koristi jedan od ovih modela, ne gleda uvijek sve različite vrste i ljude na koje će to utjecati - pogotovo kada su usredotočeni na rezultate i kvalitetu onoga što isporučuju", rekao je Venkit. "Ovaj rad pokazuje da ljudi moraju paziti kakve modele koriste i kakav bi to utjecaj mogao imati na stvarne ljude u njihovim svakodnevnim životima."

Venkit i Srinath radili su sa Shomirom Wilsonom, docentom informacijskih znanosti i tehnologije, na projektu.

Izvor:

Pennsylvania

.