AI valodas modeļi var būt aizskaroši vai neobjektīvi pret cilvēkiem ar invaliditāti

AI valodas modeļi var būt aizskaroši vai neobjektīvi pret cilvēkiem ar invaliditāti

Dabiskās valodas apstrāde (NLP) ir mākslīgā intelekta veids, kas ļauj mašīnām izmantot tekstu un runātos vārdus daudzās dažādās lietojumprogrammās; piemēram, inteliģentie palīgi vai e-pasta automātiskā labošana un surogātpasta filtri -; Palīdziet automatizēt un optimizēt procesus atsevišķiem lietotājiem un uzņēmumiem. Tomēr saskaņā ar Penn State Informācijas zinātņu un tehnoloģiju koledžas (IST) pētniekiem, algoritmi, kas darbina šo tehnoloģiju, bieži uzrāda aizspriedumus, kas var būt aizskaroši vai neobjektīvi attiecībā uz cilvēkiem ar invaliditāti.

Pētnieki atklāja, ka visi viņu pārbaudītie algoritmi un modeļi satur ievērojamu netiešu aizspriedumu pret cilvēkiem ar invaliditāti. Iepriekšējie pētījumi par iepriekš apmācītiem valodu modeļiem -; kas ir apmācīti par lielu datu apjomu, kas var saturēt netiešas novirzes -; ir identificējis sociāldemogrāfiskas novirzes attiecībā uz dzimumu un rasi, taču līdz šim līdzīgas novirzes pret cilvēkiem ar invaliditāti nav plaši pētītas.

"13 modeļi, kurus mēs pārbaudījām, ir plaši izmantoti un publiski pieejami," šodien, 13. oktobrī, 29. Starptautiskajā datorlingvistikas konferencē (COLING) sacīja IST koledžas absolvents un pētījuma pirmais autors Pranavs Venkits. "Mēs ceram, ka mūsu atklājumi palīdzēs izstrādātājiem, kas izstrādā AI, lai palīdzētu konkrētām grupām, jo ​​īpaši cilvēkiem ar invaliditāti, kuri savās ikdienas darbībās paļaujas uz AI, apzināties šos aizspriedumus."

Savā pētījumā pētnieki pārbaudīja mašīnmācīšanās modeļus, kas tika apmācīti uz avota datiem, lai grupētu līdzīgus vārdus, ļaujot datoram automātiski ģenerēt vārdu secības. Viņi izveidoja četras vienkāršas teikumu veidnes, kurās var mainīgi aizpildīt dzimtes lietvārdu "vīrietis", "sieviete" vai "persona" un vienu no 10 angļu valodā visbiežāk lietotajiem īpašības vārdiem -; piemēram: "Jūs esat laba cilvēka vecāki." Pēc tam viņi radīja vairāk nekā 600 īpašības vārdus, kurus varētu saistīt ar cilvēkiem ar vai bez invaliditātes -; piemēram, neirotipiski vai vājredzīgi -; lai katrā teikumā nejauši aizstātu īpašības vārdu. Komanda pārbaudīja vairāk nekā 15 000 unikālu teikumu katrā modelī, lai ģenerētu vārdu asociācijas īpašības vārdiem.

Piemēram, mēs izvēlējāmies vārdu “labs” un vēlējāmies redzēt, kā tas savienojas ar terminiem, kas attiecas gan uz invaliditāti, gan uz invaliditāti. Pievienojot terminu, kas nav saistīts ar invaliditāti, efekts kļūst no “labs” uz “lielisks”. Bet, ja “labs” ir saistīts ar invaliditātes terminu, mēs iegūstam rezultātu “slikti”. Tātad šīs pašas īpašības vārda formas izmaiņas parāda modeļa nepārprotamo novirzi.

Pranavs Venkits, doktora grāda kandidāts, IST koledža

Lai gan šis uzdevums atklāja nepārprotamu modeļu neobjektivitāti, pētnieki vēlējās sīkāk izpētīt katru modeli, lai noteiktu netiešo novirzi -; Attieksme pret cilvēkiem vai stereotipu saistīšana ar viņiem bez apzinātām zināšanām. Viņi pārbaudīja īpašības vārdus, kas ģenerēti invalīdu un personu grupām bez invaliditātes, un novērtēja katra indivīda noskaņojumu -; NLP tehnika, lai novērtētu, vai teksts ir pozitīvs, negatīvs vai neitrāls. Visi modeļi, kurus viņi pārbaudīja, konsekventi novērtēja teikumus ar vārdiem, kas saistīti ar invaliditāti, negatīvāk nekā tiem, kuriem nav. Viens konkrēts modelis, kas iepriekš apmācīts Twitter datos, 86% gadījumu, kad tika lietots ar invaliditāti saistīts termins, noskaņojuma rādītāju mainīja no pozitīva uz negatīvu.

"Ja mēs paskatāmies tikai uz šo vērtību, mēs redzam, ka, tikai pievienojot sarunai ar invaliditāti saistītu terminu, visa teikuma noskaņojuma vērtība samazinās," sacīja Venkits. "Piemēram, ja lietotājs komentārā vai sociālo mediju ziņā iekļauj ar invaliditāti saistītu terminu, palielinās iespēja, ka šī ziņa tiks cenzēta vai ierobežota."

Pētnieki arī pārbaudīja netiešu aizspriedumu divos lielos valodu modeļos, ko izmantoja, lai automātiski ģenerētu garus tekstus, piemēram, ziņu rakstus, lai noskaidrotu, kā atstarpe teikuma veidnē mainīsies atkarībā no lietotā īpašības vārda. Šajā analīzē viņi ģenerēja 7500 teikumus, atkal mainīgi ievietoja īpašības vārdus, kas norāda uz invaliditāti vai invaliditāti, un pārbaudīja, kā atstarpe teikuma veidnē mainīsies atkarībā no izmantotā īpašības vārda. Šajā gadījumā, ja tika dots teikums "Vīrietis ir tukšs", valodas modeļi paredzēja tukšajam vārdam "mainīts". Tomēr, ja teikumam tika pievienots ar invaliditāti saistīts īpašības vārds, kā rezultātā "kurlredzīgam vīrietim ir "tukšs", modelis paredzēja, ka tukšajam vārdam ir "miris".

Modeļu netiešā neobjektivitāte pret cilvēkiem ar invaliditāti varētu būt acīmredzama dažādos lietojumos -; piemēram, īsziņās, kad kļūdaini uzrakstītam vārdam tiek piemērota automātiskā labošana, vai sociālajos medijos, kur ir noteikumi, kas aizliedz aizskarošus vai uzmācīgus ierakstus. Tā kā cilvēki nevar pārskatīt lielo ziņu skaitu, mākslīgā intelekta modeļi izmanto šos noskaņojuma rādītājus, lai filtrētu ziņas, kas tiek uzskatītas par platformas kopienas standartu pārkāpumiem.

"Ja kāds runā par invaliditāti un amats nav toksisks, šāds modelis, kas nekoncentrējas uz aizspriedumu nošķiršanu, varētu klasificēt amatu kā toksisku tikai tāpēc, ka ar amatu ir saistīta invaliditāte," skaidroja Mukunds Šrinats. IST koledžas doktorants un pētījuma līdzautors.

"Kad pētnieks vai izstrādātājs izmanto kādu no šiem modeļiem, viņi ne vienmēr aplūko visas dažādās sugas un cilvēkus, kurus tas ietekmēs - it īpaši, ja viņi koncentrējas uz rezultātiem un sniegtā produkta kvalitāti," sacīja Venkit. "Šis darbs parāda, ka cilvēkiem ir jābūt uzmanīgiem attiecībā uz to, kādus modeļus viņi izmanto un kā tas varētu ietekmēt reālus cilvēkus viņu ikdienas dzīvē."

Venkit un Srinath strādāja kopā ar Šomiru Vilsonu, informācijas zinātnes un tehnoloģiju docentu, pie projekta.

Avots:

Pensilvānija

.