AI kalbos modeliai gali būti įžeidžiantys arba šališki žmonių su negalia atžvilgiu

AI kalbos modeliai gali būti įžeidžiantys arba šališki žmonių su negalia atžvilgiu

Natūralios kalbos apdorojimas (NLP) yra dirbtinio intelekto tipas, leidžiantis mašinoms naudoti tekstą ir ištartus žodžius daugelyje skirtingų programų; pvz., išmanieji asistentai arba el. pašto automatinis taisymas ir šlamšto filtrai; Padėkite automatizuoti ir optimizuoti atskirų vartotojų ir įmonių procesus. Tačiau, pasak Peno valstijos informacinių mokslų ir technologijų koledžo (IST) tyrėjų, šią technologiją valdantys algoritmai dažnai pasižymi šališkumu, kuris gali būti įžeidžiantis arba šališkas žmonių su negalia atžvilgiu.

Tyrėjai nustatė, kad visi jų išbandyti algoritmai ir modeliai turėjo didelį numanomą šališkumą neįgaliesiems. Ankstesni iš anksto parengtų kalbos modelių tyrimai -; kurie mokomi apie didelius duomenų kiekius, kuriuose gali būti numanomų paklaidų; nustatė sociodemografinį šališkumą lyties ir rasės atžvilgiu, tačiau iki šiol panašus polinkis į žmones su negalia nebuvo plačiai ištirtas.

„13 modelių, kuriuos išnagrinėjome, yra plačiai naudojami ir yra vieši“, – šiandien (spalio 13 d.) 29-ojoje tarptautinėje kompiuterinės kalbotyros konferencijoje (COLING) sakė IST kolegijos magistrantas ir pirmasis tyrimo autorius Pranavas Venkit. „Tikimės, kad mūsų išvados padės kūrėjams, kuriantiems dirbtinį intelektą, padėti konkrečioms grupėms, ypač žmonėms su negalia, kurie savo kasdienėje veikloje naudojasi dirbtiniu intelektu, suvokti šiuos šališkumus.

Savo tyrime mokslininkai ištyrė mašininio mokymosi modelius, parengtus remiantis šaltinio duomenimis, kad sugrupuotų panašius žodžius, leidžiančius kompiuteriui automatiškai generuoti žodžių sekas. Jie sukūrė keturis paprastus sakinių šablonus, kuriuose lyties daiktavardis „vyras“, „moteris“ arba „asmuo“ ir vienas iš 10 dažniausiai vartojamų būdvardžių anglų kalboje gali būti pildomas įvairiai -; Pavyzdžiui: „Jūs esate gero žmogaus tėvai“. Tada jie sukūrė daugiau nei 600 būdvardžių, kurie gali būti siejami su žmonėmis su negalia arba be jo -; pvz., neurotipinis ar silpnaregis -; atsitiktinai pakeisti būdvardį kiekviename sakinyje. Kiekviename modelyje komanda išbandė daugiau nei 15 000 unikalių sakinių, kad sukurtų būdvardžių žodžių asociacijas.

Pavyzdžiui, pasirinkome žodį „geras“ ir norėjome pamatyti, kaip jis susietas su terminais, kurie reiškia ir ne negalią, ir negalią. Pridėjus terminą, nesusijusį su negalia, poveikis tampa „geras“ į „puikus“. Bet kai „geras“ siejamas su negalios terminu, gauname rezultatą „blogas“. Taigi šis paties būdvardžio formos pokytis rodo aiškų modelio šališkumą.

Pranav Venkit, doktorantas, IST kolegija

Nors šis pratimas atskleidė aiškų modelių šališkumą, mokslininkai norėjo toliau tirti kiekvieną modelį, ar nėra numanomo šališkumo; Požiūris į žmones ar stereotipų siejimas su jais be sąmoningo žinojimo. Jie ištyrė neįgaliųjų ir neįgaliųjų grupėms generuojamus būdvardžius ir matavo kiekvieno asmens nuotaiką -; NLP metodas, skirtas įvertinti, ar tekstas yra teigiamas, neigiamas ar neutralus. Visi modeliai, kuriuos jie nagrinėjo, nuosekliai vertino sakinius su žodžiais, susijusiais su negalia, neigiamai nei tuos, kurių nėra. Vienas konkretus modelis, iš anksto apmokytas „Twitter“ duomenimis, 86% atvejų, kai buvo vartojamas su negalia susijęs terminas, nuotaikų balą pavertė iš teigiamo į neigiamą.

„Jei pažiūrėtume tik į šią vertę, pamatytume, kad vien pokalbyje pridėjus su negalia susijusį terminą, viso sakinio sentimentų vertė mažėja“, - sakė Venkit. „Pavyzdžiui, jei vartotojas į komentarą ar socialinės žiniasklaidos įrašą įtraukia su negalia susijusį terminą, padidėja tikimybė, kad tas įrašas bus cenzūruotas arba apribotas.

Tyrėjai taip pat išbandė netiesioginį šališkumą dviejuose dideliuose kalbų modeliuose, naudojamuose automatiškai generuoti ilgus tekstus, pvz., naujienų straipsnius, kad pamatytų, kaip pasikeistų tarpas sakinio šablone, atsižvelgiant į naudojamą būdvardį. Šios analizės metu jie sugeneravo 7500 sakinių, vėl kintamu būdu įterpė būdvardžius, nurodančius ne negalią ar negalią, ir išbandė, kaip tarpas sakinio šablone pasikeistų priklausomai nuo vartojamo būdvardžio. Šiuo atveju, kai buvo pateiktas sakinys „Vyras turi „tuščią“, kalbos modeliai numatė tuščio žodžio „pakeitimą“. Tačiau kai prie sakinio buvo pridėtas su negalia susijęs būdvardis, dėl kurio „kurčias aklas žmogus turi „tuščią“, modelis numatė „numiręs“ už tuščią žodį.

Modelių numanomas šališkumas prieš žmones su negalia gali būti akivaizdus įvairiose programose -; pavyzdžiui, tekstinėse žinutėse, kai neteisingai parašytam žodžiui taikomas automatinis taisymas, arba socialiniuose tinkluose, kur yra taisyklės, draudžiančios įžeidžiančius ar priekabiaujančius įrašus. Kadangi žmonės negali peržiūrėti daugybės pranešimų, dirbtinio intelekto modeliai naudoja šiuos nuotaikų balus, kad išfiltruotų tuos įrašus, kurie laikomi pažeidžiančiais platformos bendruomenės standartus.

„Jei kas nors kalba apie negalią, o postas nėra toksiškas, toks modelis, kuris nekreipia dėmesio į šališkumo atskyrimą, galėtų priskirti pareigas toksiškoms vien dėl to, kad su pareigomis yra susijusi negalia“, – paaiškino Mukundas Srinathas. IST koledžo doktorantė ir tyrimo bendraautorė.

„Kai tyrėjas ar kūrėjas naudoja vieną iš šių modelių, jie ne visada atsižvelgia į visas skirtingas rūšis ir žmones, kuriuos tai paveiks – ypač tada, kai yra susitelkę į rezultatus ir to, ką jie pateikia, kokybę“, – sakė Venkit. „Šis darbas rodo, kad žmonės turi būti atsargūs dėl to, kokius modelius jie naudoja ir kokį poveikį tai gali turėti tikriems žmonėms jų kasdieniame gyvenime.

Venkit ir Srinath projekte dirbo su informacijos mokslo ir technologijų docentu Shomiru Wilsonu.

Šaltinis:

Pensilvanija

.