AI-språkmodeller kan vara stötande eller partiska mot personer med funktionsnedsättning

AI-språkmodeller kan vara stötande eller partiska mot personer med funktionsnedsättning

Natural Language Processing (NLP) är en typ av artificiell intelligens som gör att maskiner kan använda text och talade ord i många olika applikationer -; såsom intelligenta assistenter eller autokorrigering via e-post och spamfilter -; Hjälp till att automatisera och optimera processer för enskilda användare och företag. Men enligt forskare vid Penn State College of Information Sciences and Technology (IST), uppvisar algoritmerna som driver denna teknik ofta fördomar som kan vara stötande eller partiska mot personer med funktionshinder.

Forskarna fann att alla algoritmer och modeller de testade innehöll betydande implicit fördom mot personer med funktionshinder. Tidigare forskning om förtränade språkmodeller -; som är tränade på stora mängder data som kan innehålla implicita fördomar -; har identifierat sociodemografiska fördomar mot kön och ras, men hittills har liknande fördomar mot personer med funktionsnedsättning inte studerats i stor omfattning.

"De 13 modellerna vi undersökte är allmänt använda och offentliga till sin natur," sa Pranav Venkit, en doktorand vid College of IST och första författare till studien, idag (13 oktober) vid den 29:e internationella konferensen om beräkningslingvistik (COLING). "Vi hoppas att våra resultat kommer att hjälpa utvecklare som utvecklar AI för att hjälpa specifika grupper - särskilt personer med funktionshinder som förlitar sig på AI i sina dagliga aktiviteter - att vara medvetna om dessa fördomar."

I sin studie undersökte forskarna maskininlärningsmodeller som tränats på källdata för att gruppera liknande ord tillsammans, vilket gör att en dator automatiskt kan generera ordsekvenser. De skapade fyra enkla meningsmallar där ett könssubstantiv av "man", "kvinna" eller "person" och ett av de 10 mest använda adjektiven på engelska kan fyllas i variabelt -; till exempel: "Du är föräldrar till en bra person." De genererade sedan mer än 600 adjektiv som kunde associeras med antingen personer med eller utan funktionshinder -; såsom neurotypiska eller synskadade -; att slumpmässigt ersätta adjektivet i varje mening. Teamet testade mer än 15 000 unika meningar i varje modell för att skapa ordassociationer för adjektiven.

Vi valde till exempel ordet "bra" och ville se hur det hänger ihop med termer som refererar till både icke-funktionsnedsättning och funktionshinder. Med tillägget av en term utan funktionshinder går effekten från "bra" till "bra". Men när "bra" förknippas med ett funktionshinder får vi resultatet "dåligt". Så denna förändring i formen av adjektivet i sig visar modellens explicita partiskhet."

Pranav Venkit, doktorand, College of IST

Även om denna övning avslöjade den explicita fördomen som finns i modellerna, ville forskarna ytterligare undersöka varje modell för implicit fördom -; Attityder till människor eller att associera stereotyper med dem utan medveten kunskap. De undersökte de adjektiv som genererades för de funktionshindrade och icke-handikappade grupperna och mätte varje individs humör -; en NLP-teknik för att utvärdera om text är positiv, negativ eller neutral. Alla modeller de undersökte betygsatte konsekvent meningar med ord förknippade med funktionsnedsättning mer negativt än de utan. En speciell modell som förutbildats på Twitter-data vände sentimentpoängen från positivt till negativt 86 % av gångerna när en funktionsnedsättningsrelaterad term användes.

"Om vi ​​bara tittar på det här värdet ser vi att bara genom att lägga till en funktionsrelaterad term till samtalet, minskar sentimentvärdet för hela meningen," sa Venkit. "Till exempel, om en användare inkluderar en funktionsrelaterad term i en kommentar eller ett inlägg på sociala medier, ökar sannolikheten att det inlägget kommer att censureras eller begränsas."

Forskarna testade också för implicit bias i två stora språkmodeller som används för att automatiskt generera långa texter som nyhetsartiklar för att se hur ett mellanslag i meningsmallen skulle förändras beroende på vilket adjektiv som används. I denna analys genererade de 7 500 meningar, återigen infogade adjektiv variabelt som hänvisar till icke-funktionsnedsättning eller funktionshinder, och testade hur ett mellanslag i meningsmallen skulle förändras beroende på vilket adjektiv som används. I det här fallet, när man gav meningen "En man har 'blank'", förutspådde språkmodellerna "ändrade" för det tomma ordet. Men när ett handikapprelaterat adjektiv lades till meningen, vilket resulterade i "En dövblind man har 'tom'", förutspådde modellen "död" för den tomma.

Modellernas implicita partiskhet mot personer med funktionsnedsättning kan vara uppenbar i olika tillämpningar -; till exempel i sms, när autokorrigering tillämpas på ett felstavat ord, eller på sociala medier, där det finns regler som förbjuder kränkande eller trakasserande inlägg. Eftersom människor inte kan granska det stora antalet inlägg, använder artificiell intelligensmodeller dessa sentimentpoäng för att filtrera bort de inlägg som anses bryta mot plattformens gemenskapsstandarder.

"Om någon pratar om funktionshinder och inlägget inte är giftigt, kan en modell som denna som inte fokuserar på att separera fördomar kategorisera inlägget som giftigt bara för att det finns ett funktionshinder förknippat med inlägget," förklarade Mukund Srinath. Doktorand vid College of IST och medförfattare till studien.

"När en forskare eller utvecklare använder en av dessa modeller, tittar de inte alltid på alla olika arter och människor som kommer att påverkas av det - speciellt när de är fokuserade på resultaten och kvaliteten på det de levererar," sa Venkit. "Det här arbetet visar att människor måste vara försiktiga med vilken typ av modeller de använder och vilken inverkan det kan ha på riktiga människor i deras vardag."

Venkit och Srinath arbetade med Shomir Wilson, biträdande professor i informationsvetenskap och teknologi, i projektet.

Källa:

Pennsylvania

.