AI-sprogmodeller kan være stødende eller partiske over for mennesker med handicap

AI-sprogmodeller kan være stødende eller partiske over for mennesker med handicap

Natural Language Processing (NLP) er en type kunstig intelligens, der gør det muligt for maskiner at bruge tekst og talte ord i mange forskellige applikationer -; såsom intelligente assistenter eller e-mail autokorrektur og spamfiltre -; Hjælp med at automatisere og optimere processer for individuelle brugere og virksomheder. Men ifølge forskere ved Penn State College of Information Sciences and Technology (IST) udviser de algoritmer, der driver denne teknologi, ofte skævheder, der kan være stødende eller forudindtaget over for mennesker med handicap.

Forskerne fandt ud af, at alle de algoritmer og modeller, de testede, indeholdt betydelig implicit bias mod mennesker med handicap. Tidligere forskning i fortrænede sprogmodeller -; som er trænet på store mængder data, der kan indeholde implicitte skævheder -; har identificeret sociodemografiske skævheder over for køn og race, men indtil nu er lignende skævheder over for mennesker med handicap ikke blevet undersøgt bredt.

"De 13 modeller, vi har undersøgt, er meget brugte og offentlige af natur," sagde Pranav Venkit, en kandidatstuderende ved College of IST og førsteforfatter af undersøgelsen, i dag (13. oktober) ved den 29. internationale konference om computational lingvistik (COLING). "Vi håber, at vores resultater vil hjælpe udviklere, der udvikler AI til at hjælpe specifikke grupper - især mennesker med handicap, der er afhængige af AI i deres daglige aktiviteter - med at være opmærksomme på disse skævheder."

I deres undersøgelse undersøgte forskerne maskinlæringsmodeller trænet på kildedata til at gruppere lignende ord sammen, så en computer automatisk kan generere ordsekvenser. De skabte fire simple sætningsskabeloner, hvor et kønsnavneord af "mand", "kvinde" eller "person" og et af de 10 mest brugte adjektiver i det engelske sprog kan udfyldes variabelt -; for eksempel: "I er forældre til en god person." De genererede derefter mere end 600 adjektiver, der kunne forbindes med enten mennesker med eller uden handicap -; såsom neurotypiske eller synshandicappede -; at tilfældigt erstatte adjektivet i hver sætning. Holdet testede mere end 15.000 unikke sætninger i hver model for at generere ordassociationer til adjektiverne.

For eksempel valgte vi ordet "god" og ville se, hvordan det hænger sammen med udtryk, der refererer til både ikke-handicap og handicap. Med tilføjelsen af ​​et ikke-handicapbegreb går effekten fra "god" til "stor". Men når "god" er forbundet med et handicapbegreb, får vi resultatet "dårligt". Så denne ændring i selve adjektivets form viser modellens eksplicitte skævhed."

Pranav Venkit, ph.d.-kandidat, College of IST

Mens denne øvelse afslørede den eksplicitte bias til stede i modellerne, ønskede forskerne at undersøge hver model yderligere for implicit bias -; Holdninger til mennesker eller at forbinde stereotyper med dem uden bevidst viden. De undersøgte de adjektiver, der blev genereret for de handicappede og ikke-handicappede grupper og målte hvert individs humør -; en NLP-teknik til at vurdere, om tekst er positiv, negativ eller neutral. Alle de modeller, de undersøgte, vurderede konsekvent sætninger med ord forbundet med handicap mere negativt end dem uden. En bestemt model, der var forudtrænet på Twitter-data, vendte sentiment-scoren fra positiv til negativ 86 % af tiden, når et handicaprelateret udtryk blev brugt.

"Hvis vi bare ser på denne værdi, ser vi, at blot ved at tilføje et handicaprelateret udtryk til samtalen, falder følelsesværdien af ​​hele sætningen," sagde Venkit. "Hvis en bruger f.eks. inkluderer et handicaprelateret udtryk i en kommentar eller et opslag på sociale medier, øges sandsynligheden for, at dette opslag bliver censureret eller begrænset."

Forskerne testede også for implicit bias i to store sprogmodeller, der blev brugt til automatisk at generere lange tekster såsom nyhedsartikler for at se, hvordan et mellemrum i sætningsskabelonen ville ændre sig afhængigt af det anvendte adjektiv. I denne analyse genererede de 7.500 sætninger, igen variabelt indsatte adjektiver, der refererede til ikke-handicap eller handicap, og testede, hvordan et mellemrum i sætningsskabelonen ville ændre sig afhængigt af det anvendte adjektiv. I dette tilfælde, når de fik sætningen "En mand har 'blank'", forudsagde sprogmodellerne "ændret" for det tomme ord. Men da et handicaprelateret adjektiv blev føjet til sætningen, hvilket resulterede i "En døvblind mand har 'tom'", forudsagde modellen "død" for den tomme.

Modellernes implicitte bias mod mennesker med handicap kunne være tydelig i forskellige applikationer -; for eksempel i sms'er, når autokorrektur anvendes på et forkert stavet ord, eller på sociale medier, hvor der er regler, der forbyder krænkende eller chikanerende indlæg. Da mennesker ikke er i stand til at gennemgå det store antal indlæg, bruger kunstig intelligens-modeller disse sentiment-scores til at bortfiltrere de indlæg, der anses for at overtræde platformens fællesskabsstandarder.

"Hvis nogen taler om handicap, og indlægget ikke er giftigt, kan en model som denne, der ikke fokuserer på at adskille skævhederne, kategorisere indlægget som giftigt, bare fordi der er et handicap forbundet med posten," forklarede Mukund Srinath. Ph.d.-studerende ved College of IST og medforfatter til undersøgelsen.

"Når en forsker eller udvikler bruger en af ​​disse modeller, ser de ikke altid på alle de forskellige arter og mennesker, der vil blive påvirket af det - især når de er fokuseret på resultaterne og kvaliteten af ​​det, de leverer," sagde Venkit. "Dette arbejde viser, at folk skal være forsigtige med, hvilken slags modeller de bruger, og hvilken indflydelse det kan have på rigtige mennesker i deres hverdag."

Venkit og Srinath arbejdede sammen med Shomir Wilson, assisterende professor i informationsvidenskab og teknologi, på projektet.

Kilde:

Pennsylvania

.