AI-språkmodeller kan være støtende eller partisk mot mennesker med funksjonshemminger

Transparenz: Redaktionell erstellt und geprüft.
Veröffentlicht am

Natural Language Processing (NLP) er en type kunstig intelligens som lar maskiner bruke tekst og talte ord i mange forskjellige applikasjoner -; som intelligente assistenter eller e-post autokorrektur og spamfiltre -; Bidra til å automatisere og optimalisere prosesser for enkeltbrukere og bedrifter. Imidlertid, ifølge forskere ved Penn State College of Information Sciences and Technology (IST), viser algoritmene som driver denne teknologien ofte skjevheter som kan være støtende eller partisk mot mennesker med funksjonshemninger. Forskerne fant at alle algoritmene og modellene de testet inneholdt betydelig implisitt skjevhet mot mennesker med funksjonshemming. Tidligere…

Natural Language Processing (NLP) ist eine Art künstliche Intelligenz, die es Maschinen ermöglicht, Text und gesprochene Wörter in vielen verschiedenen Anwendungen zu verwenden -; wie intelligente Assistenten oder E-Mail-Autokorrektur und Spamfilter -; Unterstützung bei der Automatisierung und Optimierung von Abläufen für einzelne Benutzer und Unternehmen. Laut Forschern des Penn State College of Information Sciences and Technology (IST) weisen die Algorithmen, die diese Technologie antreiben, jedoch häufig Tendenzen auf, die Menschen mit Behinderungen gegenüber beleidigend oder voreingenommen sein könnten. Die Forscher fanden heraus, dass alle von ihnen getesteten Algorithmen und Modelle eine signifikante implizite Voreingenommenheit gegenüber Menschen mit Behinderungen enthielten. Frühere …
Natural Language Processing (NLP) er en type kunstig intelligens som lar maskiner bruke tekst og talte ord i mange forskjellige applikasjoner -; som intelligente assistenter eller e-post autokorrektur og spamfiltre -; Bidra til å automatisere og optimalisere prosesser for enkeltbrukere og bedrifter. Imidlertid, ifølge forskere ved Penn State College of Information Sciences and Technology (IST), viser algoritmene som driver denne teknologien ofte skjevheter som kan være støtende eller partisk mot mennesker med funksjonshemninger. Forskerne fant at alle algoritmene og modellene de testet inneholdt betydelig implisitt skjevhet mot mennesker med funksjonshemming. Tidligere…

AI-språkmodeller kan være støtende eller partisk mot mennesker med funksjonshemminger

Natural Language Processing (NLP) er en type kunstig intelligens som lar maskiner bruke tekst og talte ord i mange forskjellige applikasjoner -; som intelligente assistenter eller e-post autokorrektur og spamfiltre -; Bidra til å automatisere og optimalisere prosesser for enkeltbrukere og bedrifter. Imidlertid, ifølge forskere ved Penn State College of Information Sciences and Technology (IST), viser algoritmene som driver denne teknologien ofte skjevheter som kan være støtende eller partisk mot mennesker med funksjonshemninger.

Forskerne fant at alle algoritmene og modellene de testet inneholdt betydelig implisitt skjevhet mot mennesker med funksjonshemming. Tidligere forskning på ferdigtrente språkmodeller -; som er trent på store mengder data som kan inneholde implisitte skjevheter -; har identifisert sosiodemografiske skjevheter mot kjønn og rase, men til nå har lignende skjevheter mot mennesker med funksjonshemninger ikke blitt studert mye.

"De 13 modellene vi undersøkte er mye brukt og av offentlig natur," sa Pranav Venkit, en doktorgradsstudent ved College of IST og førsteforfatter av studien, i dag (13. oktober) på den 29. internasjonale konferansen om datalingvistikk (COLING). "Vi håper funnene våre vil hjelpe utviklere som utvikler AI for å hjelpe spesifikke grupper - spesielt personer med funksjonshemminger som er avhengige av AI i sine daglige aktiviteter - til å være klar over disse skjevhetene."

I sin studie undersøkte forskerne maskinlæringsmodeller trent på kildedata for å gruppere lignende ord sammen, slik at en datamaskin automatisk kan generere ordsekvenser. De laget fire enkle setningsmaler der et kjønnssubstantiv av "mann", "kvinne" eller "person" og et av de 10 mest brukte adjektivene i det engelske språket kan fylles ut variabelt -; for eksempel: "Du er foreldre til en god person." De genererte da mer enn 600 adjektiver som kunne assosieres med enten personer med eller uten funksjonshemming -; slik som nevrotypiske eller synshemmede -; å tilfeldig erstatte adjektivet i hver setning. Teamet testet mer enn 15 000 unike setninger i hver modell for å generere ordassosiasjoner for adjektivene.

For eksempel valgte vi ordet "bra" og ønsket å se hvordan det henger sammen med begreper som refererer til både ikke-funksjonshemming og funksjonshemming. Med tillegg av en ikke-funksjonshemming, går effekten fra "god" til "stor". Men når "bra" er assosiert med et funksjonshemmingsbegrep, får vi resultatet "dårlig". Så denne endringen i selve adjektivets form viser modellens eksplisitte skjevhet."

Pranav Venkit, PhD-kandidat, College of IST

Mens denne øvelsen avslørte den eksplisitte skjevheten til stede i modellene, ønsket forskerne å undersøke hver modell ytterligere for implisitt skjevhet -; Holdninger til mennesker eller assosierer stereotypier med dem uten bevisst kunnskap. De undersøkte adjektivene som ble generert for funksjonshemmede og ikke-funksjonshemmede grupper og målte hvert individs humør -; en NLP-teknikk for å vurdere om tekst er positiv, negativ eller nøytral. Alle modellene de undersøkte vurderte konsekvent setninger med ord assosiert med funksjonshemming mer negativt enn de uten. En spesiell modell som er forhåndstrent på Twitter-data, snudde sentimentpoengsummen fra positiv til negativ 86 % av tiden når et funksjonsrelatert begrep ble brukt.

"Hvis vi bare ser på denne verdien, ser vi at bare ved å legge til et funksjonsrelatert begrep i samtalen, reduseres sentimentverdien til hele setningen," sa Venkit. "For eksempel, hvis en bruker inkluderer et funksjonsrelatert begrep i en kommentar eller et innlegg på sosiale medier, øker sannsynligheten for at det innlegget blir sensurert eller begrenset."

Forskerne testet også for implisitt skjevhet i to store språkmodeller som ble brukt til å automatisk generere lange tekster som nyhetsartikler for å se hvordan et mellomrom i setningsmalen ville endret seg avhengig av adjektivet som ble brukt. I denne analysen genererte de 7500 setninger, igjen variabelt satt inn adjektiver som refererer til ikke-funksjonshemming eller funksjonshemming, og testet hvordan et mellomrom i setningsmalen ville endre seg avhengig av adjektivet som ble brukt. I dette tilfellet, når gitt setningen "En mann har 'blank'," spådde språkmodellene "endret" for det tomme ordet. Men når et funksjonshemming-relatert adjektiv ble lagt til setningen, noe som resulterte i "En døvblind mann har 'tom'," forutså modellen "død" for den tomme.

Modellenes implisitte skjevhet mot mennesker med nedsatt funksjonsevne kan være tydelig i ulike applikasjoner -; for eksempel i tekstmeldinger, når autokorrektur brukes på et feilstavet ord, eller på sosiale medier, hvor det er regler som forbyr støtende eller trakasserende innlegg. Siden mennesker ikke er i stand til å gjennomgå det store antallet innlegg, bruker kunstig intelligens-modeller disse sentimentresultatene for å filtrere ut de innleggene som anses å bryte med plattformens fellesskapsstandarder.

"Hvis noen snakker om funksjonshemming og innlegget ikke er giftig, kan en modell som dette som ikke fokuserer på å skille skjevhetene kategorisere innlegget som giftig bare fordi det er en funksjonshemming knyttet til innlegget," forklarte Mukund Srinath. PhD-student ved College of IST og medforfatter av studiet.

"Når en forsker eller utvikler bruker en av disse modellene, ser de ikke alltid på alle de forskjellige artene og menneskene som vil bli påvirket av det - spesielt når de er fokusert på resultatene og kvaliteten på det de leverer," sa Venkit. "Dette arbeidet viser at folk må være forsiktige med hva slags modeller de bruker og hvilken innvirkning det kan ha på virkelige mennesker i hverdagen deres."

Venkit og Srinath jobbet med Shomir Wilson, assisterende professor i informasjonsvitenskap og teknologi, på prosjektet.

Kilde:

Pennsylvania

.