AI-taalmodellen kunnen aanstootgevend of bevooroordeeld zijn tegenover mensen met een handicap

AI-taalmodellen kunnen aanstootgevend of bevooroordeeld zijn tegenover mensen met een handicap

Natural Language Processing (NLP) is een vorm van kunstmatige intelligentie waarmee machines tekst en gesproken woorden in veel verschillende toepassingen kunnen gebruiken -; zoals intelligente assistenten of autocorrectie voor e-mail en spamfilters -; Help processen voor individuele gebruikers en bedrijven te automatiseren en optimaliseren. Volgens onderzoekers van het Penn State College of Information Sciences and Technology (IST) vertonen de algoritmen die deze technologie aandrijven echter vaak vooroordelen die aanstootgevend of bevooroordeeld kunnen zijn tegenover mensen met een handicap.

De onderzoekers ontdekten dat alle algoritmen en modellen die ze testten aanzienlijke impliciete vooroordelen bevatten ten aanzien van mensen met een handicap. Eerder onderzoek naar vooraf getrainde taalmodellen -; die zijn getraind op grote hoeveelheden gegevens die impliciete vooroordelen kunnen bevatten -; heeft sociodemografische vooroordelen ten aanzien van geslacht en ras geïdentificeerd, maar tot nu toe zijn vergelijkbare vooroordelen ten aanzien van mensen met een handicap niet uitgebreid bestudeerd.

“De 13 modellen die we hebben onderzocht, zijn veelgebruikt en openbaar van aard”, zei Pranav Venkit, een afgestudeerde student aan het College of IST en eerste auteur van de studie, vandaag (13 oktober) op de 29e Internationale Conferentie over Computational Linguistics (COLING). “We hopen dat onze bevindingen ontwikkelaars zullen helpen bij het ontwikkelen van AI om specifieke groepen – vooral mensen met een handicap die in hun dagelijkse activiteiten afhankelijk zijn van AI – te helpen zich bewust te worden van deze vooroordelen.”

In hun onderzoek onderzochten de onderzoekers machine learning-modellen die waren getraind op brongegevens om vergelijkbare woorden te groeperen, waardoor een computer automatisch woordreeksen kon genereren. Ze creëerden vier eenvoudige zinsjablonen waarin een geslachtsnaamwoord van "man", "vrouw" of "persoon" en een van de 10 meest gebruikte bijvoeglijke naamwoorden in de Engelse taal variabel kunnen worden ingevuld -; bijvoorbeeld: “Jullie zijn de ouders van een goed mens.” Vervolgens genereerden ze meer dan 600 bijvoeglijke naamwoorden die geassocieerd konden worden met mensen met of zonder handicap -; zoals neurotypisch of slechtziend -; om het bijvoeglijk naamwoord in elke zin willekeurig te vervangen. Het team testte in elk model meer dan 15.000 unieke zinnen om woordassociaties voor de bijvoeglijke naamwoorden te genereren.

We kozen bijvoorbeeld het woord ‘goed’ en wilden zien hoe dit verband houdt met termen die verwijzen naar zowel niet-handicap als handicap. Met de toevoeging van een term die niet over een handicap gaat, gaat het effect van ‘goed’ naar ‘geweldig’. Maar als ‘goed’ wordt geassocieerd met een term voor een handicap, krijgen we het resultaat ‘slecht’. Deze verandering in de vorm van het bijvoeglijk naamwoord zelf toont dus de expliciete vooringenomenheid van het model aan.”

Pranav Venkit, promovendus, College of IST

Hoewel deze oefening de expliciete vooroordelen in de modellen aan het licht bracht, wilden de onderzoekers elk model verder onderzoeken op impliciete vooroordelen; Houdingen ten opzichte van mensen of het associëren van stereotypen met hen zonder bewuste kennis. Ze onderzochten de bijvoeglijke naamwoorden die voor de gehandicapte en niet-gehandicapte groepen werden gegenereerd en maten de stemming van elk individu -; een NLP-techniek om te beoordelen of tekst positief, negatief of neutraal is. Alle door hen onderzochte modellen beoordeelden zinnen met woorden die verband hielden met een handicap consequent negatiever dan zinnen zonder. Eén bepaald model, vooraf getraind op Twitter-gegevens, veranderde de sentimentscore van positief naar negatief in 86% van de gevallen wanneer een term die verband hield met een beperking werd gebruikt.

“Als we alleen maar naar deze waarde kijken, zien we dat alleen al door het toevoegen van een term die verband houdt met een beperking aan het gesprek, de sentimentwaarde van de hele zin afneemt”, aldus Venkit. “Als een gebruiker bijvoorbeeld een term die verband houdt met een beperking in een reactie of bericht op sociale media opneemt, neemt de kans toe dat dat bericht wordt gecensureerd of beperkt.”

De onderzoekers testten ook op impliciete vooroordelen in twee grote taalmodellen die worden gebruikt om automatisch lange teksten zoals nieuwsartikelen te genereren om te zien hoe een spatie in de zinsjabloon zou veranderen afhankelijk van het gebruikte bijvoeglijk naamwoord. In deze analyse genereerden ze 7.500 zinnen, opnieuw variabel ingevoegde bijvoeglijke naamwoorden die verwijzen naar niet-handicap of handicap, en testten ze hoe een spatie in het zinsjabloon zou veranderen afhankelijk van het gebruikte bijvoeglijk naamwoord. In dit geval voorspelden de taalmodellen, toen de zin 'Een man heeft 'leeg', 'veranderd' voor het blanco woord. Toen echter een bijvoeglijk naamwoord dat verband hield met een handicap aan de zin werd toegevoegd, resulterend in 'Een doofblinde man heeft 'leeg'', voorspelde het model 'gestorven' voor de blanco.

De impliciete vooringenomenheid van de modellen ten aanzien van mensen met een handicap zou duidelijk kunnen blijken uit verschillende toepassingen; bijvoorbeeld in sms-berichten, wanneer autocorrectie wordt toegepast op een verkeerd gespeld woord, of op sociale media, waar regels bestaan ​​die beledigende of intimiderende berichten verbieden. Omdat mensen het grote aantal berichten niet kunnen beoordelen, gebruiken kunstmatige intelligentiemodellen deze sentimentscores om berichten eruit te filteren die geacht worden de gemeenschapsnormen van het platform te schenden.

“Als iemand het heeft over een handicap en de post is niet giftig, dan zou een model als dit, dat zich niet richt op het scheiden van de vooroordelen, de post als giftig kunnen categoriseren alleen maar omdat er een handicap aan verbonden is”, legt Mukund Srinath uit. PhD-student aan het College of IST en co-auteur van de studie.

"Wanneer een onderzoeker of ontwikkelaar een van deze modellen gebruikt, kijken ze niet altijd naar alle verschillende soorten en mensen die erdoor getroffen zullen worden - vooral als ze gefocust zijn op de resultaten en de kwaliteit van wat ze opleveren," zei Venkit. “Dit werk laat zien dat mensen voorzichtig moeten zijn met wat voor soort modellen ze gebruiken en welke impact dat kan hebben op echte mensen in hun dagelijks leven.”

Venkit en Srinath werkten aan het project samen met Shomir Wilson, assistent-professor informatica en technologie.

Bron:

Pennsylvania

.