Jazykové modely umělé inteligence by mohly být vůči lidem s postižením urážlivé nebo zaujaté

Jazykové modely umělé inteligence by mohly být vůči lidem s postižením urážlivé nebo zaujaté

Natural Language Processing (NLP) je typ umělé inteligence, který umožňuje strojům používat text a mluvená slova v mnoha různých aplikacích -; jako jsou inteligentní asistenti nebo automatické opravy e-mailů a filtry nevyžádané pošty -; Pomozte automatizovat a optimalizovat procesy pro jednotlivé uživatele a společnosti. Podle výzkumníků z Penn State College of Information Sciences and Technology (IST) však algoritmy, které pohánějí tuto technologii, často vykazují předsudky, které by mohly být urážlivé nebo zaujaté vůči lidem s postižením.

Výzkumníci zjistili, že všechny algoritmy a modely, které testovali, obsahovaly významnou implicitní zaujatost vůči lidem s postižením. Předchozí výzkum na předem vyškolených jazykových modelech -; které jsou trénovány na velkém množství dat, která mohou obsahovat implicitní zkreslení -; identifikovala sociodemografické předsudky vůči pohlaví a rase, ale dosud podobné předsudky vůči lidem s postižením nebyly široce studovány.

"Těch 13 modelů, které jsme zkoumali, je široce používaných a má veřejný charakter," řekl Pranav Venkit, postgraduální student na College of IST a první autor studie, dnes (13. října) na 29. mezinárodní konferenci o počítačové lingvistice (COLING). „Doufáme, že naše zjištění pomohou vývojářům vyvíjejícím AI, aby pomohli konkrétním skupinám – zejména lidem s postižením, kteří spoléhají na AI ve svých každodenních činnostech – uvědomit si tyto předsudky.“

Ve své studii vědci zkoumali modely strojového učení trénované na zdrojových datech k seskupování podobných slov, což umožňuje počítači automaticky generovat sekvence slov. Vytvořili čtyři jednoduché větné šablony, do kterých lze variabilně vyplnit rodové podstatné jméno „muž“, „žena“ nebo „osoba“ a jedno z 10 nejčastěji používaných přídavných jmen v anglickém jazyce -; například: "Jste rodiče dobrého člověka." Poté vygenerovali více než 600 přídavných jmen, která mohla být spojována buď s lidmi s postižením, nebo bez něj -; jako jsou neurotypické nebo zrakově postižené -; náhodně nahradit přídavné jméno v každé větě. Tým testoval více než 15 000 jedinečných vět v každém modelu, aby vytvořil slovní asociace pro přídavná jména.

Vybrali jsme například slovo „dobrý“ a chtěli jsme zjistit, jak souvisí s termíny, které se vztahují jak na osoby bez zdravotního postižení, tak na zdravotní postižení. S přidáním výrazu bez zdravotního postižení se účinek změní z „dobré“ na „skvělé“. Ale když je „dobré“ spojeno s pojmem postižení, dostaneme výsledek „špatný“. Takže tato změna ve formě samotného přídavného jména ukazuje explicitní zaujatost modelu.“

Pranav Venkit, kandidát na PhD, College of IST

Zatímco toto cvičení odhalilo explicitní zkreslení přítomné v modelech, vědci chtěli dále prozkoumat každý model na implicitní zkreslení -; Postoj k lidem nebo spojování stereotypů s nimi bez vědomého poznání. Zkoumali přídavná jména vytvořená pro skupiny postižených a nepostižených a měřili náladu každého jednotlivce -; technika NLP k vyhodnocení, zda je text pozitivní, negativní nebo neutrální. Všechny modely, které zkoumali, konzistentně hodnotily věty se slovy spojenými s postižením negativněji než ty bez. Jeden konkrétní model předem trénovaný na Twitteru změnil skóre sentimentu z pozitivního na negativní v 86 % případů, kdy byl použit termín související s postižením.

"Pokud se jen podíváme na tuto hodnotu, vidíme, že pouhým přidáním výrazu souvisejícího s postižením do konverzace se hodnota sentimentu celé věty snižuje," řekl Venkat. "Například, pokud uživatel zahrne do komentáře nebo příspěvku na sociálních sítích výraz související se zdravotním postižením, zvyšuje se pravděpodobnost, že tento příspěvek bude cenzurován nebo omezen."

Výzkumníci také testovali implicitní zkreslení ve dvou velkých jazykových modelech používaných k automatickému generování dlouhých textů, jako jsou zpravodajské články, aby viděli, jak se mezera v šabloně věty změní v závislosti na použitém přídavném jménu. V této analýze vygenerovali 7 500 vět, opět variabilně vkládali přídavná jména odkazující na non-zdravotní postižení nebo zdravotní postižení, a testovali, jak se bude měnit mezera v šabloně věty v závislosti na použitém adjektivu. V tomto případě, když je uvedena věta „Muž má ‚prázdné‘, jazykové modely předpovídaly, že se prázdné slovo „změnilo“. Když se však k větě přidalo přídavné jméno související se zdravotním postižením, výsledkem bylo „Hluchoslepý muž má ‚prázdný‘“, model předpověděl, že „zemřel“ pro prázdné místo.

Implicitní zaujatost modelů vůči lidem s postižením by mohla být evidentní v různých aplikacích -; například v textových zprávách, když se na špatně napsané slovo použije automatická oprava, nebo na sociálních sítích, kde existují pravidla zakazující urážlivé nebo obtěžující příspěvky. Protože lidé nejsou schopni zkontrolovat velký počet příspěvků, modely umělé inteligence používají tato skóre sentimentu k odfiltrování těch příspěvků, které jsou považovány za porušující komunitní standardy platformy.

„Pokud někdo mluví o zdravotním postižení a příspěvek není toxický, model jako tento, který se nezaměřuje na oddělení předsudků, by mohl příspěvek kategorizovat jako toxický jen proto, že je s příspěvkem spojeno postižení,“ vysvětlil Mukund Srinath. Doktorand na College of IST a spoluautor studie.

"Kdykoli výzkumník nebo vývojář použije jeden z těchto modelů, ne vždy se podívá na všechny různé druhy a lidi, které to bude ovlivňovat - zvláště když se soustředí na výsledky a kvalitu toho, co přinášejí," řekl Venkoit. "Tato práce ukazuje, že lidé si musí dávat pozor na to, jaké modely používají a jaký dopad to může mít na skutečné lidi v jejich každodenním životě."

Venkit a Srinath na projektu spolupracovali se Shomirem Wilsonem, odborným asistentem informační vědy a technologie.

Zdroj:

Pensylvánie

.