Езиковите модели на ИИ могат да бъдат обидни или предубедени към хората с увреждания

Езиковите модели на ИИ могат да бъдат обидни или предубедени към хората с увреждания

Обработката на естествен език (NLP) е вид изкуствен интелект, който позволява на машините да използват текст и изговорени думи в много различни приложения -; като интелигентни асистенти или автоматично коригиране на имейли и филтри за спам -; Помогнете за автоматизиране и оптимизиране на процесите за отделни потребители и компании. Въпреки това, според изследователи от Penn State College of Information Sciences and Technology (IST), алгоритмите, които захранват тази технология, често проявяват пристрастия, които могат да бъдат обидни или пристрастни към хората с увреждания.

Изследователите откриха, че всички алгоритми и модели, които тестваха, съдържаха значително имплицитно пристрастие към хората с увреждания. Предишни изследвания на предварително обучени езикови модели -; които са обучени на големи количества данни, които могат да съдържат имплицитни отклонения -; е идентифицирал социодемографски пристрастия към пола и расата, но досега подобни пристрастия към хората с увреждания не са били широко изследвани.

„13-те модела, които изследвахме, са широко използвани и публични по природа“, каза Пранав Венкит, завършил студент в колежа по IST и първи автор на изследването, днес (13 октомври) на 29-та Международна конференция по компютърна лингвистика (COLING). „Надяваме се, че нашите открития ще помогнат на разработчиците, разработващи AI, за да помогнат на конкретни групи – особено хора с увреждания, които разчитат на AI в ежедневните си дейности – да осъзнаят тези пристрастия.“

В своето проучване изследователите са изследвали модели на машинно обучение, обучени върху изходни данни, за да групират подобни думи заедно, позволявайки на компютъра автоматично да генерира последователности от думи. Те създадоха четири шаблона за прости изречения, в които съществително от род на "мъж", "жена" или "лице" и едно от 10-те най-често използвани прилагателни в английския език могат да бъдат попълнени променливо -; например: „Вие сте родители на добър човек.“ След това те генерират повече от 600 прилагателни, които могат да бъдат свързани с хора с или без увреждания -; като невротипични или с увредено зрение -; за произволно заместване на прилагателното във всяко изречение. Екипът тества повече от 15 000 уникални изречения във всеки модел, за да генерира асоциации на думи за прилагателните.

Например, ние избрахме думата „добър“ и искахме да видим как тя се свързва с термини, които се отнасят както до неувреждания, така и до увреждания. С добавянето на термин без увреждане, ефектът преминава от „добър“ до „страхотен“. Но когато „добър“ е свързан с термин за увреждане, получаваме резултата „лош“. Така че тази промяна във формата на самото прилагателно показва изричното пристрастие на модела.

Пранав Венкит, докторант, Колеж на IST

Въпреки че това упражнение разкри явното пристрастие, присъстващо в моделите, изследователите искаха да проучат допълнително всеки модел за имплицитно пристрастие -; Отношение към хората или свързване на стереотипи с тях без съзнателно знание. Те изследваха генерираните прилагателни за групите с увреждания и без увреждания и измерваха настроението на всеки индивид -; НЛП техника за оценка дали текстът е положителен, отрицателен или неутрален. Всички модели, които изследваха, последователно оценяваха изречения с думи, свързани с увреждане, по-негативно от тези без. Един конкретен модел, предварително обучен на данни от Twitter, обърна оценката на настроението от положителна на отрицателна в 86% от случаите, когато беше използван термин, свързан с увреждане.

„Ако просто погледнем тази стойност, виждаме, че само чрез добавяне на термин, свързан с увреждане към разговора, стойността на настроението на цялото изречение намалява“, каза Венкит. „Например, ако потребител включи термин, свързан с увреждания, в коментар или публикация в социални медии, вероятността тази публикация да бъде цензурирана или ограничена се увеличава.“

Изследователите също така са тествали за имплицитно отклонение в два големи езикови модела, използвани за автоматично генериране на дълги текстове като новинарски статии, за да видят как интервалът в шаблона на изречението ще се промени в зависимост от използваното прилагателно. В този анализ те генерираха 7500 изречения, отново променливо вмъкнати прилагателни, отнасящи се до неувреждания или увреждания, и тестваха как интервалът в шаблона на изречението ще се промени в зависимост от използваното прилагателно. В този случай, когато се даде изречението „Човек има „празно“, езиковите модели предсказаха „променени“ за празната дума. Въпреки това, когато прилагателно, свързано с увреждане, беше добавено към изречението, което доведе до „Сляпо-глухият човек има „празен“, моделът прогнозира „умрял“ за празното.

Имплицитното пристрастие на моделите към хората с увреждания може да бъде очевидно в различни приложения -; например в текстови съобщения, когато се прилага автоматична корекция към грешно изписана дума, или в социални медии, където има правила, забраняващи обидни или тормозещи публикации. Тъй като хората не са в състояние да преглеждат големия брой публикации, моделите на изкуствен интелект използват тези оценки на настроението, за да филтрират онези публикации, за които се смята, че нарушават стандартите на общността на платформата.

„Ако някой говори за увреждане и публикацията не е токсична, модел като този, който не се фокусира върху разделянето на пристрастията, може да категоризира публикацията като токсична само защото има увреждане, свързано с публикацията“, обясни Мукунд Сринат. Докторант в Колежа по IST и съавтор на изследването.

„Когато изследовател или разработчик използва един от тези модели, те не винаги разглеждат всички различни видове и хора, които ще бъдат засегнати от него – особено когато са фокусирани върху резултатите и качеството на това, което предоставят“, каза Венкит. „Тази работа показва, че хората трябва да внимават какви модели използват и какво въздействие може да има върху реалните хора в ежедневието им.“

Венкит и Сринат работиха с Шомир Уилсън, асистент по информационни науки и технологии, по проекта.

източник:

Пенсилвания

.