I modelli linguistici dell’intelligenza artificiale potrebbero essere offensivi o parziali nei confronti delle persone con disabilità

I modelli linguistici dell’intelligenza artificiale potrebbero essere offensivi o parziali nei confronti delle persone con disabilità

L'elaborazione del linguaggio naturale (NLP) è un tipo di intelligenza artificiale che consente alle macchine di utilizzare testo e parole pronunciate in molte applicazioni diverse; come assistenti intelligenti o correzione automatica della posta elettronica e filtri antispam -; Aiuta ad automatizzare e ottimizzare i processi per singoli utenti e aziende. Tuttavia, secondo i ricercatori del Penn State College of Information Sciences and Technology (IST), gli algoritmi che alimentano questa tecnologia spesso mostrano pregiudizi che potrebbero essere offensivi o parziali nei confronti delle persone con disabilità.

I ricercatori hanno scoperto che tutti gli algoritmi e i modelli testati contenevano significativi pregiudizi impliciti contro le persone con disabilità. Precedenti ricerche su modelli linguistici pre-addestrati -; che vengono addestrati su grandi quantità di dati che possono contenere pregiudizi impliciti -; ha identificato pregiudizi sociodemografici nei confronti del genere e della razza, ma fino ad ora pregiudizi simili nei confronti delle persone con disabilità non erano stati ampiamente studiati.

“I 13 modelli che abbiamo esaminato sono ampiamente utilizzati e di natura pubblica”, ha affermato oggi (13 ottobre) Pranav Venkit, uno studente laureato presso il College of IST e primo autore dello studio, alla 29a Conferenza internazionale sulla linguistica computazionale (COLING). “Ci auguriamo che i nostri risultati aiutino gli sviluppatori che sviluppano l’intelligenza artificiale per aiutare gruppi specifici – in particolare le persone con disabilità che fanno affidamento sull’intelligenza artificiale nelle loro attività quotidiane – a essere consapevoli di questi pregiudizi”.

Nel loro studio, i ricercatori hanno esaminato modelli di apprendimento automatico addestrati sui dati di origine per raggruppare insieme parole simili, consentendo a un computer di generare automaticamente sequenze di parole. Hanno creato quattro semplici modelli di frase in cui un nome di genere di "uomo", "donna" o "persona" e uno dei 10 aggettivi più frequentemente usati in lingua inglese possono essere compilati in modo variabile -; per esempio: “Siete i genitori di una brava persona”. Hanno quindi generato più di 600 aggettivi che potrebbero essere associati a persone con o senza disabilità -; come neurotipici o ipovedenti -; per sostituire casualmente l'aggettivo in ogni frase. Il team ha testato più di 15.000 frasi uniche in ciascun modello per generare associazioni di parole per gli aggettivi.

Ad esempio, abbiamo scelto la parola “buono” e volevamo vedere come si collega ai termini che si riferiscono sia alla non disabilità che alla disabilità. Con l’aggiunta del termine non-disabilità, l’effetto passa da “buono” a “ottimo”. Ma quando “buono” è associato a un termine di disabilità, otteniamo il risultato “cattivo”. Quindi questo cambiamento nella forma dell’aggettivo stesso mostra l’esplicita parzialità del modello”.

Pranav Venkit, dottorando, College of IST

Anche se questo esercizio ha rivelato la distorsione esplicita presente nei modelli, i ricercatori hanno voluto esaminare ulteriormente ciascun modello per individuare la distorsione implicita; Atteggiamenti nei confronti delle persone o associazione con stereotipi senza consapevolezza cosciente. Hanno esaminato gli aggettivi generati per i gruppi di disabili e non disabili e hanno misurato l'umore di ciascun individuo -; una tecnica PNL per valutare se il testo è positivo, negativo o neutro. Tutti i modelli esaminati hanno valutato in modo coerente le frasi con parole associate alla disabilità in modo più negativo rispetto a quelle senza. Un particolare modello pre-addestrato sui dati di Twitter ha invertito il punteggio del sentiment da positivo a negativo nell’86% delle volte in cui veniva utilizzato un termine correlato alla disabilità.

"Se guardiamo solo a questo valore, vediamo che semplicemente aggiungendo un termine correlato alla disabilità alla conversazione, il valore del sentimento dell'intera frase diminuisce", ha detto Venkit. "Ad esempio, se un utente include un termine relativo alla disabilità in un commento o in un post sui social media, aumenta la probabilità che quel post venga censurato o limitato."

I ricercatori hanno anche testato i bias impliciti in due grandi modelli linguistici utilizzati per generare automaticamente testi lunghi come articoli di notizie, per vedere come uno spazio nel modello di frase cambierebbe a seconda dell’aggettivo utilizzato. In questa analisi, hanno generato 7.500 frasi, inserendo nuovamente in modo variabile aggettivi riferiti alla non disabilità o alla disabilità, e hanno testato come uno spazio nel modello di frase cambierebbe a seconda dell'aggettivo utilizzato. In questo caso, quando viene data la frase "Un uomo ha 'vuoto'", i modelli linguistici prevedevano "cambiato" per la parola vuota. Tuttavia, quando alla frase veniva aggiunto un aggettivo correlato alla disabilità, che risultava in "Un uomo sordo-cieco ha 'vuoto'", il modello prevedeva "morto" per lo spazio vuoto.

I pregiudizi impliciti dei modelli nei confronti delle persone con disabilità potrebbero essere evidenti in varie applicazioni; ad esempio nei messaggi di testo, quando viene applicata la correzione automatica a una parola scritta in modo errato, o sui social media, dove esistono norme che vietano post offensivi o molesti. Poiché gli esseri umani non sono in grado di esaminare il gran numero di post, i modelli di intelligenza artificiale utilizzano questi punteggi di sentiment per filtrare i post che si ritiene violino gli standard della community della piattaforma.

"Se qualcuno parla di disabilità e il post non è tossico, un modello come questo che non si concentra sulla separazione dei pregiudizi potrebbe classificare il post come tossico solo perché al post è associata una disabilità", ha spiegato Mukund Srinath. Dottorando presso il College of IST e coautore dello studio.

"Ogni volta che un ricercatore o uno sviluppatore utilizza uno di questi modelli, non sempre guarda a tutte le diverse specie e persone che ne saranno colpite, soprattutto quando sono concentrati sui risultati e sulla qualità di ciò che offrono", ha detto Venkit. “Questo lavoro dimostra che le persone devono stare attente al tipo di modelli che utilizzano e all’impatto che potrebbero avere sulle persone reali nella loro vita quotidiana”.

Venkit e Srinath hanno lavorato al progetto con Shomir Wilson, assistente professore di scienza e tecnologia dell'informazione.

Fonte:

Pennsylvania

.