Tekoälymallit voivat olla loukkaavia tai puolueellisia vammaisia ​​kohtaan

Tekoälymallit voivat olla loukkaavia tai puolueellisia vammaisia ​​kohtaan

Natural Language Processing (NLP) on eräänlainen tekoäly, jonka avulla koneet voivat käyttää tekstiä ja puhuttuja sanoja monissa eri sovelluksissa -; kuten älykkäät avustajat tai sähköpostin automaattinen korjaus ja roskapostisuodattimet -; Auta automatisoimaan ja optimoimaan prosesseja yksittäisille käyttäjille ja yrityksille. Penn State College of Information Sciences and Technologyn (IST) tutkijoiden mukaan tätä tekniikkaa käyttävissä algoritmeissa on kuitenkin usein harhoja, jotka voivat olla loukkaavia tai puolueellisia vammaisia ​​kohtaan.

Tutkijat havaitsivat, että kaikki heidän testaamansa algoritmit ja mallit sisälsivät merkittävää implisiittistä ennakkoluuloa vammaisia ​​kohtaan. Aikaisempi tutkimus esikoulutetuista kielimalleista -; jotka on koulutettu käsittelemään suuria tietomääriä, jotka voivat sisältää epäsuoraa harhaa -; on tunnistanut sosiodemografisia ennakkoluuloja sukupuoleen ja rotuun, mutta toistaiseksi vastaavia vammaisia ​​ihmisiä ei ole tutkittu laajasti.

"Tutkimamme 13 mallia ovat laajalti käytettyjä ja luonteeltaan julkisia", IST:n jatko-opiskelija ja tutkimuksen ensimmäinen kirjoittaja Pranav Venkit sanoi tänään (13. lokakuuta) 29. kansainvälisessä laskennallisen lingvisiikan konferenssissa (COLING). "Toivomme, että havaintomme auttavat tekoälyä kehittäviä kehittäjiä auttamaan tiettyjä ryhmiä – erityisesti vammaisia, jotka luottavat tekoälyyn päivittäisessä toiminnassaan – tiedostamaan nämä ennakkoluulot."

Tutkimuksessaan tutkijat tutkivat koneoppimismalleja, jotka oli koulutettu lähdetietoihin ryhmitelläkseen samankaltaisia ​​sanoja yhteen, jolloin tietokone voi luoda automaattisesti sanasarjoja. He loivat neljä yksinkertaista lausemallia, joissa sukupuolen substantiivi "mies", "nainen" tai "henkilö" ja yksi 10 eniten käytetystä englannin kielen adjektiivista voidaan täyttää vaihtelevasti -; esimerkiksi: "Olette hyvän ihmisen vanhemmat." Sitten he loivat yli 600 adjektiivia, jotka voitiin yhdistää joko vammaisiin tai vammaisiin ihmisiin -; kuten neurotyyppiset tai näkövammaiset -; korvata satunnaisesti adjektiivi jokaisessa lauseessa. Tiimi testasi yli 15 000 ainutlaatuista lausetta kussakin mallissa luodakseen sanayhdistelmiä adjektiiveille.

Valitsimme esimerkiksi sanan "hyvä" ja halusimme nähdä, kuinka se liittyy termeihin, jotka viittaavat sekä ei-vammaisuuteen että vammaisuuteen. Kun lisätään ei-vammaisuustermi, vaikutus muuttuu "hyvästä" "hyväksi". Mutta kun "hyvä" yhdistetään vammaisuuteen, saamme tuloksen "huono". Joten tämä muutos itse adjektiivin muodossa osoittaa mallin eksplisiittisen harhan."

Pranav Venkit, tohtorikandidaatti, College of IST

Vaikka tämä harjoitus paljasti malleissa esiintyvän eksplisiittisen harhan, tutkijat halusivat edelleen tutkia jokaista mallia implisiittisen harhan varalta -; Asenteet ihmisiä kohtaan tai stereotypioiden yhdistäminen heihin ilman tietoista tietoa. He tutkivat vammaisille ja ei-vammaisille luotuja adjektiiveja ja mittasivat kunkin yksilön mielialaa -; NLP-tekniikka arvioimaan, onko teksti positiivista, negatiivista vai neutraalia. Kaikki tutkitut mallit arvioivat johdonmukaisesti lauseita, joissa oli vammaisuuteen liittyviä sanoja, negatiivisemmin kuin niitä, joilla ei ole. Eräs tietty malli, joka oli esikoulutettu Twitter-tiedoissa, muutti mielipidepisteet positiivisesta negatiiviseksi 86 % ajasta, kun käytettiin vammaisuuteen liittyvää termiä.

"Jos katsomme vain tätä arvoa, huomaamme, että pelkkä vammaisuuteen liittyvän termin lisääminen keskusteluun koko lauseen tunnearvo laskee", Venkit sanoi. "Jos käyttäjä esimerkiksi lisää vammaisuuteen liittyvän termin kommenttiin tai sosiaalisessa mediassa, todennäköisyys, että viesti sensuroidaan tai rajoitetaan."

Tutkijat testasivat myös implisiittistä harhaa kahdessa suuressa kielimallissa, joita käytettiin pitkien tekstien, kuten uutisartikkelien, automaattiseen luomiseen nähdäkseen, kuinka välilyönti lausemallissa muuttuisi käytetyn adjektiivin mukaan. Tässä analyysissä he tuottivat 7 500 lausetta, lisäsivät jälleen vaihtelevasti ei-vammaisuuteen tai vammaisuuteen viittaavia adjektiiveja ja testasivat, kuinka välilyönti lausemallissa muuttuisi käytetyn adjektiivin mukaan. Tässä tapauksessa, kun annettiin lause "Miehellä on "tyhjä", kielimallit ennustivat "muuttuneen" tyhjälle sanalle. Kuitenkin, kun lauseeseen lisättiin vammaisuuteen liittyvä adjektiivi, joka johti lauseeseen "Kuurosokealla miehellä on 'tyhjä'", malli ennusti "kuolivan" tyhjälle.

Mallien implisiittinen ennakkoluulo vammaisia ​​kohtaan voi olla ilmeistä useissa sovelluksissa -; esimerkiksi tekstiviesteissä, kun virheellisesti kirjoitettuun sanaan sovelletaan automaattista korjausta, tai sosiaalisessa mediassa, jossa on säännöt, jotka kieltävät loukkaavat tai häiritsevät viestit. Koska ihmiset eivät pysty tarkistamaan suurta määrää viestejä, tekoälymallit käyttävät näitä mielipidepisteitä suodattaakseen pois viestit, joiden katsotaan rikkovan alustan yhteisöstandardeja.

"Jos joku puhuu vammaisuudesta ja virka ei ole myrkyllinen, tällainen malli, joka ei keskity erotteluun, voisi luokitella viran myrkylliseksi vain siksi, että virkaan liittyy vamma", Mukund Srinath selitti. Tohtoriopiskelija College of IST:ssä ja tutkimuksen toinen kirjoittaja.

"Aina kun tutkija tai kehittäjä käyttää jotakin näistä malleista, he eivät aina katso kaikkia lajeja ja ihmisiä, joihin se vaikuttaa - varsinkin kun he keskittyvät tuloksiin ja toimittamiensa laatuun", Venkit sanoi. "Tämä työ osoittaa, että ihmisten on oltava varovaisia ​​sen suhteen, millaisia ​​malleja he käyttävät ja mitä vaikutuksia niillä voi olla todellisiin ihmisiin heidän jokapäiväisessä elämässään."

Venkit ja Srinath työskentelivät projektissa tietotieteen ja teknologian apulaisprofessori Shomir Wilsonin kanssa.

Lähde:

Pennsylvania

.