Suche
Mein Konto
AI andmetöötluse lõhe: teadlastel puudub uurimistöö jaoks juurdepääs võimsatele kiipidele
Akadeemikud kogu maailmas on hädas tehisintellektiuuringute jaoks ebapiisava arvutusvõimsusega. Uuring näitab suuri erinevusi juurdepääsus GPU-dele.
AI andmetöötluse lõhe: teadlastel puudub uurimistöö jaoks juurdepääs võimsatele kiipidele
Paljud ülikooliteadlased on pettunud piiratud arvutusvõimsuse pärast, mis neil on nende valdkonna uurimistööks tehisintellekt (AI) on saadaval, nagu näitab kümnete asutuste akadeemikute küsitlus kogu maailmas.
Tulemused 1 30. oktoobril trükieelses serveris arXiv avaldatud, viitavad sellele, et teadlastel puudub juurdepääs kõige arenenumatele arvutisüsteemidele. See võib mõjutada teie võimet suured keelemudelid (LLM) arendada ja viia läbi teisi tehisintellekti uurimisprojekte.
Eelkõige pole akadeemilistel teadlastel mõnikord ressursse, et olla võimsad Graafikaprotsessorid (GPU-d) osta – arvutikiibid, mida tavaliselt kasutatakse AI mudelite koolitamiseks ja mis võivad maksta mitu tuhat dollarit. Seevastu suurte tehnoloogiaettevõtete teadlastel on suurem eelarve ja nad saavad kulutada rohkem GPU-dele. "Iga GPU lisab rohkem võimsust," ütleb uuringu kaasautor Apoorv Khandelwal, Rhode Islandi Providence'i Browni ülikooli arvutiteadlane. "Kuigi nendel tööstushiiglastel võib olla tuhandeid GPU-sid, võib teadlastel olla vaid paar."
"Lõhe akadeemiliste ja tööstuslike mudelite vahel on suur, kuid võib olla palju väiksem," ütleb Washingtonis asuva mittetulundusliku AI uurimisinstituudi EleutherAI tegevdirektor Stella Biderman. Ta lisab, et selle ebavõrdsuse uurimine on "väga oluline".
Aeglased ooteajad
Teadlastele saadaolevate arvutusressursside hindamiseks küsitlesid Khandelwal ja tema kolleegid 50 teadlast 35 institutsioonist. 66% küsitletutest hindas oma arvutusvõimsusega rahulolu 5-ga skaalal 3 või vähem. „Nad ei ole üldse rahul,” ütleb Khandelwal.
Ülikoolidel on GPU-dele juurdepääsu kohta erinevad eeskirjad. Mõnel võib olla osakondade ja üliõpilaste vahel jagatud keskne arvutusklaster, kus teadlased saavad taotleda GPU aega. Teised asutused võiksid osta masinaid, mida saavad laboriliikmed otse kasutada.
Mõned teadlased teatasid, et GPU-dele juurdepääsu saamiseks pidid ootama päevi, märkides, et ooteajad olid projekti tähtaegade ajal eriti pikad (vt „Arvutamisressursside kitsaskoht”). Tulemused toovad esile ka ülemaailmse ebavõrdsuse juurdepääsus. Näiteks mainis üks vastaja, et Lähis-Idast on keeruline leida GPU-sid. Vaid 10% vastanutest ütles, et neil on juurdepääs NVIDIA H100 GPU-d, millel on võimsad kiibid, mis on loodud AI-uuringute jaoks.
See barjäär muudab eelkoolituse – suurte andmekogumite sisestamise LLM-idesse – eriti keeruliseks. "See on nii kallis, et enamik akadeemikuid ei kaalu isegi eelkoolituses teaduse tegemist," ütleb Khandelwal. Ta ja tema kolleegid usuvad, et akadeemikud pakuvad AI-uuringutes ainulaadset vaatenurka ja arvutusvõimsusele juurdepääsu puudumine võib uurimisvaldkonda piirata.
"Pikaajaliseks kasvuks ja pikaajaliseks tehnoloogiliseks arenguks on lihtsalt väga oluline omada tervislikku ja konkurentsivõimelist akadeemilist uurimiskeskkonda," ütleb kaasautor Ellie Pavlick, kes õpib Browni ülikoolis arvutiteadust ja lingvistikat. "Kui teil on tööstuses teadusuuringuid, on ilmne kaubanduslik surve, mis mõnikord ahvatleb teid kiiremini ära kasutama ja vähem uurima."
Tõhusad meetodid
Teadlased uurisid ka seda, kuidas akadeemikud saaksid vähem võimsaid arvutusressursse paremini kasutada. Nad arvutasid välja, kui palju aega kulub mitme LLM-i eelkoolitamiseks, kasutades vähese ressursiga riistvara – 1–8 GPU-d. Vaatamata nendele piiratud ressurssidele õnnestus teadlastel paljusid mudeleid edukalt koolitada, kuigi see võttis kauem aega ja nõudis tõhusamate meetodite kasutamist.
"Saame tegelikult kasutada olemasolevaid GPU-sid kauem ja nii saame tasandada mõningaid erinevusi tööstuse vahel, " ütleb Khandelwal.
"Põnev on näha, et isegi piiratud arvutusressurssidega saate tegelikult treenida suuremat mudelit, kui paljud inimesed ette kujutaksid," ütleb Ji-Ung Lee, kes uurib Saksamaal Saarbrückenis asuvas Saarlandi ülikoolis neuroeksplitsiitseid mudeleid. Ta lisab, et tulevases töös võiks vaadata väikeettevõtete tööstusteadlaste kogemusi, kes samuti hädas arvutusressurssidele juurdepääsuga. "See ei ole nii, et kõik, kellel on juurdepääs piiramatule arvutusvõimsusele, seda tegelikult saavad," ütleb ta.
-
Khandelwal, A. et al. Eeltrükk aadressil arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).