AI-datorklyftan: Forskare saknar tillgång till kraftfulla chips för sin forskning

AI-datorklyftan: Forskare saknar tillgång till kraftfulla chips för sin forskning

Många universitetsforskare är frustrerade över den begränsade datorkraft som finns tillgänglig för dem för sin forskning inom området artificiell intelligens (AI) är tillgänglig, vilket en undersökning av akademiker vid dussintals institutioner världen över visar.

Resultaten 1, publicerad den 30 oktober på preprint-servern arXiv, tyder på att akademiker saknar tillgång till de mest avancerade datorsystemen. Detta kan påverka din förmåga att stora språkmodeller (LLM) att utveckla och genomföra andra AI-forskningsprojekt.

I synnerhet har akademiska forskare ibland inte resurserna att vara kraftfulla Grafikprocessorer (GPU) att köpa – datorchips som vanligtvis används för att träna AI-modeller som kan kosta flera tusen dollar. Däremot har forskare vid stora teknikföretag större budgetar och kan spendera mer på GPU:er. "Varje GPU tillför mer kraft", säger studiens medförfattare Apoorv Khandelwal, datavetare vid Brown University i Providence, Rhode Island. "Medan dessa branschjättar kan ha tusentals GPU:er, kanske akademiker bara har ett fåtal."

"Klyftan mellan akademiska och industriella modeller är stor, men kan vara mycket mindre", säger Stella Biderman, verkställande direktör för EleutherAI, ett ideellt AI-forskningsinstitut i Washington DC. Forskning om denna ojämlikhet är "mycket viktig", tillägger hon.

Långsamma väntetider

För att bedöma de datorresurser som är tillgängliga för akademiker, undersökte Khandelwal och hans kollegor 50 forskare från 35 institutioner. Av de tillfrågade bedömde 66 % sin tillfredsställelse med sin datorkraft som 3 eller mindre på en skala från 5. "De är inte alls nöjda", säger Khandelwal.

Universiteten har olika regler för åtkomst till GPU:er. Vissa kan ha ett centralt beräkningskluster som delas mellan institutioner och studenter där forskare kan begära GPU-tid. Andra institutioner kan köpa maskiner som kan användas direkt av medlemmar i labbet.

Vissa forskare rapporterade att de måste vänta i dagar för att få tillgång till GPU:er, och noterade att väntetiderna var särskilt höga kring projektdeadlines (se "Compute Resource Bottleneck"). Resultaten visar också globala ojämlikheter i tillgång. Till exempel nämnde en respondent svårigheten att hitta GPU:er i Mellanöstern. Endast 10 % av de tillfrågade sa att de hade tillgång till NVIDIAs H100 GPU:er, att ha kraftfulla chip designade för AI-forskning.

Denna barriär gör processen med förutbildning – mata in stora datamängder till LLM – särskilt utmanande. "Det är så dyrt att de flesta akademiker inte ens överväger att göra vetenskap i förutbildning", säger Khandelwal. Han och hans kollegor tror att akademiker erbjuder ett unikt perspektiv inom AI-forskning och att brist på tillgång till datorkraft kan begränsa forskningsfältet.

"Det är bara väldigt viktigt att ha en sund, konkurrenskraftig akademisk forskningsmiljö för långsiktig tillväxt och långsiktig teknisk utveckling", säger medförfattaren Ellie Pavlick, som studerar datavetenskap och lingvistik vid Brown University. "När du har forskning inom industrin finns det tydliga kommersiella tryck som ibland lockar dig att exploatera snabbare och utforska mindre."

Effektiva metoder

Forskarna undersökte också hur akademiker kunde utnyttja mindre kraftfulla datorresurser bättre. De beräknade hur mycket tid som skulle krävas för att förträna flera LLM:er med hjälp av lågresurs hårdvara – mellan 1 och 8 GPU:er. Trots dessa begränsade resurser lyckades forskarna med framgång träna många av modellerna, även om det tog längre tid och krävde att de använde effektivare metoder.

"Vi kan faktiskt använda de GPU:er vi har längre, och så kan vi jämna ut några av skillnaderna mellan vad branschen har", säger Khandelwal.

"Det är spännande att se att du faktiskt kan träna en större modell än vad många skulle kunna föreställa sig, även med begränsade datorresurser", säger Ji-Ung Lee, som studerar neuroexplicita modeller vid Saarlands universitet i Saarbrücken, Tyskland. Han tillägger att framtida arbete skulle kunna titta på erfarenheterna från industriforskare på små företag som också kämpar med tillgången till datorresurser. "Det är inte så att alla som har tillgång till obegränsad datorkraft faktiskt får det", säger han.

1. Khandelwal, A. et al. Förtryck på arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Ladda ner referenser