Ar AI modeliai sukuria daugiau originalių idėjų nei tyrinėtojai?

Ar AI modeliai sukuria daugiau originalių idėjų nei tyrinėtojai?

Dirbtinio intelekto (DI) varoma idėjų generavimo sistema sukūrė daugiau originalių tyrimų metodų nei 50 savarankiškai dirbančių mokslininkų neseniai paskelbtame išankstiniame „arXiv“ leidinyje. 1.

Žmonių ir dirbtinio intelekto sukurtas idėjas vertino recenzentai, kurie nežinojo, kas ir kas sukūrė kiekvieną idėją. Apžvalgininkai AI sukurtas koncepcijas įvertino kaip įdomesnes, palyginti su žmogaus sukurtomis idėjomis, nors AI pasiūlymai buvo šiek tiek mažesni.

Tačiau mokslininkai pabrėžia, kad tyrimas, kuris dar nebuvo recenzuotas, turi apribojimų. Jis buvo sutelktas į konkrečią tyrimų sritį ir reikalavo, kad žmonės spontaniškai generuotų idėjas, o tai greičiausiai trukdė jiems sukurti geriausias koncepcijas.

Dirbtinis intelektas moksle

Yra kylantys siekiai, ištirti, kaip dideli kalbos modeliai (LLM) gali būti naudojami automatizuoti tyrimų užduotis, pvz Straipsnių rašymas, Sukurti kodą ir Literatūros tyrinėjimai galima naudoti. Tačiau buvo sunku įvertinti, ar šios AI priemonės gali sukurti naujus tyrimus, panašius į žmones. Taip yra dėl idėjų įvertinimo labai subjektyvus ir reikalingi specialistai, gebantys atidžiai juos įvertinti, sako Chenglei Si, tyrimo bendraautorius ir Kalifornijos Stanfordo universiteto kompiuterių mokslininkas. „Geriausias būdas kontekstualizuoti tokias galimybes yra palyginti palyginimą“, - sako Si.

Metus trunkantis projektas yra viena didžiausių pastangų įvertinti, ar didelės kalbos modeliai – už įrankių slypinčios technologijos patinka ChatGPT – gali sukurti novatoriškus tyrimo metodus, aiškina Tom Hope, kompiuterių mokslininkas iš Alleno AI instituto Jeruzalėje. „Tokio darbo reikia daugiau“, – sako jis.

Komanda įdarbino daugiau nei 100 natūralios kalbos apdorojimo tyrėjų – kompiuterių mokslo šakos, nagrinėjančios AI ir žmonių ryšį. Keturiasdešimt devyniems dalyviams buvo pavesta per dešimt dienų sukurti ir suformuluoti idėjas pagal vieną iš septynių temų. Kaip paskatinimą mokslininkai gavo 300 USD už kiekvieną idėją ir 1000 USD premiją už penkias geriausias idėjas.

Tuo pačiu metu mokslininkai sukūrė idėjų generatorių, naudodami Claude 3.5, LLM, kurį sukūrė Anthropic San Franciske, Kalifornijoje. Tyrėjai paprašė savo dirbtinio intelekto įrankio rasti atitinkamų straipsnių septyniomis tyrimų temomis per „Semantic Scholar“, AI varomą literatūros paieškos variklį. Remdamiesi šiais straipsniais, mokslininkai paprašė savo AI agento sugeneruoti 4000 idėjų kiekviena tyrimo tema ir įvertinti originaliausias.

Žmonių vertintojai

Tada mokslininkai atsitiktine tvarka žmonių ir dirbtinio intelekto sukurtas idėjas paskyrė 79 recenzentams, kurie įvertino kiekvieną idėją pagal naujumą, jaudulį, įgyvendinamumą ir numatomą efektyvumą. Siekdami užtikrinti, kad idėjų kūrėjai recenzentams liktų nežinomi, mokslininkai naudojo kitą LLM, kad redaguotų abiejų tipų tekstus, kad rašymo stilius ir tonas būtų standartizuoti, nekeičiant pačių idėjų.

Vidutiniškai recenzentai AI sukurtas idėjas įvertino kaip originalesnes ir įdomesnes nei tas, kurias parašė žmonės. Tačiau atidžiau pažvelgę ​​į 4000 LLM sukurtų idėjų, tyrėjai rado tik apie 200 tikrai unikalių, o tai rodo, kad AI tapo mažiau originalus, kuo daugiau idėjų ji generavo.

Kai Si apklausė dalyvius, dauguma pripažino, kad jų pateiktos idėjos buvo tik vidutinės, palyginti su anksčiau sukurtomis idėjomis.

Rezultatai rodo, kad LLM gali lengvai sukurti daugiau originalių idėjų nei esama literatūra, sako Cong Lu, mašininio mokymosi tyrėjas iš Britų Kolumbijos universiteto Vankuveryje, Kanadoje. Tačiau ar jie gali pranokti novatoriškiausias žmogaus idėjas, lieka atviras klausimas.

Kitas tyrimo apribojimas yra tas, kad palygintas rašytines idėjas redagavo LLM, todėl pasikeitė pranešimų kalba ir trukmė, sako Jevinas Westas, socialinių mokslų informatikas iš Vašingtono universiteto Sietle. Jis priduria, kad tokie pokyčiai galėjo nežymiai paveikti tai, kaip apžvalgininkai suvokė naujovę. Westas priduria, kad supriešinti tyrėjus su LLM, kuri per kelias valandas gali sukurti tūkstančius idėjų, gali būti ne visai teisingas palyginimas. „Turite palyginti obuolius su obuoliais“, - sako jis.

Si ir jo kolegos planuoja palyginti AI sukurtas idėjas su pagrindiniais konferencijos pranešimais, kad geriau suprastų, kaip LLM lyginami su žmogaus kūrybiškumu. „Stengiamės paskatinti bendruomenę giliau mąstyti, kaip turėtų atrodyti ateitis, kai AI galės imtis aktyvesnio vaidmens tyrimų procese“, – sako jis.

1. Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Atsisiųskite nuorodas