Ali modeli AI ustvarijo več izvirnih idej kot raziskovalci?

Ali modeli AI ustvarijo več izvirnih idej kot raziskovalci?

Sistem za ustvarjanje idej, ki ga poganja umetna inteligenca (AI), je v nedavnem prednatisu na arXiv razvil bolj izvirne raziskovalne pristope kot 50 znanstvenikov, ki so delali neodvisno 1.

Zamisli, ki jih je ustvaril človek in umetna inteligenca, so ocenjevali recenzenti, ki niso vedeli, kdo ali kaj je ustvarilo posamezno idejo. Pregledovalci so koncepte, ustvarjene z umetno inteligenco, ocenili kot bolj vznemirljive v primerjavi z idejami, ki jih je ustvaril človek, čeprav so bili predlogi umetne inteligence nekoliko nižji v smislu izvedljivosti.

Vendar pa znanstveniki poudarjajo, da ima študija, ki še ni bila strokovno pregledana, omejitve. Osredotočil se je na specifično področje raziskav in od človeških udeležencev zahteval spontano ustvarjanje idej, kar je verjetno oviralo njihovo sposobnost ustvarjanja najboljših konceptov.

Umetna inteligenca v znanosti

obstajajo naraščajoče težnje, da bi raziskali, kako se lahko veliki jezikovni modeli (LLM) uporabljajo za avtomatizacijo raziskovalnih nalog, kot je npr Pisanje člankov, Ustvari kodo in Raziskovanje literature se lahko uporablja. Vendar je bilo težko oceniti, ali lahko ta orodja AI ustvarijo sveže raziskovalne pristope na podobni ravni kot pri ljudeh. To je zato, ker vrednotenje idej zelo subjektivno in zahteva strokovnjake, ki jih lahko skrbno ovrednotijo, pravi Chenglei Si, soavtor študije in računalniški znanstvenik na univerzi Stanford v Kaliforniji. »Najboljši način za kontekstualizacijo takšnih zmogljivosti je vzporedna primerjava,« pravi Si.

Celoletni projekt je eno največjih prizadevanj za oceno, ali veliki jezikovni modeli – tehnologija, ki stoji za orodji, kot je ChatGPT – lahko ustvari inovativne raziskovalne pristope, pojasnjuje Tom Hope, računalniški znanstvenik na Allen Institute for AI v Jeruzalemu. "Takšnega dela mora biti več," pravi.

Ekipa je zaposlila več kot 100 raziskovalcev na področju obdelave naravnega jezika, veje računalništva, ki se ukvarja s komunikacijo med AI in ljudmi. Devetinštirideset udeležencev je imelo nalogo, da v desetih dneh razvijejo in oblikujejo ideje na podlagi ene od sedmih tem. Kot spodbudo so raziskovalci prejeli 300 $ za vsako idejo, s 1000 $ bonusa za najboljših pet idej.

Istočasno so raziskovalci razvili generator idej z uporabo Claude 3.5, LLM, ki ga je razvil Anthropic v San Franciscu v Kaliforniji. Raziskovalci so prosili svoje orodje AI, naj poišče ustrezne članke o sedmih raziskovalnih temah prek Semantic Scholar, iskalnika literature, ki ga poganja AI. Na podlagi teh člankov so raziskovalci prosili svojega agenta za umetno inteligenco, naj ustvari 4000 zamisli o vsaki temi raziskave in oceni najbolj izvirne.

Človeški ocenjevalci

Raziskovalci so nato ideje, ustvarjene s človekom in umetno inteligenco, naključno dodelili 79 recenzentom, ki so vsako idejo ocenili glede na novost, vznemirljivost, izvedljivost in pričakovano učinkovitost. Da bi zagotovili, da so avtorji idej ostali neznani recenzentom, so raziskovalci uporabili še en LLM za urejanje obeh vrst besedila, tako da sta bila stil pisanja in ton standardizirana brez spreminjanja samih idej.

V povprečju so ocenjevalci ideje, ustvarjene z umetno inteligenco, ocenili kot bolj izvirne in vznemirljive od tistih, ki so jih napisali človeški udeleženci. Ko pa so podrobneje preučili 4000 idej, ki jih je ustvaril LLM, so raziskovalci našli le približno 200 resnično edinstvenih, kar kaže na to, da je AI postajal manj izviren, čim več idej je ustvaril.

Ko je Si anketiral udeležence, je večina priznala, da so bile ideje, ki so jih predložili, le povprečne v primerjavi z idejami, ustvarjenimi v preteklosti.

Rezultati kažejo, da lahko LLM zlahka ustvarijo bolj izvirne ideje kot obstoječa literatura, pravi Cong Lu, raziskovalec strojnega učenja na Univerzi British Columbia v Vancouvru v Kanadi. Vendar ostaja odprto vprašanje, ali lahko presežejo najbolj prelomne človeške ideje.

Druga omejitev študije je, da je pisne ideje, ki so jih primerjali, uredil LLM, kar je spremenilo jezik in dolžino prispevkov, pravi Jevin West, družboslovni računalničar na Univerzi Washington v Seattlu. Takšne spremembe so morda subtilno vplivale na to, kako so recenzenti zaznali novost, dodaja. West dodaja, da soočanje raziskovalcev z LLM, ki lahko ustvari na tisoče idej v nekaj urah, morda ni povsem poštena primerjava. "Jabolka morate primerjati z jabolki," pravi.

Si in njegovi kolegi nameravajo primerjati ideje, ustvarjene z umetno inteligenco, z vodilnimi konferenčnimi dokumenti, da bi bolje razumeli primerjavo LLM s človeško ustvarjalnostjo. »Skupnost poskušamo spodbuditi k globljemu razmišljanju o tem, kakšna naj bi bila prihodnost, ko bo lahko umetna inteligenca prevzela dejavnejšo vlogo v raziskovalnem procesu,« pravi.

1. Si, C., Yang, D. & Hashimoto, T. Prednatis na arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024).

Prenesite reference