Kraj AI iluzije: Skaliranje modela više nije dovoljno za revoluciju
Zašto nas samo puko dodavanje podataka i računarske moći neće dovesti do AGI-ja
Nakon nekoliko godina u kojima smo svjedočili nevjerojatnim skokovima u sposobnostima umjetne inteligencije, industrija se polako sudara sa zidom. Sjećamo se trenutaka kada je svaka nova generacija jezičnih modela donosila radikalna poboljšanja—činilo se da smo otkrili magičnu formulu. No, danas sve jasnije vidimo da stara mantra Silicijske doline, "samo dodaj više GPU-ova i podataka", polako gubi svoju moć.
Prevladavajuća priča
Glavni narativ u AI industriji proteklih nekoliko godina bio je jednostavan i neodoljiv: skaliranje rješava sve. Ideja je bila da, ako imamo veći model, s više parametara, obučen na više tekstova i s više računalne snage, dobit ćemo pametniji sustav. Ova filozofija, često nazivana "scaling laws" (zakoni skaliranja), obećavala je pravocrtan put do Opće umjetne inteligencije (AGI). Investitori su ulijevali milijarde u startupove čiji je jedini plan bio napraviti "isti model, ali veći". Vjerovalo se da su halucinacije, nedostatak logičkog zaključivanja i razumijevanja konteksta samo prolazni problemi koji će nestati s dodavanjem petabajta novih podataka.
Zašto je ta priča pogrešna ili nepotpuna
Ono što sada vidimo na tržištu, posebno s najnovijim generacijama modela, ukazuje na zakon opadajućih prinosa. Prvo, ponestaje nam visokokvalitetnih podataka. Modele smo već nahranili gotovo cjelokupnim javno dostupnim internetom, a sintetički podaci—generirani od strane samih modela—često dovode do degradacije kvalitete, fenomena poznatog kao "kolaps modela".
Drugo, i još važnije, puko skaliranje ne rješava temeljne arhitektonske nedostatke trenutnih sustava. Veliki jezični modeli izvrsni su u predviđanju sljedeće riječi na temelju statističkih obrazaca, ali oni ne posjeduju stvarni model svijeta, sposobnost apstraktnog razmišljanja ili pravog planiranja. Ulaganje deset puta više novca u trening modela ne rezultira modelom koji je deset puta bolji u rješavanju kompleksnih, višestrukih logičkih problema. Matematika jednostavno više ne podržava narativ da ćemo samo grubom silom stići do prave inteligencije.
Posljedice u stvarnom svijetu
Ako je teza o kraju iluzije skaliranja točna, posljedice za industriju bit će goleme. Kompanije koje su izgradile svoje poslovne modele isključivo na preprodaji API pristupa sve većim modelima mogle bi se naći u problemima. Utrka u naoružanju, mjerena isključivo brojem kupljenih H100 grafičkih kartica, preusmjerit će se na učinkovitost i inovacije u samoj arhitekturi.
Pobjednici u sljedećoj fazi neće biti nužno oni s najdubljim džepovima, već oni koji uspiju stvoriti manje, specijalizirane modele ili razviti potpuno nove pristupe AI-ju koji ne ovise o pukoj količini parametara. Također, očekivanja klijenata i investitora morat će se prilagoditi realnosti—AI će se početi promatrati kao moćan i koristan alat za automatizaciju specifičnih zadataka, a ne kao svemoćno rješenje koje je na korak do zamjene ljudskog intelekta.
Završni stav
Završava era u kojoj smo se divili pukoj veličini. Da bismo ostvarili sljedeći istinski iskorak u umjetnoj inteligenciji, morat ćemo prestati graditi sve veće "papige" i početi graditi sustave koji doista mogu razmišljati. Skaliranje nas je dovelo ovdje, ali nas neće odvesti do kraja puta.
Komentar objavljen na portalu Umjetna Inteligencija Blog by ShtefAI, autor: Shtef
