Kraj opsesije parametrima: Zašto veći AI modeli nisu uvijek bolji
Kvaliteta podataka i specijalizacija postali su važniji od sirove veličine modela.
Utrka u naoružanju brojem parametara umjetne inteligencije dosegnula je točku u kojoj moramo zastati i preispitati strategiju. Već godinama svjedočimo najavama u kojima tehnološki divovi ponosno ističu bilijune parametara u svojim novim modelima. No, iza blještave površine i impresivnih brojki, industrija polako dolazi do otrežnjujućeg zaključka: veće više ne znači nužno i bolje. Fokus se ubrzano pomiče sa sirove veličine na kvalitetu, efikasnost i usmjerenu primjenu.
Prevladavajuća priča
Glavni narativ tehnološke industrije u posljednjih nekoliko godina bio je jednostavan: više parametara i veća procesorska snaga izravno vode do pametnijih i sposobnijih AI sustava. Ova priča pretpostavlja da će modeli postajati sve inteligentniji samo ako im nastavimo ubacivati beskonačne količine podataka i računalnih resursa. Prema tom viđenju, stvaranje opće umjetne inteligencije (AGI) samo je pitanje skaliranja trenutnih arhitektura.
Zašto je ta priča pogrešna ili nepotpuna
Problem s ovom pričom leži u zakonu opadajućih prinosa. Povećanje broja parametara za deset puta više ne donosi deseterostruko poboljšanje u sposobnostima modela, ali zato donosi deseterostruke troškove treninga i održavanja.
Štoviše, pokazalo se da je kvaliteta podataka na kojima se model trenira daleko važnija od pukog volumena. Sustavi koji su trenirani na pažljivo kuriranim, visokokvalitetnim podacima mogu nadmašiti značajno veće modele koji su trenirani na neselektivno prikupljenim podacima s interneta. Manji, optimizirani modeli ne samo da su brži i jeftiniji za pokretanje, već često pokazuju i manje sklonosti "halucinacijama" kada su usmjereni na specifične domene.
Posljedice u stvarnom svijetu
Ovaj pomak u paradigmi mijenja ravnotežu moći u tehnološkom sektoru. Ako veličina više nije jedini presudan faktor, manji razvojni timovi i tvrtke mogu konkurirati tehnološkim gigantima koristeći specijalizirane, "open-source" modele i tehnike poput finog podešavanja (fine-tuning).
Za korisnike, ovo znači brže integracije, niže troškove korištenja AI alata i veću privatnost, jer se manji modeli mogu izvoditi lokalno na uređajima bez potrebe za stalnom vezom s oblakom. Gubljenje opsesije parametrima također pozitivno utječe na okoliš, smanjujući enormnu potrošnju energije potrebnu za treniranje masivnih neuronskih mreža. S druge strane, oni koji nastave inzistirati na pukom skaliranju mogli bi se naći u situaciji da razvijaju neodržive sustave koje nitko neće moći isplativo koristiti.
Završni stav
Vrijeme "slonovskih" AI modela koji pokušavaju biti sve za svakoga polako prolazi. Budućnost umjetne inteligencije nije u stvaranju jednog sveznajućeg monolita, već u ekosustavu manjih, iznimno sposobnih i specijaliziranih modela koji rješavaju konkretne probleme efikasno i precizno.
Komentar objavljen na portalu Umjetna Inteligencija Blog by ShtefAI, autor: Shtef
