Problem s AI asistentima je što ne znaju reći 'ne znam'
Samouvjerenost jezičnih modela stvara ozbiljne probleme u praksi
Trenutna generacija velikih jezičnih modela ima jednu temeljnu, duboko ukorijenjenu manu koja se često gura pod tepih u marketinškim kampanjama. Oni su dizajnirani i optimizirani da pod svaku cijenu pruže odgovor, bez obzira na to koliko su zapravo sigurni u njegovu točnost. Kada se nađu u situaciji gdje nemaju dovoljno informacija, umjesto da jasno i glasno priznaju svoje neznanje, oni jednostavno haluciniraju. Ova naizgled trivijalna karakterna mana umjetne inteligencije zapravo je najveća prepreka njenom masovnom, pouzdanom korištenju u ozbiljnim poslovnim i tehničkim sustavima.
U ljudskoj komunikaciji, sposobnost da priznamo kako nešto ne znamo znak je inteligencije, iskustva i profesionalnosti. Kada inženjer, liječnik ili pravnik kaže "nisam siguran, moram provjeriti", mi mu zapravo vjerujemo više. Znamo da su njegove buduće tvrdnje utemeljene na stvarnom znanju i odgovornosti. S druge strane, AI asistenti funkcioniraju poput najgoreg tipa sveznadara – onoga koji će vam s apsolutnom sigurnošću, savršenom gramatikom i vrlo uvjerljivim tonom dati potpuno izmišljene informacije.
Prevladavajuća priča
Tehnološka industrija nas svakodnevno uvjerava da je problem halucinacija samo privremeni nedostatak. Prevladavajuća priča glasi da će se pouzdanost modela riješiti pukim skaliranjem računalnih resursa i skupova podataka. Tvrdi se da će modeli postajati sve veći, trenirani na sve više podataka i da će se njihova točnost prirodno približiti savršenstvu.
Prema tom narativu, današnje greške su samo dječje bolesti rane tehnologije s kojom se moramo pomiriti. Kompanije tvrde da će tehnike poput Retrieval-Augmented Generation (RAG) ili naprednijih metoda finog ugađanja (fine-tuning) potpuno iskorijeniti problem. Korisnicima se neprestano poručuje da samo trebaju biti strpljivi i naučiti bolje pisati upite – takozvani prompt inženjering – kako bi dobili točne odgovore. Krivnja za loše odgovore suptilno se prebacuje na korisnika.
Zašto je ta priča pogrešna ili nepotpuna
Ovakav pogled na razvoj umjetne inteligencije ignorira osnovne tehničke principe na kojima ovi modeli funkcioniraju. Problem halucinacija nije samo pitanje nedostatka podataka; to je fundamentalni problem trenutne arhitekture dubokog učenja na kojoj počivaju svi veliki jezični modeli. Oni su, u svojoj tehničkoj srži, samo vrlo napredni statistički strojevi za predviđanje sljedeće riječi (ili tokena) u nizu.
Jezični modeli nemaju koncept apsolutne istine, niti imaju ugrađen neovisni mehanizam provjere činjenica. Oni ne pretražuju centralnu bazu provjerenog znanja, već generiraju tekst koji statistički zvuči najvjerojatnije u zadanom kontekstu na temelju onoga što su "vidjeli" tijekom treniranja. Zbog toga ne posjeduju unutarnji mehanizam koji bi im omogućio da pouzdano procijene vlastito neznanje. Nema one crvene lampice u njihovoj neuralnoj mreži koja bi im signalizirala: "Hej, za ovo zapravo nemam nikakvo pokriće u podacima."
Čak ni dodavanje metoda poput RAG-a ne rješava korijenski problem. RAG samo daje modelu specifičan dokument kao kontekst, ali ako model ne pronađe odgovor u tom dokumentu, njegova tendencija da zadovolji korisnika često će nadvladati uputu da se drži isključivo ponuđenog teksta. Zato će izmisliti citat, referencu na nepostojeći znanstveni rad, programski kod koji poziva funkcije koje ne postoje, ili povijesni događaj s istom razinom lingvističke sigurnosti s kojom iznose općepoznate, trivijalne činjenice. Dodavanje više podataka to ne rješava; to samo čini modele boljima u iznimno uvjerljivom izmišljanju.
Posljedice u stvarnom svijetu
Ovaj tehnološki nedostatak prebacuje ogroman, često skriveni teret kognitivnog napora direktno na leđa korisnika. Zbog toga što AI ne zna eksplicitno reći "ne znam", svaka njegova tvrdnja mora biti podložna rigoroznoj provjeri stručnjaka.
U razvoju softvera, posljedice su vrlo opipljive. Programeri danas često troše znatno više vremena na dubinsko otklanjanje suptilnih, skrivenih grešaka u naizgled ispravnom generiranom kodu, nego što bi im trebalo da su taj isti kod od početka napisali sami. Kada umjetna inteligencija izmisli metodu iz tuđe biblioteke koja zvuči logično, proces debagiranja može trajati satima prije nego inženjer shvati da ta funkcija zapravo uopće ne postoji u službenoj dokumentaciji.
Poslovni korisnici koji se oslanjaju na AI alate za analizu tržišta i internih podataka suočavaju se s istim rizikom. Oni moraju ručno provjeravati svaki broj i svaki grafikon u izvještaju, jer model neće prijaviti da mu nedostaje ključni financijski podatak – on će ga jednostavno halucinirati kako bi popunio prazninu i dovršio zadatak. U kritičnim domenama poput medicine, prava ili vojne industrije, sustavi koji ne mogu eksplicitno prijaviti vlastitu nesigurnost su potpuno neupotrebljivi za autonomni rad. Cijena pogreške u tim sektorima je jednostavno prevelika da bi se ozbiljne organizacije oslanjale na alat koji vješto blefira svaki put kada ne zna točan odgovor.
Završni stav
Sve dok sustavi umjetne inteligencije ne razviju intrinzičnu sposobnost prepoznavanja vlastitih ograničenja, ostat će samo korisni, ali opasni alati za ubrzavanje površnih zadataka. Prava revolucija u umjetnoj inteligenciji neće se dogoditi kada modeli budu znali odgovore na sva moguća pitanja na svijetu. Dogodit će se onog trenutka kada budu sposobni pouzdano, nedvosmisleno i bez isprike reći: "Ovo doista ne znam."
Komentar objavljen na portalu Umjetna Inteligencija Blog by ShtefAI, autor: Shtef
