Neprestana poboljšanja koja AI tvrtke uvode u svoje modele mogla bi mnoge navesti na pomisao da smo konačno shvatili kako funkcioniraju veliki jezični modeli ili ”Large Language Models”, odnosno LLM. N to nije tako. LLM i dalje spadaju u jednu o tehnologija koje najmanje razumijemo i za čije će razumijevanje biti potrebno još puno truda i vremena.
S druge strane, Anthropic to pokušava ubrzati primjenom nove tehnike pod nazivom praćenje krugova. Radi se o tehnologiji koja je pomogla tvrtki bilježenje nekih od unutarnjih funkcija svog modela Claude 3.5 Haiku.
Praćenje strujnih krugova relativno je nova tehnika, koja istraživačima omogućuje praćenje kako AI model gradi svoje odgovore korak po korak. Podsjeća na neki način praćenje načina na koji mozak šalje informacije iz jednog dijela u drugi. Djeluje lančano spajajući različite komponente modela. Anthropic ga je koristio kako bi dobio bolje uvide u Claudeov unutarnji rad.
Ovo je otkrilo neke doista čudne, ponekad neljudske načine dolaska do odgovora, koje bot čak ne bi priznao kada bi ga se pitalo. Sve u svemu, tim je ispitao 10 različitih ponašanja kod Claudea. Tri su se istaknula.
Jedan je bio prilično jednostavan i uključivao je odgovor na pitanje “Što je suprotno od malog?” na različitim jezicima. Pomislili biste da Claude možda ima zasebne komponente za engleski, francuski ili na primjer, kineski. Ali ne, prvo pronalazi odgovor, nešto što je povezano s “veličinom”, koristeći jezično neutralne sklopove, a zatim odabire prave riječi koje odgovaraju jeziku na kojem je postavljeno pitanje. To znači da Claude ne izbacuje samo napamet naučene prijevode. On primjenjuje apstraktne koncepte na različite jezike, gotovo kao što bi to učinio čovjek.
Tu je naravno i matematika. Ako od Claudea zatražite zbrajanje brojeva na primjer, 36 i 59, on to čini na zanimljiv način: umjesto korištenja standardnog načina, čini nešto mnogo čudnije. Započinje aproksimaciju dodavanjem “40-ica i 60-ica” ili “57-ica i 36-ica” i na kraju dolazi do “92”. U međuvremenu, drugi dio modela usredotočuje se na znamenke 6 i 9, shvaćajući da odgovor mora završavati s 5. Kada se objedine ova dva čudna koraka, dolazimo do broja 95.
S druge strane, ako od Claudea zatražite kako je riješio problem, pouzdano će opisati standardnu metodu iz osnovne škole, prikrivajući svoj stvarni, bizarni proces zaključivanja.
Ovo sugerira da LLM možda imaju više predviđanja nego što smo pretpostavljali i da oni ne predviđaju uvijek samo jedan način rješavanja problema, kako bi oblikovali rješenje koje nam je potrebno. Sve u svemu, ova su otkrića velika stvar: dokazuju da konačno možemo vidjeti kako ti modeli funkcioniraju, barem djelomično.
S obzirom na to, Joshua Batson, istraživač u tvrtki, priznao je MIT-u da je ovo samo “vrh sante leda”. Traženje čak i jednog jedinog odgovora traje satima i preostaje još puno toga što je potrebno za shvatiti.
Alan Milić
