Sve više zalazimo u doba umjetne inteligencije, što može biti i dobro i ne baš dobro, ovisno kako na to gledate. U 2024. godini dobili smo i neke nove ideje za AI chatbotove, s kojima bismo se tek trebali moći upoznati u nastavku godine. Jedan od tih alata je i Nvidia-in Chat With RTX.
Kako biste koristilo ovaj Nvidia-in chatbot, trebat ćete imati kompatibilan hardver. U slučaju da ga vaše računalo posjeduje, moći ćete bez problema instalirati Chat With RTX, AI chatbot koji pretvara lokalne datoteke u svoj skup podataka. Aplikacija Chat With RTX smatra se “tehničkom demonstracijom”, ali je učinkovita u dohvaćanju, sažimanju i sintetiziranju informacija iz tekstualnih datoteka.
U svojoj srži, Chat With RTX je osobni asistent koji kopa po vašim dokumentima i bilješkama. Štedi vam probleme ručnog pretraživanja datoteka koje ste napisali, preuzeli ili primili od drugih. Personalizirani LLM također može izvući transkripte iz YouTube videa. Ako želite ispisati detaljne upute za projekt obrade drva, jednostavno pronađite YouTube vodič, kopirajte URL i uključite ga u Chat With RTX. Ovo funkcionira sa samostalnim YouTube videozapisima i popisima za reprodukciju.
Budući da Chat With RTX radi lokalno, daje brze rezultate bez slanja vaših osobnih podataka u oblak. LLM će skenirati samo datoteke ili direktorije koje odabere korisnik. Treba se napomenuti da se drugi LLM-ovi, uključujući one iz HuggingFace-a i OpenAI-a, mogu izvoditi lokalno. Chat With RTX važan je iz dva razloga: ne zahtijeva nikakvu stručnost i pokazuje mogućnosti Nvidia TensorRT-LLM RAG otvorenog koda, kojeg programeri mogu koristiti za izradu vlastitih aplikacija koje koriste umjetnu inteligenciju.
Dobili smo mali uvid u Chat With RTX na CES-u 2024. To je svakako “tehnički demo” i to je nešto što se mora koristiti s namjerom. Ali bez obzira na to radi se o vrlo impresivnom alatu. Čak i ako niste zainteresirani za mogućnosti dohvaćanja informacija ili sažimanja dokumenata uz pomoć Chat With RTX, ovo je izvrstan primjer kako se lokalno upravljani LLM-ovi mogu koristiti za rad.
Iako nema puno informacija na Nvidia-inoj web stranici, Chat With RTX može proizvesti zanimljive odgovore na kreativne upite. No ovo su samo začeci onoga što novi Nvidia-in alat za umjetnu inteligenciju može, i što tvrtka planira s ovim alatom u budućnosti! Chat With RTX možete instalirati s Nvidia-ine web stranice.
Imajte na umu da ova aplikacija zahtijeva GPU RTX serije 30 ili serije 40 s najmanje 8 GB VRAM, što znači da je dosta zahtjevna za korištenje. Nvidia također nudi TensorRT-LLM RAG referentni projekt otvorenog koda za one koji žele izraditi aplikacije slične Chat With RTX.
Piše: D.M.
