Što je to ”AI Scraping” ili ”AI Web Scraping” i kako se zaštititi od ovakve vrste internetskih prijetnji? O čemu se zapravo radi ovdje? Jesu li ovi izrazi novi ili postoje već duže vrijeme? Što oni znače? Odgovore na ova pitanja otkrit ćemo u nastavku!
Što je uopće ”AI Web Scraping”?
”AI web scraping” u biti je vrhunski pristup ekstrakciji ili izvlačenju podataka s internetskih izvora, koji kombinira snagu umjetne inteligencije s tradicionalnim tehnikama web scrapinga ili izvlačenja podataka s interneta. To je kao da konvencionalnom alatu za web scraping nadogradite um: dopuštate mu samostalno razmišljanje, učenje i prilagođavanje.
Budući da AI web scraping može imati toliko mnogo oblika, jedna aplikacija može izgledati potpuno drugačije od druge. Štoviše, AI tehnologija još je uvijek u razvoju, što znači da za nekoliko mjeseci neke stvari mogu izgledati drastično drugačije u odnosu na ono kako izgledaju sada.
Je li postupak izvlačenja podataka s internetskih izvora legalan?
Web scraping, bilo da je poboljšan umjetnom inteligencijom ili ne, općenito je legalan ako prikupljate podatke s interneta koji su javno dostupni. Ključne riječi ovdje su “javno dostupni”. Ako su informacije slobodno dostupne bez zahtjeva za vjerodajnicama za prijavu ili zaobilaženjem sigurnosnih mjera i ako ih želite izvući, to ne bi trebao biti problem što se tiče legalne strane.
No, kako biste bili dodatno sigurni, uvijek biste trebali uzeti u obzir uvjete usluge internetske stranice, čije podatke želite izvući. Velik broj njih izričito zabranjuju izvlačenje podataka. Iako kršenje ovih uvjeta nije nužno protuzakonito, moglo bi potencijalno dovesti do određenih problema.
Na koji način se izvlačenje podataka sa internetskih stranica razlikuje od ručnog izvlačenja podataka?
Tradicionalno izvlačenje podataka ili ”web scraping” obično uključuje pisanje prilagođenih skripti ili korištenje alata kao što su Beautiful Soup, Scrapy ili Puppeteer za izdvajanje podataka s web stranica.
Ove se metode oslanjaju na unaprijed definirana pravila i obrasce za lociranje i izdvajanje određenih elemenata s web stranica. Jednom kada se podaci prikupe, često zahtijevaju dodatnu obradu i analizu, što može uključivati korištenje softvera za proračunske tablice ili alata za analizu podataka kao što je Pythonova biblioteka Pandas.
Kada se ove tradicionalne tehnike izvlačenja podataka spoje s mogućnostima umjetne inteligencije ili AI, tada govorimo o ”AI Web Scraping” ili izvlačenju podataka uz pomoć umjetne inteligencije. Slijedi nekoliko primjera kako ovo može izgledati u praksi:
- Modeli strojnog učenja mogu se koristiti za navigaciju složenim web stranicama i za rukovanje dinamičkim sadržajem i stranicama koje prikazuje JavaScript.
- Mogućnosti umjetne inteligencije omogućuju izvlačenje podataka iz vizualnog sadržaja, a ne samo teksta.
- AI može detektirati i prilagoditi se promjenama u strukturama web stranica i smanjiti potrebu za stalnim održavanjem skripti za izvlačenje.
- Relevantne informacije mogu se izvući iz teksta na temelju složenog razumijevanja konteksta i semantike izvučenog teksta.
- Recenzije proizvoda ili komentari na društvenim mrežama mogu se unijeti u AI alat za izvođenje analize raspoloženja i za određivanje emocija tekstualnih podataka.
U fazi prikupljanja podataka, umjetna inteligencija poboljšava sposobnost onoga koji izvlači podatke u boljem kretanju po internetskim stranicama, u boljem identificiranju podataka koji su relevantni i boljim prilagodbama u stvarnom vremenu. U fazi analize podataka, umjetna inteligencija može obraditi i interpretirati prikupljene podatke na načine koji nadilaze jednostavno izvlačenje.
Koje su ključne prednosti izvlačenja podataka sa internetskih stranica uz pomoć umjetne inteligencije?
Ovakav način izvlačenja podataka sa sobom donosi i određene prednosti. Pogledajmo u nastavku neke od njih.
Prilagodljivost promjenama koje se mogu pojaviti na internetskim stranicama
Internetske se stranice stalno razvijaju, što može dosta otežati posao tradicionalnom načini izvlačenja podataka. Alati pokretani umjetnom inteligencijom mogu se u hodu prilagoditi tim promjenama i to prepoznavanjem novih uzoraka i prilagođavanjem svojih strategija struganja u skladu s tim. To znači manje zastoja i kvalitetnije postupke prikupljanja podataka.
Mogućnosti analize podataka na temelju vizualnih obilježja
Tradicionalni alati za izvlačenje ograničeni su na informacije koje se temelje na tekstu, dok AI alat može izvući vrijedne uvide iz slika, fotografija, grafikona i info-grafika. Ovo otvara sasvim novu dimenziju u pogledu pristupa podataka, koji su prije bili nedostupni. Na primjer, umjetna inteligencija može analizirati fotografije proizvoda kako bi identificirala karakteristike, boje i stilove, što je jako korisno za konkurente u e-trgovini koji prate trendove.
Znatno veće mogućnosti jezične obrade
Umjetna inteligencija razumjeti kontekst i značenje prikupljenih tekstualnih podataka. Kao što je ranije spomenuto, tvrtke mogu koristiti analizu sentimenta za procjenu zadovoljstva kupaca iz pregledanih recenzija ili mogu sažeti velike količine teksta, prevesti sadržaj sa stranih tržišta, itd.
Kakvi izazovi leže u procesu izvlačenja podataka uz pomoć umjetne inteligencije?
Iako ”AI web scraping” nudi brojne prednosti, postoje i različiti izazovi. Primarni problem odnosi se na nepredvidivu prirodu rezultata umjetne inteligencije. AI modeli ponekad mogu dati neočekivane ili netočne rezultate.
Ovaj fenomen, koji se u krugovima umjetne inteligencije često naziva “halucinacijom”, događa se kada umjetna inteligencija generira informacije koje zvuče uvjerljivo i kojima nedostaje točnosti. U kontekstu ”web scrapinga”, to bi moglo značiti izvlačenje onih podataka koji izgledaju vjerodostojno, ali nisu, jer ih je izmislila umjetna inteligencija.
Još jedan potencijalni izazov odnosi se na oslanjanje na uslugu umjetne inteligencije treće strane, kao što su ChatGPT ili Claude. U slučaju ovoga, možete se suočiti s problemima koji se odnose na dostupnost usluge, promjene u modelima cijena ili izmjenama mogućnosti umjetne inteligencije, koje bi mogle utjecati na postupak izvlačenja.
Kako zaštititi internetsku stranicu od ”AI Web Scrapinga”?
Iako može izgledati drugačije, u biti ako znate što treba raditi, možete vrlo lako zaštititi svoje internetske stranice od postupka izvlačenja podataka uz pomoć umjetne inteligencije ili ”AI scrapinga”.
Točnije, mnoge provjerene metode koje se koriste u borbi protiv tradicionalnog izvlačenja podataka s web stranica, jednako su učinkovite i u slučaju izvlačenja uz pomoć AI. U nastavku ćemo ukratko navesti neke od najboljih načina zaštite internetskih stranica od ovakvog načina izvlačenja podataka.
-
Konfiguriranje robots.txt za blokiranje određenih AI alata
Datoteka robots.txt prva je linija obrane vaše web stranice od neželjenih alata za indeksiranje, uključujući one koji pripadaju OpenAI-u i Anthropicu. Ova se datoteka koristi za implementaciju protokola za isključivanje robota i informiranje korisnih i dobronamjernih robota o tome kojim dijelovima vaše stranice smiju pristupiti.
Trebali biste moći pronaći datoteku robots.txt u korijenskom direktoriju web stranice. Ako ga nema, možete ga izraditi pomoću bilo kojeg uređivača teksta. Kako biste blokirali određenog AI bota, trebate napisati samo dva retka:
User-agent: GPTBot
Disallow: /
Prvi redak služi za identificiranje bota, dok drugi redak kaže kako ne smije pristupati nijednoj stranici.
-
Blokiranje podataka od IP-a
Blokiranje IP-a omogućuje vam izravnu zabranu određenih IP adresa ili raspona koje ste identificirali kao izvore odakle se događa izvlačenje podataka. Jedan od najlakših načina za implementaciju ove tehnike je korištenje Cloudflarea, popularne mreže za isporuku sadržaja (CDN) i sigurnosne usluge.
Cloudflare se pozicionira između vašeg poslužitelja i internetskog sadržaja, nakon čega djeluje kao štit za vašu web stranicu. Nakon što svoju web stranicu postavite iza Cloudflarea, možete konfigurirati različita dodatna pravila i možete upravljati podacima koji dolaze s vašeg poslužitelja ili IP-a.
-
Koristite različite metode verificiranja
CAPTCHA ili potpuno automatizirani javni Turingov test za razlikovanje računala i ljudi, isprobana je metoda, koja se najčešće koristi za razlikovanje ljudskih korisnika od ”botova” ili robota. Ovi izazovi predstavljaju zadatke koji su laki za ljude, ali koje će ”bot” teško moći riješiti, ako će ih uopće moći riješiti. Neki od tih CAPTCHA zadataka uključuju prepoznavanje objekata na slikama ili dekriptiranje iskrivljenog teksta.
Jedna od najpopularnijih, a ujedno i učinkovitih CAPTCHA je Googleova reCAPTCHA. Kako biste ga koristili, morate posjetiti reCAPTCHA administratorsku konzolu i prijaviti se za par API ključeva. Nakon toga ćete moći upotrijebiti WordPress dodatak kao što je Advanced Google reCAPTCHA ili ćete moći izraditi prilagođenu implementaciju na temelju službene dokumentacije.
-
Još jedan način zaštite od izvlačenja podataka uz pomoć alata umjetne inteligencije jest primjena tehnike dinamičkog prikaza sadržaja
Još jedan vrlo koristan način kako možete zaštititi svoju internetsku stranicu od ”AI Web Scrapinga” jest korištenje tehnika dinamičkog prikazivanja sadržaja. Zamisao koja stoji iza ovoga je jednostavna, ali učinkovita: kada ”bot” za AI Scraping” posjeti vašu stranicu, prima bezvrijedan sadržaj ili sadržaj uopće neće biti vidljiv, dok redovni posjetitelji mogu vidjeti ispravan sadržaj. Evo kako ovo funkcionira u praksi:
- Vaš poslužitelj identificira agenta koji pristupa stranici, razlikujući obične korisnike od potencijalnih AI robota.
- Na temelju ove identifikacije, vaš poslužitelj odlučuje koji će sadržaj poslužiti koristeći JavaScript logiku.
- Za ljudske posjetitelje poslužitelj isporučuje punu verziju vaše stranice. Za ”botove”, poslužuje drugačiji skup sadržaja.
-
Zaštitite fotografije i slike na svojim internetskim stranicama vodenim pečatom
Digitalni vodeni pečat je klasična tehnika za zaštitu intelektualnog vlasništva, ali se razvija kako bi odgovorila na izazove doba umjetne inteligencije. Jedna od tehnika u nastajanju u ovom prostoru je i takozvano ”trovanje” podataka. Radi se o tehnici koja uključuje stvaranje suptilnih promjena u vašem sadržaju koje su neprimjetne ljudskim korisnicima, ali mogu zbuniti ili poremetiti AI sustave koji ga pokušavaju izvući podatke ili ih analizirati.
Alati kao što je Glaze mogu mijenjati slike na način da ih AI modeli vrlo teško mogu precizno obraditi, iako će i dalje izgledati normalno ljudskim korisnicima. Tu je i Nightshade, koji ide korak dalje u ”trovanju” podataka i to aktivnim uključivanjem u načine obuke umjetne inteligencije, čime se dodatno otežava AI alatima proces analiziranja i kasnijeg možebitnog izvlačenja podataka sa internetskih stranica.
Ivan Hečimović
