Cloudflare optužuje Perplexity za prikriveno indeksiranje sajtova uprkos zabranama
PC Press pre 3 dana | Nina Momcilovic
Kompanija Cloudflare objavila je izveštaj u kojem tvrdi da Perplexity, poznat po razvoju AI pretraživača, koristi prikrivene metode za indeksiranje veb-sadržaja, čak i kada mu je to izričito zabranjeno putem robots.txt fajla ili firewall pravila.
Ove optužbe stavljaju dodatni fokus na etičke i tehničke dileme u prikupljanju podataka za treniranje veštačke inteligencije. Prikriveni crawl i zaobilaženje pravila Robots.txt je standardni fajl koji vlasnici sajtova koriste kako bi web crawler-ima naznačili šta sme, a šta ne sme da se indeksira. Iako Perplexity ima sopstvene označene botove pod imenima “PerplexityBot” i “Perplexity-User”, Cloudflare tvrdi da je Perplexity ipak uspeo da prikupi sadržaj sa novog
