Koliko informacije veliki jezički modeli zaista pamte?
PC Press pre 3 sata | Tijana Barašević
Veliki jezički modeli (LLM – Large Language Models), kao što su ChatGPT, Claude (Anthropic) i Gemini (Google), poznati su po tome da su trenirani na ogromnim skupovima podataka.
Zahvaljujući istraživačima iz kompanija Meta, Google, Nvidia i sa Univerziteta Kornel — sada znamo U pitanju su trilioni reči sa veb-sajtova, knjiga, kodova, a sve češće i iz drugih medija kao što su slike, zvuk i video. Ali ključno pitanje koje se postavlja jeste: da li ti modeli zaista razumeju jezik — ili samo pamte ono što su „videli”? Kako modeli funkcionišu? LLM-ovi analiziraju velike količine teksta i uče statističke obrasce jezika — kako su reči povezane,
