Da li je Meta upravo pobedila Google i Apple u trci? Hrabar potez, AI stiže na telefone u velikom stilu
Kurir 26.10.2024
Kompanija je najavila kompresovane verzije svojih modela Llama 3.2 1B i 3B koje rade do četiri puta brže dok koriste manje od polovine memorije od ranijih verzija.
Ovi manji modeli rade skoro isto kao i njihove veće "kolege", prema Meta testiranju. Napredak koristi tehniku kompresije koja se zove kvantizacija, koja pojednostavljuje matematičke proračune koje pokreću AI modele. Meta je kombinovao dve metode: trening sa svešću o kvantizaciji sa LoRA adapterima (KLoRA) za održavanje tačnosti i SpinQuant za poboljšanje prenosivosti. Ovo tehničko dostignuće rešava ključni problem: pokretanje napredne veštačke inteligencije bez
