Kimi K3 izazvao ‘AI komunizam’ optužbe od OpenAI-a
Štreberi pre 3 dana
Kineska kompanija Moonshot nedavno je predstavila svoj novi open-source model Kimi K3, koji ima impresivnih 2,8 triliona parametara i dostigao je vrh Arena rang-liste za frontend kod.
Ovaj potez izazvao je snažne reakcije u AI industriji, posebno od strane OpenAI-a. Šta je Kimi K3? Kimi K3 je multimodalni model sa kontekstnim prozorom od oko 1 milion tokena. Njegova ključna inovacija je arhitektura nazvana Kimi Delta Attention (KDA) – hibridni linearni mehanizam pažnje koji kombinuje rekurentna stanja i globalne snimke konteksta u razmeri 3:1. Ovo drastično smanjuje veličinu KV keša u poređenju sa standardnim kvadratičnim pristupom, čineći model
