Alibaba Qwen4-Max: 2,4 triliona parametara, ali iza Kimi K3.1 Pro

Štreberi pre 11 minuta
Alibaba Qwen4-Max: 2,4 triliona parametara, ali iza Kimi K3.1 Pro

Alibaba je predstavila model Qwen4-Max, koji dolazi sa 2,4 triliona parametara – jednako kao i prethodnik Qwen3.8 Max.

Ipak, novi model donosi optimizovanu MoE arhitekturu, unapređen mehanizam rutiranja eksperata i poboljšane podatke za trening. Arhitekturalne novosti Qwen4-Max uvodi tri ključne tehničke inovacije. GDN (Gated DeltaNet) funkcioniše kao sistem tekućih beležaka – umesto da ponovo čita ceo kontekst od početka, model ažurira memoriju brisanjem zastarelih i dodavanjem novih informacija, što sprečava rast KV keša. QSA (Qwen Sparse Attention) dopunjuje GDN tako što koristi

Pročitajte još

Nauka & Tehnologija, najnovije vesti »