Qualcomm HBC silicijum: 18x veća propusnost od LPDDR5X
Štreberi pre 1 dan
Qualcomm je potvrdio da je njegova prva generacija High Bandwidth Compute (HBC) silicijuma uspešno validirana u laboratoriji u San Dijegu.
Ovo je važan korak u razvoju memorijskog rešenja namenjenog AI inferenci u data centrima. Zašto je memorijska propusnost problem? Svaki generisani token u LLM modelima zahteva da se podaci iz memorije konstantno šalju ka računarskim jedinicama. Na nivou data centara, ta kretanja podataka troše energiju, povećavaju latenciju i dižu ukupne troškove. HBC arhitektura rešava ovaj problem postavljanjem računarskih jedinica bliže memoriji, smanjujući put podataka sa
