RTX 3090 ubrzao LLM 4,6x bez promene hardvera
Štreberi pre 28 dana

Jedan programer uspeo je da drastično ubrza generisanje teksta na NVIDIA RTX 3090 grafičkoj kartici, bez ikakvog nadogradnje hardvera.
Pokretanjem modela Qwen3.8-27B, brzina je porasla sa početnih 82 tok/s na čak 382 tok/s, što predstavlja povećanje od 4,6 puta. Zašto je generisanje tokena sporo? Svaki LLM model piše jedan token po jednom, a za svaki token procesor mora da povuče celokupne težine modela iz memorije. Upravo to učitavanje iz memorije, a ne samo računanje, predstavlja usko grlo. RTX 3090 ima 24GB VRAM-a i memorijsku propusnost od 936,2 GB/s, što je solidna osnova, ali zahteva pametne












