RTX 3090 ubrzao LLM 4,6x bez promene hardvera
Štreberi pre 2 sata
Jedan programer uspeo je da drastično ubrza generisanje teksta na NVIDIA RTX 3090 grafičkoj kartici, bez ikakvog nadogradnje hardvera.
Pokretanjem modela Qwen3.8-27B, brzina je porasla sa početnih 82 tok/s na čak 382 tok/s, što predstavlja povećanje od 4,6 puta. Zašto je generisanje tokena sporo? Svaki LLM model piše jedan token po jednom, a za svaki token procesor mora da povuče celokupne težine modela iz memorije. Upravo to učitavanje iz memorije, a ne samo računanje, predstavlja usko grlo. RTX 3090 ima 24GB VRAM-a i memorijsku propusnost od 936,2 GB/s, što je solidna osnova, ali zahteva pametne
