Modder ubacio Tesla V100 u gaming PC za pokretanje LLM-ova
Štreberi pre 12 sati
Vlasnik RTX 4080 suočio se sa poznatim problemom: njegova grafička kartica savršeno pokreće najzahtevnije AAA naslove, ali za lokalno pokretanje velikih jezičkih modela (LLM) jednostavno nema dovoljno VRAM-a.
Rešenje je pronašao u NVIDIA Tesla V100 – servitskom GPU-u koji je nabavio po ceni od svega oko 266 dolara. SXM2-to-PCIe adapter kao ključ rešenja Tesla V100 nije dizajnovan za desktop matične ploče, pa ga nije moguće priključiti kao standardnu grafičku karticu. Modder poznat kao Tymscar morao je da nabavi SXM2-to-PCIe adapter kako bi GPU uopšte mogao da funkcioniše u njegovom sistemu. Karta dolazi sa 16GB HBM2 memorije, 5.120 CUDA jezgara i 4.096-bitnom
