TRUSTA AI Scaler: rešenje za GPU memorijske probleme
Štreberi pre 4 sati
ADATA-in enterprise brend TRUSTA predstavio je novo rešenje pod nazivom AI Scaler Extended Memory, koje adresira jedan od najvećih problema u savremenom AI sektoru – ograničenja GPU memorije pri pokretanju velikih jezičkih modela.
Kako funkcioniše AI Scaler? Umesto da se oslanja isključivo na GPU VRAM, AI Scaler Toolkit proširuje deployment modela na sistemsku DRAM memoriju i brze SSD diskove. Kombinovanjem svih dostupnih memorijskih resursa u sistemu, rešenje omogućava pokretanje modela koji bi inače zahtevali više skupih GPU-ova – na jednom GPU-u u kombinaciji sa sistemskom memorijom. Prema navodima kompanije, ovakav pristup smanjuje troškove AI deploymenta za više od 50%, što enterprise
