Stiže Megatron: Microsoft i Nvidia grade masivni jezički procesor
PC Press 13.10.2021 | Tijana Barašević
Nvidia i Microsoft najavili su svoj najveći monolitni transformer language model do sada.
MT-NLG je zver koja se hrani sa preko 4.000 grafičkih procesora To je AI model sa ogromnih 530 milijardi parametara koje su zajedno razvili, nazvan Megatron-Turingov model generisanja prirodnog jezika. MT-NLG je moćniji od prethodnih sistema zasnovanih na transformatorima koje su obučavale obe kompanije, naime Microsoftov model Turing-NLG i Nvidijin Megatron-LM. Sačinjen od tri puta više parametara raspoređenih po 105 slojeva, MT-NLG je mnogo veći i složeniji.
